Come funziona ChatGPT ?

Generativo

ChatGPT è un modello di intelligenza artificiale generativa: può generare testo, codice, immagini e suoni. Altri esempi di IA generativa sono gli strumenti di generazione di immagini come DALL-E o i generatori di audio.

Pre-formato

L'aspetto "pre-addestrato" di ChatGPT è il motivo per cui sembra conoscere tutto di Internet. Il modello di GPT è stato addestrato su grandi quantità di dati in un processo chiamato "apprendimento non supervisionato".

Prima di ChatGPT, i modelli di intelligenza artificiale venivano costruiti con l'apprendimento supervisionato: si davano loro input e output chiaramente etichettati e si insegnava a mapparli l'uno con l'altro. Questo processo era piuttosto lento, poiché i set di dati dovevano essere compilati dall'uomo.

Quando i primi modelli di GPT sono stati esposti ai grandi insiemi di dati su cui sono stati addestrati, hanno assorbito i modelli linguistici e il significato contestuale da un'ampia varietà di fonti. 

Ecco perché ChatGPT è un chatbot di conoscenza generale: è già stato addestrato su un enorme set di dati prima di essere rilasciato al pubblico.

Gli utenti che desiderano addestrare ulteriormente il motore di GPT - per farlo diventare specializzato in determinati compiti, come la scrittura di report per la propria organizzazione - possono utilizzare le tecniche di personalizzazione di LLMs.  

Trasformatore

I trasformatori sono un tipo di architettura di rete neurale introdotta in un articolo del 2017 intitolato "Attention is All You Need" di Vaswani et al. Prima dei trasformatori, per l'elaborazione di sequenze di testo venivano comunemente utilizzati modelli come le reti neurali ricorrenti (RNN) e le reti a memoria a breve termine (LSTM). 

Le reti RNN e LSTM leggerebbero il testo in modo sequenziale, come farebbe un essere umano. Ma l'architettura del trasformatore è in grado di elaborare e valutare ogni parola di una frase allo stesso tempo, consentendogli di attribuire ad alcune parole un punteggio più rilevante, anche se si trovano nel mezzo o alla fine di una frase. Questo è noto come meccanismo di autoattenzione. 

Prendiamo la frase: "Il topo non poteva entrare nella gabbia perché era troppo grande".

Un trasformatore potrebbe attribuire alla parola "topo" un punteggio più importante di "gabbia" e identificare correttamente che "esso" nella frase si riferisce al topo. 

Ma un modello come un RNN potrebbe interpretare "it" come la gabbia, poiché è il sostantivo elaborato più di recente.

L'aspetto di "trasformatore" consente a ChatGPT di comprendere meglio il contesto e di produrre risposte più intelligenti rispetto ai suoi predecessori. 

Che cos'è l'elaborazione del linguaggio naturale?

L'elaborazione del linguaggio naturale (NLP) è una branca dell'intelligenza artificiale che si concentra sull'interazione tra computer ed esseri umani attraverso il linguaggio naturale. 

Consente alle macchine di comprendere, interpretare e generare il linguaggio umano in modo significativo e utile.

NLP vs NLU vs NLG

L'NLP è un campo ampio che comprende varie sottodiscipline, tra cui la comprensione del linguaggio naturale (NLU) e la generazione del linguaggio naturale (NLG). 

NLP è il dominio generale, mentre NLU e NLG sono aree specializzate al suo interno. Questo perché l'elaborazione del linguaggio naturale deve coinvolgere sia la comprensione che la generazione durante una conversazione back-and-forth.

Come funziona la PNL?

L'NLU analizza il linguaggio umano per interpretarne il significato e l'intento. Ecco come funziona passo dopo passo:

1. Il testo viene pre-elaborato per rimuovere gli elementi non necessari (come la punteggiatura e le stop words).
2. Il sistema identifica componenti chiave come entità, parole chiave e frasi dal testo.
3. Analizza la struttura delle frasi per comprendere le relazioni tra parole e concetti.
4. Il modello NLU mappa gli elementi riconosciuti a intenti o obiettivi specifici.
5. Il motore NLU affina la sua comprensione in base al contesto e alla cronologia delle interazioni dell'utente.

Il sistema fornisce un output strutturato che può attivare azioni o risposte appropriate.

Preformazione

In primo luogo, il modello di intelligenza artificiale è esposto a una grande quantità di dati testuali, provenienti da libri, siti web e altri file. 

Durante la fase di pre-addestramento, il modello impara a prevedere la parola successiva in una frase, aiutando così a comprendere gli schemi del linguaggio. In sostanza, costruisce una comprensione statistica del linguaggio, che gli consente di generare un testo coerente.

Messa a punto

Dopo il pre-addestramento, il modello viene messo a punto su set di dati più specifici. Per ChatGPT, questo include set di dati curati per le conversazioni. 

Una parte fondamentale di questa fase è rappresentata dal Reinforcement Learning from Human Feedback (RLHF), in cui gli istruttori umani classificano le risposte del modello. Questo ciclo di feedback aiuta ChatGPT a migliorare la sua capacità di generare risposte appropriate, utili e contestualmente accurate.

Gettoni

Le unità di testo (parole o parti di parole) che il modello elabora. ChatGPTGli input e gli output del modello sono tokenizzati per garantire un calcolo efficiente.

Apprendimento a colpo zero

La capacità del modello di eseguire compiti per i quali non è stato specificamente addestrato, affidandosi alla sua conoscenza generale. 

L'apprendimento one-shot prevede di fornire al modello un solo esempio, mentre l'apprendimento n-shot prevede di fornire al modello molti esempi per imparare. 

Meccanismo di attenzione

Un componente del modello di trasformatore che gli consente di concentrarsi su parti diverse del testo in ingresso quando genera le risposte.

Allucinazione

Un modello di intelligenza artificiale "allucina" quando genera informazioni errate o prive di senso. Le allucinazioni possono essere attenuate con strategie come la retrieval-augmented generation (RAG).

Ragionamento a catena

Un metodo che aiuta il modello a pensare passo dopo passo, migliorando la sua capacità di gestire richieste o compiti complessi. 

Alcuni modelli di ChatGPT sono dotati automaticamente di questa strategia, come gli ultimi modelli diOpenAI o1. Ma si può chiedere a qualsiasi versione di fare il ragionamento a catena: basta chiedergli di spiegare il suo ragionamento passo per passo.

Preformazione

La fase iniziale in cui il modello viene addestrato su una serie di dati massicci per imparare i modelli linguistici prima di essere messo a punto per compiti specifici.

Messa a punto 

Il processo di affinamento del modello su un set di dati o un compito più ristretto per migliorarne le prestazioni in casi d'uso specifici.

Finestra di contesto

Il limite della quantità di testo in ingresso che il modello può considerare quando genera una risposta. 

Una finestra a basso contesto significa che non è possibile inviare un rapporto lungo e chiedere un riassunto: il modello avrà "dimenticato" l'inizio del documento. 

Personalizzato GPTs

OpenAI permette agli utenti di personalizzare GPTs a proprio piacimento. È possibile istruire un GPT personalizzato per imparare le regole di un particolare gioco da tavolo, disegnare poster di gruppi rock metal o insegnare concetti di intelligenza artificiale.

Agenti AI personalizzati

Grazie ai progressi della tecnologia AI, è facile (e gratuito) creare i propri agenti AI con LLM. 

Dai costruttori drag-and-drop a basso codice agli ecosistemi di codifica avanzati, esistono ottime piattaforme di costruzione dell'intelligenza artificiale per qualsiasi caso d'uso e livello di competenza. 

Costruire il proprio agente LLM significa poter progettare un assistente AI su misura che pianifichi le riunioni e generi i report settimanali sulle metriche. Oppure si può creare un agente AI per l'assistenza clienti da distribuire su WhatsApp. Le possibilità non mancano.