Fermare le allucinazioni dell'AI prima che danneggino i vostri risultati

Pensate che Joaquin Phoenix si sarebbe innamorato di Scarlett Johansson se le avesse chiesto quante Rci sono nella fragola? Se siete su LinkedIn, sapete che la risposta è 3. (O, sapete, se sapete leggere).

Ma per i chatbot AI non è sempre così semplice. 

Probabilmente avrete visto persone che ironizzano sull'assurdità delle allucinazioni dell'intelligenza artificiale. A dire il vero, un modello di intelligenza artificiale con conoscenze apparentemente infinite, capacità di ragionamento simili a quelle umane e un'esecuzione fulminea dei compiti che fallisce in un problema di matematica a livello di scuola materna è, beh, un po' assurdo.

Ma dietro il divertimento e i giochi si nasconde una realtà più seria e potenzialmente insidiosa.

In questo articolo parlerò delle allucinazioni da IA: cosa sono, cosa le provoca, perché sono importanti e quali misure si possono adottare per prevenirle.

Che cos'è l'allucinazione AI?

L'allucinazione dell'intelligenza artificiale si verifica quando un modello di intelligenza artificiale presenta informazioni imprecise, fuorvianti o completamente inventate. Queste false informazioni possono apparire plausibili e, in molti casi, passare inosservate.

A causa dell'ampia diffusione dei LLMs, le allucinazioni sono più spesso citate nel contesto dei modelli testuali generativi. In realtà, esse rappresentano un rischio per qualsiasi applicazione di IA generativa.

Cosa provoca l'allucinazione nell'IA?

L'allucinazione dell'intelligenza artificiale si verifica quando i modelli imparano modelli falsi.

I modelli, nel contesto dell'IA, si riferiscono alla capacità di utilizzare singoli esempi di addestramento per generalizzare su dati non visti. Può trattarsi di una serie di parole che formano la continuazione di un testo o della distribuzione dei pixel di un'immagine che corrispondono a un cane.

Nel caso dell'allucinazione LLM , il modello ha considerato una serie di parole come il seguito più probabile alla richiesta dell'utente, sebbene sia falsa.

Ciò potrebbe essere dovuto a uno o più dei seguenti motivi:

Dati di formazione di bassa qualità

ChatGPT e altri LLMs simili vengono addestrati su una grande quantità di dati. Questi dati, per quanto abbondanti, sono imperfetti a causa di:

• Lacune in alcuni argomenti
• Riflettere i pregiudizi del mondo reale
• Disinformazione deliberata o satira non marcata
• Distorto, come nel caso di dati sbilanciati o "sbilanciati".

Consideriamo uno scenario in cui il modello è stato addestrato sulle informazioni relative a tutte le divinità greche tranne una.

La sua capacità di tracciare connessioni statistiche tra argomenti simili alla mitologia greca - amore, etica, tradimento - potrebbe indurlo a mettere insieme una mitologia inventata che ritiene "probabile", dato il suo modello statistico.

Ciò è evidente anche nella generazione delle immagini, dove la maggior parte delle richieste di un soggetto femminile produce immagini iper-sessualizzate. Il pregiudizio verso un particolare tipo di rappresentazione condiziona il tipo di immagini che vengono generate.

L'ortografia di fragola si è probabilmente verificata nei dati di addestramento nel contesto di una discussione sulla doppia R, un noto punto dolente dei non madrelingua inglesi. In questo caso, è probabile che il numero 2 o la parola "double" siano emersi in relazione all'ortografia della parola.

D'altra parte, è improbabile che i dati facciano riferimento al fatto che ha 3 R.

L'uscita è assurda perché la richiesta è: in quale circostanza qualcuno scriverebbe una parola e poi si informerebbe su come si scrive?

Architettura del modello e metodo di generazione

I modelli sono costruiti a partire da architetture di reti neurali di una complessità impressionante. Lievi variazioni hanno un impatto sul modo in cui i modelli interagiscono con i dati di addestramento e le richieste di input. La capacità di un modello di attenuare le allucinazioni è soggetta a miglioramenti incrementali attraverso ricerche e test rigorosi.

A ciò si aggiunge il modo in cui viene implementata la generazione. Parola per parola (in realtà parola-pezzo), i modelli prevedono la parola più probabile da seguire. Quindi:

"La volpe marrone veloce salta il pigro ___".

La parola successiva più probabile è "cane". Ma altre parole sono possibili. E la generazione basata esclusivamente sulla determinazione della singola parola successiva più probabile produce risultati poco interessanti e prevedibili.

Ciò significa che è necessario ricorrere a metodi di campionamento creativi per mantenere le risposte eccitanti ma coerenti. Nel fare ciò, la fattualità a volte sfugge.

Overfitting

L'overfitting si verifica quando il modello viene addestrato a prevedere i dati in modo così preciso da non riuscire a generalizzare a nuovi input.

Quindi, se fossi un modello (come dice mia madre), sarei un modello adeguatamente addestrato se dovessi riconoscere i cani:

Peloso, con le orecchie pendenti, giocherellone e con un nasino marrone a bottone.

Ma sarei eccessivamente adatta se mi limitassi a riconoscerli come:

Ha un puntino marrone sotto il mento, risponde al nome di "Frank" e ha completamente masticato il mio buon paio di Nike.

Nel contesto di un LLMdi solito si presenta come un rigurgito di informazioni viste nei dati di addestramento, invece di fare marcia indietro quando non conosce la risposta.

Supponiamo di chiedere a un chatbot la politica di restituzione di un'azienda. Se non lo sa, dovrebbe informarvi. Tuttavia, se è troppo adatto, potrebbe riportare la politica di un'azienda simile.

Prompting scadente

Le aziende rilasciano certificati di ingegneria immediata con la consapevolezza che l'IA è buona solo quanto i suoi input.

Una richiesta ben formulata è articolata con precisione, evita la terminologia di nicchia e fornisce tutto il contesto necessario.

Questo perché l'allucinazione avviene ai margini di molte uscite a bassa probabilità.

Diciamo che si chiede "qual è la trama di La ragazza squalo?". Ora, un umano pensa "eh, la ragazza squalo" .Nel mondo delle statistiche, le possibilità sono:

• Le avventure di Sharkboy e Lavagirl - un film per bambini piuttosto popolare del 2005 con un nome simile.
• Un horror/thriller del 2024 intitolato Shark Girl - meno popolare ma più recente e accurato.
• Un libro per bambini con lo stesso nome, pubblicato all'inizio dell'anno, che il modello potrebbe aver indicizzato o meno.

Nessuna di queste è una scelta ovvia, con il risultato di una distribuzione delle probabilità più "piatta" e meno legata a un argomento o a una narrazione. Un prompt più efficace dovrebbe fornire un contesto, cioè articolare l'esempio a cui l'utente si riferisce.

Questo miscuglio di ambiguità e rilevanza tangenziale può produrre una risposta che è proprio questa: una trama generica inventata per una storia legata agli squali.

Ridurre la possibilità di avere allucinazioni significa ridurre l'incertezza.

Tipi di allucinazioni AI

Finora ho parlato delle allucinazioni a grandi linee. In realtà, il tema tocca quasi tutti gli aspetti dell'IA. Per chiarezza, però, è meglio considerare le diverse categorie.

Errori di fatto

È qui che si inserisce l'esempio della fragola. Ci sono errori nei dettagli di affermazioni altrimenti fattuali. Ad esempio, l'anno in cui si è verificato un determinato evento, la capitale di un paese o i numeri di una statistica.

I dettagli minimi in una risposta altrimenti buona possono essere particolarmente insidiosi, soprattutto quando si tratta di dettagli che gli esseri umani non ricordano spesso, come i numeri esatti.

Contenuto fabbricato

Nel 2023, il Bardo di Google ha falsamente affermato che il telescopio James Webb è stato utilizzato per scattare le prime foto di esopianeti. Non si trattava di imprecisioni tecniche, ma di un vero e proprio falso.

Può trattarsi di affermazioni audaci come quelle riportate sopra, ma più spesso appaiono come URL che non portano da nessuna parte, o librerie di codice e funzioni inventate.

Vale la pena notare che la linea di demarcazione tra errori fattuali e contenuti inventati non è sempre chiara.

Diciamo che stiamo discutendo di un ricercatore. Se citiamo un suo articolo ma sbagliamo l'anno, si tratta di un errore di fatto. Se sbagliamo il nome, cosa succede? Che ne è del nome e dell'anno?

Disinformazione

Può rientrare in una delle due categorie precedenti, ma si riferisce a informazioni false in cui la fonte è più trasparente.

L'intelligenza artificiale di Google, che notoriamente consiglia di incollare la pizza e mangiare sassi, ne è un ottimo esempio; il materiale di partenza è ovviamente satirico e generalmente innocuo - i commenti su Reddit scritti da The Onion - ma l'addestramento del modello non ne aveva tenuto conto.

Rischi delle allucinazioni da IA

1. Perdita di fiducia

Apprezziamo la libertà di affidare i nostri compiti all'intelligenza artificiale, ma non a spese della nostra fiducia.

La recente disavventura di Cursor AI - un bot del servizio clienti che ha inventato una politica restrittiva - ha portato molti utenti a cancellare i loro abbonamenti, mettendo in dubbio la sua affidabilità.

2. Costo

L'intelligenza artificiale ha conquistato il primo posto in molte aziende e, sebbene sia una cosa positiva, un errore può essere costoso.

L'allucinazione di James Webb di Google ha causato un calo di 100 miliardi di dollari nelle azioni di Alphabet nel giro di poche ore. E questo prima dei costi di riqualificazione dei modelli.

3. Disinformazione dannosa

Ridiamo dell'assurdità della pizza alla colla, ma che dire delle dosi mediche ingannevoli?

Sarò il primo a rinunciare alla lettura delle avvertenze per avere una risposta rapida dall'intelligenza artificiale. Ma cosa succede se si sbaglia? Quasi certamente non terrà conto di tutte le possibili condizioni mediche.

3. Sicurezza e malware

Come già detto, l'intelligenza artificiale spesso inventa i nomi delle librerie di codice. Quando si cerca di installare una libreria inesistente, non succede nulla.

Ora immaginate che un hacker inserisca del malware nel codice e lo carichi sotto il nome di una libreria comunemente allucinata. Voi installate la libreria e 💨poof💨: siete stati hackerati.

Questo esiste e si chiama slopsquatting.

A parte il nome volgare, non fa mai male essere critici su ciò che si sta installando e controllare due volte i nomi delle librerie dal suono esotico.

Passi per prevenire le allucinazioni da IA

Se non si addestrano i modelli, si può fare ben poco sul fronte dei dati e dell'architettura.

La buona notizia è che ci sono ancora delle precauzioni che si possono prendere e che possono fare la differenza nella spedizione di un'IA senza allucinazioni.

Scegliere un modello e una piattaforma di cui fidarsi

Non siete soli. Le aziende di intelligenza artificiale hanno tutto l'interesse a mantenere la fiducia, e questo significa niente allucinazioni.

A seconda di ciò che si sta facendo con l'IA, si hanno quasi sempre almeno alcune opzioni, e una buona piattaforma di IA le rende accessibili. Queste piattaforme dovrebbero essere trasparenti sul modo in cui attenuano le allucinazioni.

Utilizzare RAG (Generazione Aumentata dal Recupero)

Non fate in modo che il modello si affidi alle proprie conoscenze. Dotando il modello di RAG, è chiaro che le informazioni sono disponibili e dove trovarle.

È meglio eseguire l'IA su una piattaforma con istruzioni semplici su come implementare una RAG efficace.

Aggiungere istruzioni approfondite

Se l'avete sentito una volta, l'avrete sentito mille volte: garbage in, garbage out.

"Rispondere alla domanda dell'utente" non garantisce il successo. Tuttavia, qualcosa come:

# Istruzioni

Fare riferimento esclusivamente al documento FAQ. Se la risposta non è presente:‍

* Informare gentilmente l'utente che l'informazione non è disponibile.
* Offrire l'escalation della conversazione a un agente umano.

terrà il vostro agente sotto controllo. La migliore difesa contro un agente disonesto è rappresentata da una guida chiara e da un solido sistema di protezione.

Verifica umana

Per quanto riguarda il tema dell'escalation, è necessario avere una persona pronta a ispezionare, valutare e schiacciare le carenze dell'IA.

La capacità di intensificare o verificare retroattivamente le conversazioni consente di capire cosa funziona e cosa è a rischio di allucinazione. L 'human-in-the-loop, ovvero lasupervisione umana dei flussi di lavoro guidati dall'IA, è un must in questo caso.

Utilizzate oggi un'intelligenza artificiale senza allucinazioni

L'incertezza sull'affidabilità dell'IA potrebbe trattenere le aziende dalla trasformazione digitale.

Le funzionalità RAG di Botpress, l'integrazione dell'uomo nel loop e gli accurati sistemi di sicurezza rendono l'intelligenza artificiale sicura e affidabile. Il vostro agente lavora per voi, non viceversa.

Iniziare acostruire oggi. È gratis.

Domande frequenti

1. Come si fa a capire se una risposta dell'intelligenza artificiale è un'allucinazione senza avere una conoscenza preliminare dell'argomento?

Per capire se una risposta dell'intelligenza artificiale è un'allucinazione senza conoscenze preliminari, è bene cercare segni come affermazioni estremamente specifiche, linguaggio troppo sicuro, nomi, statistiche o citazioni che non possono essere verificati in modo indipendente. In caso di dubbio, chiedere all'intelligenza artificiale di citare le fonti o di effettuare una verifica incrociata con riferimenti esterni affidabili.

2. Quanto sono comuni le allucinazioni dell'intelligenza artificiale nei modelli linguistici di grandi dimensioniLLMs)?

Le allucinazioni dell'intelligenza artificiale sono comuni nei modelli linguistici di grandi dimensioni, perché generano testi basati sulle probabilità, non sulla verifica dei fatti. Anche modelli avanzati come GPT e Claude 3.5 possono produrre risultati imprecisi, soprattutto quando vengono poste domande su argomenti di nicchia o in situazioni di basso contesto.

3. Le allucinazioni possono verificarsi in modelli di intelligenza artificiale non basati sul testo, come i generatori di immagini?

Sì, le allucinazioni si verificano anche nei modelli di generazione delle immagini, spesso sotto forma di elementi irrealistici o privi di senso nei risultati (come arti in più o rappresentazioni culturali errate) causati da errori o lacune nei dati di addestramento.

4. Le allucinazioni sono più comuni in certe lingue o culture a causa di pregiudizi nei dati di addestramento?

Le allucinazioni sono più comuni nelle lingue sottorappresentate o nei contesti culturali non occidentali perché la maggior parte dei LLMs è formata principalmente su dati inglesi e occidentali, il che porta a risposte meno ricche di sfumature culturali.

5. Quali sono i settori industriali più a rischio per le conseguenze delle allucinazioni dell'IA?

Settori come la sanità, la finanza, la legge e il servizio clienti sono i più a rischio di allucinazioni dell'IA, poiché in questi campi i risultati imprecisi possono portare a violazioni della conformità, perdite finanziarie, errori legali o danni alla fiducia degli utenti e alla reputazione del marchio.