Arrêtez l'hallucination de l'IA avant qu'elle ne nuise à vos résultats

Pensez-vous que Joaquin Phoenix serait tombé amoureux de Scarlett Johansson s'il lui avait demandé combien de Ril y a dans fraise? Si vous êtes sur LinkedIn, vous savez que la réponse est 3 (ou, vous savez, si vous savez lire).

Mais pour les chatbots d'IA, ce n'est pas toujours aussi simple. 

Vous avez probablement vu des gens se moquer de l'absurdité des hallucinations de l'IA. Et pour être honnête, un modèle d'IA doté de connaissances apparemment infinies, de capacités de raisonnement semblables à celles de l'homme et d'une rapidité d'exécution fulgurante qui échoue devant un problème de mathématiques de niveau maternelle est, en quelque sorte, absurde.

Mais derrière l'amusement et les jeux se cache une réalité plus sérieuse - et potentiellement insidieuse.

Dans cet article, je vais parler des hallucinations liées à l'IA - ce qu'elles sont, ce qui les provoque, pourquoi elles sont importantes et les mesures que vous pouvez prendre pour les prévenir.

Qu'est-ce que l'hallucination de l'IA ?

On parle d'hallucination de l'IA lorsqu'un modèle d'IA présente des informations inexactes, trompeuses ou entièrement fabriquées. Ces fausses informations peuvent sembler plausibles et, dans de nombreux cas, passer inaperçues.

En raison de l'adoption généralisée des LLMs, les hallucinations sont le plus souvent évoquées dans le contexte des modèles de texte génératifs. En réalité, elles constituent un risque pour toute application de l'IA générative.

Quelles sont les causes des hallucinations dans l'IA ?

L'hallucination de l'IA se produit lorsque les modèles apprennent de faux modèles.

Les modèles, dans le contexte de l'IA, font référence à sa capacité à utiliser des exemples d'apprentissage individuels pour généraliser des données inédites. Il peut s'agir d'une série de mots formant la suite d'un texte ou de la distribution des pixels d'une image correspondant à un chien.

Dans le cas de l'hallucination LLM , le modèle a considéré une série de mots comme la suite la plus probable à l'invite de l'utilisateur, bien qu'elle soit fausse.

Cela peut être dû à une ou plusieurs des raisons suivantes :

Données de formation de faible qualité

ChatGPT et les LLMs similaires sont formés sur des quantités de données. Ces données, aussi abondantes soient-elles, sont imparfaites pour les raisons suivantes :

• Lacunes dans certains domaines
• Refléter les préjugés du monde réel
• Désinformation délibérée ou satire non marquée
• Biaisé, comme dans le cas de données déséquilibrées ou "déséquilibrées".

Considérons un scénario dans lequel le modèle a été formé à partir d'informations sur tous les dieux grecs sauf un.

Sa capacité à établir des liens statistiques entre des sujets proches de la mythologie grecque - l'amour, l'éthique, la trahison - pourrait lui permettre d'assembler des mythes inventés qu'il jugerait "probables", compte tenu de son modèle statistique.

Ceci est également visible dans la génération d'images, où la plupart des invites pour un sujet féminin produisent des images hyper-sexualisées. Le parti pris pour un type particulier de représentation conditionne les types d'images générées.

L'orthographe du mot " fraise " est probablement apparue dans les données de formation dans le contexte d'une discussion sur le double R, un problème notoire pour les personnes dont l'anglais n'est pas la langue maternelle. Dans ce cas, le chiffre 2 ou le mot "double" sont susceptibles d'avoir été évoqués en rapport avec l'orthographe du mot.

D'autre part, il est peu probable que les données aient mentionné qu'il avait 3 R.

Le résultat est absurde car l'exercice est le suivant : dans quelles circonstances quelqu'un écrirait-il un mot et s'informerait-il ensuite de son orthographe ?

Architecture du modèle et méthode de génération

Les modèles sont construits à partir d'architectures de réseaux neuronaux d'une complexité stupéfiante. De légères variations influencent la manière dont les modèles interagissent avec leurs données d'apprentissage et les messages d'entrée. La capacité d'un modèle à atténuer les hallucinations fait l'objet d'améliorations progressives dans le cadre de recherches et de tests rigoureux.

À cela s'ajoute la manière dont la génération est mise en œuvre. Mot par mot (ou plutôt morceau de mot), les modèles prédisent le mot le plus susceptible de suivre. Ainsi :

"Le renard brun et rapide saute par-dessus le paresseux ___".

déterminera que le mot suivant le plus probable est "chien". Mais d'autres mots sont possibles. Et la génération basée uniquement sur la détermination du mot suivant le plus probable produit des résultats inintéressants et prévisibles.

Cela signifie que des méthodes d'échantillonnage créatives doivent être employées pour que les réponses restent excitantes mais cohérentes. Ce faisant, l'aspect factuel est parfois négligé.

Surajustement

Il y a surajustement lorsque le modèle est entraîné à prédire les données de manière si précise qu'il ne parvient pas à s'adapter à de nouvelles entrées.

Donc, si j'étais un mannequin (comme ma mère dit que je devrais l'être), je serais un mannequin correctement formé si je devais reconnaître les chiens comme.. :

Il est poilu, a des oreilles tombantes, est enjoué et a un petit nez brun en bouton.

Mais je serais bien trop en peine si je ne les reconnaissais que comme.. :

Il a un point brun sous le menton, répond au nom de "Frank" et a complètement mâché ma bonne paire de Nikes.

Dans le cadre d'un LLMil s'agit généralement de régurgiter des informations vues dans les données d'apprentissage, au lieu de faire marche arrière lorsqu'il ne connaît pas la réponse.

Imaginons que vous demandiez à un chatbot la politique de retour d'une entreprise. S'il ne le sait pas, il doit vous en informer. Mais s'il est surdimensionné, il peut vous renvoyer la politique d'une entreprise similaire.

Promesses médiocres

Les entreprises délivrent des certificats d'ingénierie rapide, sachant que la qualité de l'IA dépend de celle des données qu'elle génère.

Un message bien formé est formulé avec précision, évite la terminologie de niche et fournit tout le contexte nécessaire.

Cela s'explique par le fait que l'hallucination se produit à la limite de nombreux résultats à faible probabilité.

Disons que vous demandez : "Quelle est l'intrigue de Shark Girl ?" Maintenant, un humain pense "hein, la fille au requin". Dans le monde des statistiques, les possibilités sont les suivantes :

• Les aventures de Sharkboy et Lavagirl - un film pour enfants assez populaire datant de 2005 et portant un nom similaire.
• Un film d'horreur/thriller de 2024 intitulé Shark Girl - moins populaire mais plus récent et plus précis.
• Un livre pour enfants portant le même nom et paru au début de l'année, que le modèle a ou n'a pas indexé.

Aucun de ces exemples n'est un choix évident, ce qui se traduit par une distribution de probabilités plus "plate", avec moins d'engagement pour un sujet ou un récit. Une invite plus efficace fournirait un contexte, c'est-à-dire qu'elle préciserait l'exemple auquel l'utilisateur fait référence.

Cette soupe d'ambiguïté et de pertinence tangentielle peut produire une réponse qui n'est rien d'autre qu'une intrigue générique inventée pour une histoire liée aux requins.

Réduire le risque d'hallucinations, c'est réduire l'incertitude.

Types d'hallucinations IA

Jusqu'à présent, j'ai parlé des hallucinations dans les grandes lignes. En réalité, elles touchent à presque tous les aspects de l'IA. Par souci de clarté, il est toutefois préférable d'examiner les différentes catégories.

Erreurs factuelles

C'est là qu'intervient l'exemple de la fraise. Il y a des erreurs de détail dans des déclarations par ailleurs factuelles. Il peut s'agir de l'année où un certain événement a eu lieu, de la capitale d'un pays ou des chiffres d'une statistique.

Des détails infimes dans une réponse par ailleurs satisfaisante peuvent être particulièrement insidieux, surtout lorsqu'il s'agit de détails dont les humains ne se souviennent pas souvent, comme des chiffres exacts.

Contenu fabriqué

En 2023, le site Bard de Google a affirmé à tort que le télescope James Webb avait été utilisé pour prendre les premières photos d'exoplanètes. Il ne s'agissait pas d'inexactitudes techniques, c'était tout simplement faux.

Il peut s'agir d'affirmations audacieuses comme ci-dessus, mais le plus souvent, il s'agit d'URL qui ne mènent nulle part, ou de bibliothèques de code et de fonctions inventées de toutes pièces.

Il convient de noter que la frontière entre les erreurs factuelles et les contenus fabriqués n'est pas toujours claire.

Supposons que nous parlions d'un chercheur. Si nous citons un de ses articles mais que nous nous trompons d'année, il s'agit d'une erreur factuelle. Si nous nous trompons de nom, que se passe-t-il ? Qu'en est-il du nom et de l'année ?

Désinformation

Cette catégorie peut relever de l'une ou l'autre des deux catégories précédentes, mais il s'agit de fausses informations dont la source est plus transparente.

L'IA de Google qui recommande de coller des pizzas et de manger des cailloux en est un bon exemple ; le matériel source est manifestement satirique et généralement inoffensif - les commentaires de Reddit écrits par The Onion, mais l'entraînement du modèle n'en a pas tenu compte.

Risques d'hallucinations liées à l'IA

1. Perte de confiance

Nous apprécions la liberté de confier nos tâches à l'IA, mais pas au détriment de notre confiance.

La récente mésaventure de Cursor AI - un robot du service clientèle inventant une politique restrictive - a conduit de nombreux utilisateurs à résilier leur abonnement, mettant en doute sa fiabilité.

2. Coût

L'IA a pris une place prépondérante dans de nombreuses entreprises, et si c'est une bonne chose, une erreur peut coûter cher.

L'hallucination de James Webb a provoqué une chute de 100 milliards de dollars des actions d'Alphabet en l'espace de quelques heures. Et c'est sans compter le coût du réentraînement des modèles.

3. Désinformation préjudiciable

Nous rions de l'absurdité des pizzas à la colle, mais qu'en est-il des doses médicales trompeuses?

Je serais le premier à abandonner la lecture des petits caractères truffés d'avertissements au profit d'une réponse rapide de l'intelligence artificielle. Mais que se passera-t-il si elle se trompe ? Il est presque certain qu'elle ne tiendra pas compte de toutes les conditions médicales possibles.

3. Sécurité et logiciels malveillants

Comme nous l'avons mentionné, l'IA invente souvent les noms des bibliothèques de code. Lorsque vous essayez d'installer une bibliothèque inexistante, rien ne se passe.

Imaginez maintenant qu'un pirate intègre un logiciel malveillant dans un code et le télécharge sous le nom d'une bibliothèque communément admise. Vous installez la bibliothèque et 💨poof💨: vous êtes piraté.

Cela existe et s'appelle le slopsquatting.

Mis à part le nom grossier, il n'est jamais inutile d'être critique à l'égard de ce que vous installez et de revérifier les noms de bibliothèques aux sonorités exotiques.

Mesures pour prévenir les hallucinations liées à l'IA

Si vous ne formez pas les modèles, vous ne pouvez pas faire grand-chose au niveau des données et de l'architecture.

La bonne nouvelle, c'est qu'il existe encore des précautions à prendre, qui peuvent faire toute la différence dans l'envoi d'une IA sans hallucinations.

Choisissez un modèle et une plateforme de confiance

Vous n'êtes pas seul. Les entreprises spécialisées dans l'IA ont tout intérêt à maintenir la confiance, ce qui signifie qu'il ne faut pas avoir d'hallucinations.

En fonction de ce que vous faites avec l'IA, vous avez presque toujours au moins quelques options, et une bonne plateforme d'IA rend cela accessible. Ces plateformes devraient être transparentes sur la manière dont elles atténuent les hallucinations.

Utiliser RAG (Retrieval-Augmented Generation)

Ne laissez pas le modèle s'appuyer sur ses propres connaissances. En dotant votre modèle d'un RAG, vous indiquez clairement que des informations sont disponibles et où les trouver.

Il est préférable d'utiliser l'IA sur une plateforme contenant des instructions simples sur la manière de mettre en œuvre un RAG efficace.

Ajouter des instructions détaillées

Si vous l'avez entendu une fois, vous l'avez entendu un millier de fois : "garbage in, garbage out".

"Répondre à la question de l'utilisateur" ne garantit pas le succès. Par contre, quelque chose comme :

# Instructions

Veuillez vous référer exclusivement au document FAQ. Si la réponse n'y figure pas:‍

* Informer poliment l'utilisateur que l'information n'est pas disponible.
* Proposez à l'utilisateur de passer à un agent humain.

vous permettra de garder votre agent sous contrôle. Une incitation claire assortie de garde-fous fermes constitue votre meilleure défense contre un agent malhonnête.

Vérification humaine

En ce qui concerne l'escalade, il faut qu'une personne soit prête à inspecter, évaluer et corriger les lacunes de l'IA.

La possibilité d'escalader ou de vérifier rétroactivement les conversations vous permet de déterminer ce qui fonctionne et ce qui risque d'être halluciné. L 'humain dans la boucle, c'est-à-dire lasupervision humaine des flux de travail pilotés par l'IA, est indispensable ici.

Utilisez l'IA sans hallucinations dès aujourd'hui

L'incertitude quant à la fiabilité de l'IA pourrait empêcher les entreprises de procéder à la transformation numérique.

Les capacités RAG de Botpress, l'intégration humaine dans la boucle et les systèmes de sécurité complets rendent l'IA sûre et fiable. Votre agent travaille pour vous, et non l'inverse.

‍Startbuilding today. C'est gratuit.

FAQ

1. Comment puis-je savoir si une réponse de l'IA est une hallucination sans avoir de connaissances préalables sur le sujet ?

Pour savoir si une réponse de l'IA est une hallucination sans connaissance préalable, recherchez des signes tels que des affirmations extrêmement précises, un langage trop confiant, ou des noms, des statistiques ou des citations qui ne peuvent pas être vérifiés de manière indépendante. En cas de doute, demandez à l'IA de citer ses sources ou de les recouper avec des références externes fiables.

2. Quelle est la fréquence des hallucinations de l'IA dans les grands modèles de langageLLMs?

Les hallucinations de l'IA sont courantes dans les grands modèles linguistiques, car ils génèrent des textes basés sur des probabilités et non sur une vérification factuelle. Même les modèles avancés comme GPT et Claude 3.5 peuvent produire des résultats inexacts, en particulier lorsqu'ils sont interrogés sur des sujets de niche ou dans des situations peu contextuelles.

3. Les modèles d'IA non textuels, tels que les générateurs d'images, peuvent-ils donner lieu à des hallucinations ?

Oui, les hallucinations se produisent également dans les modèles de génération d'images, souvent sous la forme d'éléments irréalistes ou absurdes dans les résultats - tels que des membres supplémentaires ou des représentations culturelles incorrectes - causés par des biais ou des lacunes dans les données d'apprentissage.

4. Les hallucinations sont-elles plus fréquentes dans certaines langues ou cultures en raison de biais dans les données d'apprentissage ?

Les hallucinations sont plus fréquentes dans les langues sous-représentées ou dans les contextes culturels non occidentaux parce que la plupart des LLMs sont formés principalement à l'anglais et aux données centrées sur l'Occident, ce qui conduit à des réponses moins nuancées sur le plan culturel.

5. Quels sont les secteurs les plus exposés aux conséquences des hallucinations de l'IA ?

Les secteurs tels que la santé, la finance, le droit et le service à la clientèle sont les plus exposés aux hallucinations de l'IA, car des résultats inexacts dans ces domaines peuvent entraîner des violations de la conformité, des pertes financières, des faux pas juridiques ou une atteinte à la confiance des utilisateurs et à la réputation de la marque.