Alucinación AI: Qué es, por qué es importante y qué puede hacer al respecto

Datos de entrenamiento de baja calidad

ChatGPT y LLMs similares se entrenan con montones de datos. Estos datos, por abundantes que sean, son imperfectos debido a:

• Lagunas en determinados temas
• Reflejar los prejuicios del mundo real
• Desinformación deliberada o sátira no marcada
• Sesgados, como los datos desequilibrados o "asimétricos".

Consideremos un escenario en el que el modelo se entrenó con información sobre todos los dioses griegos menos uno.

Su capacidad para establecer conexiones estadísticas entre temas similares a los de la mitología griega -amor, ética, traición- podría hacer que encadenara alguna mitología inventada que considerara "probable", dado su modelo estadístico.

Esto también es evidente en la generación de imágenes, ya que la mayoría de las solicitudes de un sujeto femenino producen imágenes hipersexualizadas. El sesgo hacia un tipo concreto de representación condiciona el tipo de imágenes que se generan.

Es probable que la grafía de "strawberry" (fresa ) haya aparecido en los datos de entrenamiento en el contexto de una discusión sobre la doble R, un conocido punto débil de los angloparlantes no nativos. En este caso, es probable que el número 2 o la palabra "double" hayan surgido en relación con la ortografía de la palabra.

Por otra parte, es poco probable que los datos hayan hecho mención a que tiene 3 R.

El resultado es absurdo porque la pregunta es: ¿en qué circunstancias escribiría alguien una palabra y luego preguntaría cómo se escribe?

Arquitectura del modelo y método de generación

Los modelos se construyen a partir de arquitecturas de redes neuronales asombrosamente complejas. Existen ligeras variaciones en la forma en que los modelos interactúan con los datos de entrenamiento y las instrucciones de entrada. La capacidad de un modelo para mitigar la alucinación está sujeta a mejoras graduales mediante investigaciones y pruebas rigurosas.

A esto hay que añadir cómo se implementa la generación. Palabra por palabra (en realidad, palabra por palabra), los modelos predicen la palabra más probable que vendrá a continuación. Así que..:

"El zorro marrón rápido salta sobre el perezoso ___".

Determinará que la palabra más probable es "perro". Pero hay otras palabras posibles. Y la generación basada únicamente en la determinación de la palabra más probable produce resultados poco interesantes y predecibles.

Esto significa que hay que emplear métodos creativos de muestreo para que las respuestas sean emocionantes y coherentes. Al hacerlo, a veces los hechos se escapan por las rendijas.

Sobreajuste

La sobreadaptación se produce cuando el modelo se entrena para predecir los datos con tanta precisión que no consigue generalizarse a nuevas entradas.

Así que, si yo fuera modelo (como dice mi madre que debería ser), entonces sería una correctamente entrenada si reconociera a los perros como:

Peludo, con orejas caídas, juguetón y una naricita marrón de botón.

Pero estaría sobreadaptado si sólo los reconociera como:

Tiene un punto marrón bajo la barbilla, responde al nombre de "Frank", y masticó totalmente mi buen par de Nikes.

En el contexto de un LLMsuele parecer que regurgita la información que ha visto en los datos de entrenamiento, en lugar de retroceder cuando no conoce la respuesta.

Digamos que preguntas a un chatbot por la política de devoluciones de una empresa. Si no lo sabe, debería informarte. Aunque si está sobreajustado, podría devolverte la política de una empresa similar.

Mala orientación

Las empresas están expidiendo certificados en ingeniería rápida a sabiendas de que la IA sólo es tan buena como sus insumos.

Un aviso bien formulado se articula con precisión, evita la terminología especializada y proporciona todo el contexto necesario.

Esto se debe a que la alucinación se produce en el límite de muchas salidas de baja probabilidad.

Digamos que preguntas "¿cuál es el argumento de chica tiburón?". Ahora, un humano piensa "eh, chica tiburón" .En el mundo de las estadísticas, las posibilidades son:

• Las aventuras de Sharkboy y Lavagirl: una película infantil bastante popular de 2005 con un nombre similar.
• Un horror/thriller de 2024 llamado Shark Girl - menos popular pero más reciente y preciso.
• Un libro infantil con el mismo nombre de principios de año, que la modelo puede o no haber indexado.

Ninguno de ellos es la elección obvia, lo que da lugar a una distribución de probabilidades "más plana" con menos compromiso con un tema o narrativa. Una pregunta más eficaz proporcionaría contexto, es decir, explicaría a qué ejemplo se refiere el usuario.

Esta sopa de ambigüedad y relevancia tangencial puede producir una respuesta que no sea más que eso: una trama genérica inventada para una historia relacionada con tiburones.

Disminuir la probabilidad de sufrir alucinaciones consiste en reducir la incertidumbre.

Errores de hecho

Aquí es donde encaja el ejemplo de la fresa. Hay errores en los detalles de afirmaciones que, por lo demás, son objetivas. Por ejemplo, el año en que tuvo lugar un acontecimiento, la capital de un país o las cifras de una estadística.

Los pequeños detalles en una respuesta por lo demás buena pueden ser especialmente insidiosos, sobre todo cuando se trata de detalles que los humanos no suelen recordar, como los números exactos.

Contenido fabricado

En 2023, el Bard de Google afirmó falsamente que el telescopio James Webb se utilizó para tomar las primeras imágenes de exoplanetas. No se trataba de imprecisiones técnicas, sino de una simple falsedad.

Pueden ser afirmaciones atrevidas como las anteriores, pero lo más frecuente es que aparezcan como URL que no llevan a ninguna parte, o bibliotecas de código y funciones inventadas.

Cabe señalar que la línea que separa los errores de hecho de los contenidos inventados no siempre está clara.

Pongamos que hablamos de un investigador. Si citamos un artículo suyo pero nos equivocamos de año, es un error de hecho. Si nos equivocamos en el nombre, ¿qué? ¿Qué pasa con el nombre y el año?

Información errónea

Puede incluirse en cualquiera de las dos categorías anteriores, pero se refiere a información falsa en la que la fuente es más transparente.

La IA de Google, famosa por recomendar pizza de cola y comer piedras, es un gran ejemplo de ello; el material de origen es obviamente satírico y, en general, inofensivo: comentarios de Reddit escritos por The Onion, pero el entrenamiento del modelo no había tenido en cuenta este aspecto.

1. Pérdida de confianza

Apreciamos la libertad de descargar nuestras tareas en la IA, pero no a costa de nuestra confianza.

El reciente percance de Cursor AI -un bot de atención al cliente inventándose una política restrictiva- ha llevado a muchos usuarios a cancelar sus suscripciones, cuestionando su fiabilidad.

2. Coste

La IA ha pasado a primer plano en muchas empresas, y aunque eso es bueno, un desliz puede salir caro.

La alucinación de James Webb de Google provocó una caída de 100.000 millones de dólares en las acciones de Alphabet en el transcurso de unas pocas horas. Y eso antes del coste de volver a entrenar los modelos.

3. Desinformación perjudicial

Nos reímos de lo absurdo de la pizza con pegamento, pero ¿qué hay de las dosis médicas engañosas?

Seré el primero en cambiar la lectura de la letra pequeña plagada de advertencias por una respuesta rápida de la IA. Pero, ¿y si se equivoca? Es casi seguro que no tendrá en cuenta todas las enfermedades posibles.

3. Seguridad y malware

Como ya se ha mencionado, la IA suele inventarse los nombres de las bibliotecas de código. Cuando intenta instalar una biblioteca inexistente, no ocurre nada.

Ahora imagina que un hacker incrusta malware en código y lo sube bajo el nombre de una biblioteca comúnmente alucinada. Instalas la biblioteca, y 💨poof💨: te hackean.

Esto existe, y se llama slopsquatting.

Dejando a un lado el asqueroso nombre, nunca está de más ser crítico con lo que se instala y comprobar dos veces cualquiera de los nombres de bibliotecas que suenan exóticos.

Elija un modelo y una plataforma en los que pueda confiar

No estás solo. A las empresas de IA les interesa mantener la confianza, y eso significa no tener alucinaciones.

Dependiendo de lo que estés haciendo con la IA, casi siempre tienes al menos unas cuantas opciones, y una buena plataforma de IA hace que esto sea accesible. Estas plataformas deben ser transparentes sobre cómo mitigan las alucinaciones.

Utilizar RAG (Generación Mejorada por Recuperación)

No hagas que el modelo dependa de sus propios conocimientos. Equipar tu modelo con GAR deja claro que hay información disponible y dónde encontrarla.

Lo mejor es ejecutar la IA en una plataforma con instrucciones sencillas sobre cómo aplicar una GAR eficaz.

Añadir instrucciones detalladas

Si lo has oído una vez, lo habrás oído mil veces: basura dentro, basura fuera.

"Responder a la pregunta del usuario" no garantiza el éxito. Sin embargo, algo como:

# Instrucciones

Consulte exclusivamente el documento de preguntas frecuentes. Si la respuesta no aparece allí:‍

* Informe amablemente al usuario de que la información no está disponible.
* Ofrezca escalar la conversación a un agente humano.

mantendrá a raya a su agente. La mejor defensa contra un agente sin escrúpulos son unas instrucciones claras y unos límites firmes.

Verificación humana

Sobre el tema de la escalada, tener a una persona preparada para inspeccionar, evaluar y aplastar las deficiencias de la IA.

La capacidad de escalar o verificar retroactivamente las conversaciones permite averiguar qué funciona y qué corre el riesgo de alucinar. La supervisión humanade los flujos de trabajo basados en IA es imprescindible en este caso.