¿Crees que Joaquin Phoenix se habría enamorado de Scarlett Johansson si le hubiera preguntado cuántas erreshay en fresa? Si estás en LinkedIn, ya sabes que la respuesta es 3. (O, ya sabes, si sabes leer).
Pero para los chatbots de IA, no siempre es tan sencillo.
Seguramente habrás visto a gente burlándose de lo absurdo de las alucinaciones de la IA. Y para ser justos, un modelo de IA con un conocimiento aparentemente infinito, una capacidad de razonamiento similar a la humana y una ejecución de tareas ultrarrápida que fracasa en un problema matemático de parvulario es, bueno, algo absurdo.
Pero detrás de la diversión y los juegos se esconde una realidad más seria y potencialmente insidiosa.
En este artículo voy a hablar de las alucinaciones AI: qué son, qué las provoca, por qué son importantes y qué medidas puedes tomar para prevenirlas.
¿Qué es la alucinación AI?
Se habla de alucinación de IA cuando un modelo de IA presenta información inexacta, engañosa o totalmente inventada. Esta información falsa puede parecer verosímil y, en muchos casos, pasar desapercibida.
Debido a la adopción generalizada de LLMs, la mayoría de las veces se hace referencia a las alucinaciones en el contexto de los modelos generativos de texto. En realidad, suponen un riesgo para cualquier aplicación de la IA generativa.
¿Qué causa las alucinaciones en la IA?
La alucinación de la IA se produce cuando los modelos aprenden patrones falsos.
Los patrones, en el contexto de la IA, se refieren a su capacidad de utilizar ejemplos individuales de entrenamiento para generalizar a través de datos no vistos. Puede tratarse de una serie de palabras para formar la continuación de un texto, o de la distribución de píxeles de una imagen que corresponden a un perro.
En el caso de la alucinación LLM , el modelo ha considerado una serie de palabras como el seguimiento más probable a la indicación del usuario, aunque sea falsa.
Esto podría deberse a una o varias de las siguientes razones:
Datos de entrenamiento de baja calidad
ChatGPT y LLMs similares se entrenan con montones de datos. Estos datos, por abundantes que sean, son imperfectos debido a:
- Lagunas en determinados temas
- Reflejar los prejuicios del mundo real
- Desinformación deliberada o sátira no marcada
- Sesgados, como los datos desequilibrados o "asimétricos".
Consideremos un escenario en el que el modelo se entrenó con información sobre todos los dioses griegos menos uno.
Su capacidad para establecer conexiones estadísticas entre temas similares a los de la mitología griega -amor, ética, traición- podría hacer que encadenara alguna mitología inventada que considerara "probable", dado su modelo estadístico.
Esto también es evidente en la generación de imágenes, ya que la mayoría de las solicitudes de un sujeto femenino producen imágenes hipersexualizadas. El sesgo hacia un tipo concreto de representación condiciona el tipo de imágenes que se generan.
Es probable que la grafía de "strawberry" (fresa ) haya aparecido en los datos de entrenamiento en el contexto de una discusión sobre la doble R, un conocido punto débil de los angloparlantes no nativos. En este caso, es probable que el número 2 o la palabra "double" hayan surgido en relación con la ortografía de la palabra.
Por otra parte, es poco probable que los datos hayan hecho mención a que tiene 3 R.
El resultado es absurdo porque la pregunta es: ¿en qué circunstancias escribiría alguien una palabra y luego preguntaría cómo se escribe?
Arquitectura del modelo y método de generación
Los modelos se construyen a partir de arquitecturas de redes neuronales asombrosamente complejas. Existen ligeras variaciones en la forma en que los modelos interactúan con los datos de entrenamiento y las instrucciones de entrada. La capacidad de un modelo para mitigar la alucinación está sujeta a mejoras graduales mediante investigaciones y pruebas rigurosas.
A esto hay que añadir cómo se implementa la generación. Palabra por palabra (en realidad, palabra por palabra), los modelos predicen la palabra más probable que vendrá a continuación. Así que..:
"El zorro marrón rápido salta sobre el perezoso ___".
Determinará que la palabra más probable es "perro". Pero hay otras palabras posibles. Y la generación basada únicamente en la determinación de la palabra más probable produce resultados poco interesantes y predecibles.
Esto significa que hay que emplear métodos creativos de muestreo para que las respuestas sean emocionantes y coherentes. Al hacerlo, a veces los hechos se escapan por las rendijas.
Sobreajuste
La sobreadaptación se produce cuando el modelo se entrena para predecir los datos con tanta precisión que no consigue generalizarse a nuevas entradas.
Así que, si yo fuera modelo (como dice mi madre que debería ser), entonces sería una correctamente entrenada si reconociera a los perros como:
Peludo, con orejas caídas, juguetón y una naricita marrón de botón.
Pero estaría sobreadaptado si sólo los reconociera como:
Tiene un punto marrón bajo la barbilla, responde al nombre de "Frank", y masticó totalmente mi buen par de Nikes.
En el contexto de un LLMsuele parecer que regurgita la información que ha visto en los datos de entrenamiento, en lugar de retroceder cuando no conoce la respuesta.
Digamos que preguntas a un chatbot por la política de devoluciones de una empresa. Si no lo sabe, debería informarte. Aunque si está sobreajustado, podría devolverte la política de una empresa similar.
Mala orientación
Las empresas están expidiendo certificados en ingeniería rápida a sabiendas de que la IA sólo es tan buena como sus insumos.
Un aviso bien formulado se articula con precisión, evita la terminología especializada y proporciona todo el contexto necesario.
Esto se debe a que la alucinación se produce en el límite de muchas salidas de baja probabilidad.
Digamos que preguntas "¿cuál es el argumento de chica tiburón?". Ahora, un humano piensa "eh, chica tiburón" .En el mundo de las estadísticas, las posibilidades son:
- Las aventuras de Sharkboy y Lavagirl: una película infantil bastante popular de 2005 con un nombre similar.
- Un horror/thriller de 2024 llamado Shark Girl - menos popular pero más reciente y preciso.
- Un libro infantil con el mismo nombre de principios de año, que la modelo puede o no haber indexado.
Ninguno de ellos es la elección obvia, lo que da lugar a una distribución de probabilidades "más plana" con menos compromiso con un tema o narrativa. Una pregunta más eficaz proporcionaría contexto, es decir, explicaría a qué ejemplo se refiere el usuario.
Esta sopa de ambigüedad y relevancia tangencial puede producir una respuesta que no sea más que eso: una trama genérica inventada para una historia relacionada con tiburones.
Disminuir la probabilidad de sufrir alucinaciones consiste en reducir la incertidumbre.
Tipos de alucinaciones AI
Hasta ahora he hablado de las alucinaciones a grandes rasgos. La realidad es que afecta a casi todos los aspectos de la IA. Sin embargo, en aras de la claridad, es mejor considerar las distintas categorías.
Errores de hecho
Aquí es donde encaja el ejemplo de la fresa. Hay errores en los detalles de afirmaciones que, por lo demás, son objetivas. Por ejemplo, el año en que tuvo lugar un acontecimiento, la capital de un país o las cifras de una estadística.
Los pequeños detalles en una respuesta por lo demás buena pueden ser especialmente insidiosos, sobre todo cuando se trata de detalles que los humanos no suelen recordar, como los números exactos.
Contenido fabricado
En 2023, el Bard de Google afirmó falsamente que el telescopio James Webb se utilizó para tomar las primeras imágenes de exoplanetas. No se trataba de imprecisiones técnicas, sino de una simple falsedad.
Pueden ser afirmaciones atrevidas como las anteriores, pero lo más frecuente es que aparezcan como URL que no llevan a ninguna parte, o bibliotecas de código y funciones inventadas.
Cabe señalar que la línea que separa los errores de hecho de los contenidos inventados no siempre está clara.
Pongamos que hablamos de un investigador. Si citamos un artículo suyo pero nos equivocamos de año, es un error de hecho. Si nos equivocamos en el nombre, ¿qué? ¿Qué pasa con el nombre y el año?
Información errónea
Puede incluirse en cualquiera de las dos categorías anteriores, pero se refiere a información falsa en la que la fuente es más transparente.
La IA de Google, famosa por recomendar pizza de cola y comer piedras, es un gran ejemplo de ello; el material de origen es obviamente satírico y, en general, inofensivo: comentarios de Reddit escritos por The Onion, pero el entrenamiento del modelo no había tenido en cuenta este aspecto.
Riesgos de las alucinaciones AI
1. Pérdida de confianza
Apreciamos la libertad de descargar nuestras tareas en la IA, pero no a costa de nuestra confianza.
El reciente percance de Cursor AI -un bot de atención al cliente inventándose una política restrictiva- ha llevado a muchos usuarios a cancelar sus suscripciones, cuestionando su fiabilidad.
2. Coste
La IA ha pasado a primer plano en muchas empresas, y aunque eso es bueno, un desliz puede salir caro.
La alucinación de James Webb de Google provocó una caída de 100.000 millones de dólares en las acciones de Alphabet en el transcurso de unas pocas horas. Y eso antes del coste de volver a entrenar los modelos.
3. Desinformación perjudicial
Nos reímos de lo absurdo de la pizza con pegamento, pero ¿qué hay de las dosis médicas engañosas?
Seré el primero en cambiar la lectura de la letra pequeña plagada de advertencias por una respuesta rápida de la IA. Pero, ¿y si se equivoca? Es casi seguro que no tendrá en cuenta todas las enfermedades posibles.
3. Seguridad y malware
Como ya se ha mencionado, la IA suele inventarse los nombres de las bibliotecas de código. Cuando intenta instalar una biblioteca inexistente, no ocurre nada.
Ahora imagina que un hacker incrusta malware en código y lo sube bajo el nombre de una biblioteca comúnmente alucinada. Instalas la biblioteca, y 💨poof💨: te hackean.
Esto existe, y se llama slopsquatting.
Dejando a un lado el asqueroso nombre, nunca está de más ser crítico con lo que se instala y comprobar dos veces cualquiera de los nombres de bibliotecas que suenan exóticos.
Pasos para prevenir las alucinaciones AI
Si no se entrenan los modelos, poco se puede hacer en cuanto a datos y arquitectura.
La buena noticia es que todavía hay precauciones que puedes tomar, y pueden marcar la diferencia en el envío de IA sin alucinaciones.
Elija un modelo y una plataforma en los que pueda confiar
No estás solo. A las empresas de IA les interesa mantener la confianza, y eso significa no tener alucinaciones.
Dependiendo de lo que estés haciendo con la IA, casi siempre tienes al menos unas cuantas opciones, y una buena plataforma de IA hace que esto sea accesible. Estas plataformas deben ser transparentes sobre cómo mitigan las alucinaciones.
Utilizar RAG (Generación Mejorada por Recuperación)
No hagas que el modelo dependa de sus propios conocimientos. Equipar tu modelo con GAR deja claro que hay información disponible y dónde encontrarla.
Lo mejor es ejecutar la IA en una plataforma con instrucciones sencillas sobre cómo aplicar una GAR eficaz.
Añadir instrucciones detalladas
Si lo has oído una vez, lo habrás oído mil veces: basura dentro, basura fuera.
"Responder a la pregunta del usuario" no garantiza el éxito. Sin embargo, algo como:
# Instrucciones
Consulte exclusivamente el documento de preguntas frecuentes. Si la respuesta no aparece allí:
* Informe amablemente al usuario de que la información no está disponible.
* Ofrezca escalar la conversación a un agente humano.mantendrá a raya a su agente. La mejor defensa contra un agente sin escrúpulos son unas instrucciones claras y unos límites firmes.
Verificación humana
Sobre el tema de la escalada, tener a una persona preparada para inspeccionar, evaluar y aplastar las deficiencias de la IA.
La capacidad de escalar o verificar retroactivamente las conversaciones permite averiguar qué funciona y qué corre el riesgo de alucinar. La supervisión humanade los flujos de trabajo basados en IA es imprescindible en este caso.
Utilice hoy la IA sin alucinaciones
La incertidumbre en torno a la fiabilidad de la IA podría estar impidiendo la transformación digital de las empresas.
Las capacidades RAG de Botpress, la integración humana en el bucle y los exhaustivos sistemas de seguridad hacen que la IA sea segura y fiable. Tu agente trabaja para ti, no al revés.
Empieza aconstruir hoy mismo. Es gratis.
