Alucinação de IA: What It Is, Why It Matters, and What You Can Do About It

Dados de treino de baixa qualidade

ChatGPT e outros LLMs semelhantes são treinados com base numa grande quantidade de dados. Estes dados, por muito abundantes que sejam, são imperfeitos devido a:

• Lacunas em determinados temas
• Reflexo dos preconceitos do mundo real
• Desinformação deliberada ou sátira não assinalada
• Enviesado, como no caso de dados desequilibrados ou "desequilibrados".

Considere-se um cenário em que o modelo foi treinado com informações sobre todos os deuses gregos, exceto um.

A sua capacidade de estabelecer ligações estatísticas entre temas semelhantes aos da mitologia grega - amor, ética, traição - pode levá-lo a criar uma mitologia inventada que considere "provável", tendo em conta o seu modelo estatístico.

Isto também é visível na geração de imagens, em que a maioria dos pedidos para um sujeito feminino produz imagens hipersexualizadas. A tendência para um determinado tipo de representação condiciona o tipo de imagens que são geradas.

É provável que a ortografia de strawberry tenha ocorrido nos dados de treino no contexto de uma discussão sobre o duplo R, um ponto de dor notório dos falantes não nativos de inglês. Neste caso, é provável que o número 2 ou a palavra "double" tenham surgido em ligação com a ortografia da palavra.

Por outro lado, é improvável que os dados mencionem o facto de ter 3 Rs.

O resultado é absurdo porque a pergunta é: em que circunstância é que alguém escreveria uma palavra e depois perguntaria como é que ela se escreve?

Arquitetura do modelo e método de geração

Os modelos são construídos a partir de arquitecturas de redes neuronais extremamente complexas. Pequenas variações afectam a forma como os modelos interagem com os seus dados de treino e as instruções de entrada. A capacidade de um modelo para atenuar a alucinação está sujeita a melhorias incrementais através de investigação e testes rigorosos.

Para além disso, a forma como a geração é implementada. Palavra a palavra (na verdade, palavra a palavra), os modelos prevêem a palavra mais provável a seguir. Assim:

"A rápida raposa castanha salta sobre o preguiçoso ___".

Determinará que a palavra seguinte mais provável é "cão". Mas outras palavras são possíveis. E a geração baseada apenas na determinação da palavra seguinte mais provável produz resultados desinteressantes e previsíveis.

Isto significa que têm de ser utilizados métodos de amostragem criativos para manter as respostas excitantes, mas coerentes. Ao fazê-lo, a factualidade por vezes escapa-se.

Sobreajuste

O sobreajuste ocorre quando o modelo é treinado para prever os dados de forma tão próxima que não consegue generalizar para novas entradas.

Portanto, se eu fosse um modelo (como a minha mãe diz que eu deveria ser), então seria um modelo devidamente treinado se reconhecesse os cães como:

Peludo, com orelhas caídas, brincalhão e com um pequeno nariz de botão castanho.

Mas eu estaria a ser demasiado adaptado se apenas os reconhecesse como:

Tem uma pinta castanha debaixo do queixo, responde pelo nome de "Frank" e mastigou completamente o meu bom par de Nikes.

No contexto de um LLMé geralmente a regurgitação de informação vista nos dados de treino, em vez de recuar quando não se sabe a resposta.

Imaginemos que pede a um chatbot a política de devoluções de uma empresa. Se ele não souber, deve informá-lo. No entanto, se estiver demasiado preparado, pode devolver a política de uma empresa semelhante.

Má comunicação

As empresas estão a emitir certificados em engenharia rápida com o conhecimento de que a IA só é tão boa quanto os seus inputs.

Uma proposta bem formulada é articulada com precisão, evita a terminologia de nicho e fornece todo o contexto necessário.

Isto deve-se ao facto de a alucinação ocorrer no limite de muitos resultados de baixa probabilidade.

Digamos que pergunta "qual é o enredo da rapariga tubarão?" Agora, um humano pensa "hã, a rapariga tubarão" .No mundo das estatísticas, as possibilidades são:

• The Adventures of Sharkboy and Lavagirl - um filme infantil bastante popular de 2005 com um nome semelhante.
• Um filme de terror/thriller de 2024 chamado Shark Girl - menos popular, mas mais recente e preciso.
• Um livro infantil com o mesmo nome do início deste ano - que o modelo pode ou não ter indexado.

Nenhuma delas é a escolha óbvia, resultando numa distribuição de probabilidades "mais plana" com menos compromisso com um tópico ou narrativa. Uma pergunta mais eficaz forneceria o contexto, ou seja, articularia o exemplo a que o utilizador se está a referir.

Esta sopa de ambiguidade e relevância tangencial pode produzir uma resposta que é apenas isso: um enredo genérico inventado para uma história relacionada com tubarões.

Reduzir a probabilidade de alucinações é reduzir a incerteza.

Erros factuais

É aqui que se enquadra o exemplo dos morangos. Há erros em pormenores de declarações que, de outra forma, seriam factuais. Estes podem incluir o ano em que um determinado acontecimento teve lugar, a capital de um país ou os números de uma estatística.

Pequenos detalhes numa resposta que, de outra forma, seria boa, podem ser particularmente insidiosos, especialmente quando se trata de detalhes de que os humanos não se lembram frequentemente, como números exactos.

Conteúdo fabricado

Em 2023, o Google Bard afirmou falsamente que o telescópio James Webb tinha sido utilizado para tirar as primeiras fotografias de exoplanetas. Não se tratava de uma questão de imprecisões técnicas - era simplesmente falso.

Podem ser afirmações arrojadas como as acima referidas, mas mais frequentemente aparecem como URLs que não vão a lado nenhum, ou bibliotecas e funções de código inventadas.

Vale a pena notar que a linha entre erros factuais e conteúdo fabricado nem sempre é clara.

Digamos que estamos a falar de um investigador. Se citarmos um trabalho dele mas nos enganarmos no ano, trata-se de um erro factual. Se nos enganarmos no nome, o que acontece? O que acontece com o nome e o ano?

Desinformação

Pode enquadrar-se em qualquer uma das duas categorias anteriores, mas refere-se a informações falsas em que a fonte é mais transparente.

A famosa recomendação da IA da Google de comer pizza com cola e comer pedras é um ótimo exemplo disto; o material de origem é obviamente satírico e geralmente inofensivo - comentários do Reddit escritos pelo The Onion, mas a formação do modelo não teve em conta esse facto.

1. Perda de confiança

Apreciamos a liberdade de transferir as nossas tarefas para a IA, mas não à custa da nossa confiança.

O recente contratempo da Cursor AI - um bot de serviço ao cliente que inventou uma política restritiva - levou muitos utilizadores a cancelar as suas subscrições, questionando a sua fiabilidade.

2. Custo

A IA assumiu um lugar de destaque em muitas empresas e, embora isso seja positivo, um deslize pode sair caro.

A alucinação de James Webb, da Google, provocou uma queda de 100 mil milhões de dólares nas acções da Alphabet em poucas horas. E isso sem contar com o custo de treinar novamente os modelos.

3. Desinformação prejudicial

Rimo-nos do absurdo da pizza de cola, mas o que dizer de doses médicas enganosas?

Serei o primeiro a trocar a leitura das letras miudinhas com avisos por uma resposta rápida da IA. Mas e se estiver errada? É quase certo que não terá em conta todas as condições médicas possíveis.

3. Segurança e malware

Como mencionado, a IA inventa frequentemente os nomes das bibliotecas de código. Quando se tenta instalar uma biblioteca inexistente, não acontece nada.

Agora imagine que um hacker incorpora malware no código e o carrega sob o nome de uma biblioteca comumente alucinada. O utilizador instala a biblioteca e 💨poof💨: é pirateado.

Isto existe e chama-se slopsquatting.

Nome grosseiro à parte, nunca é demais ser crítico em relação ao que se está a instalar, e verificar novamente qualquer nome de biblioteca que soe exótico.

Escolha um modelo e uma plataforma em que pode confiar

Não está por sua conta. As empresas de IA têm todo o interesse em manter a confiança, o que significa que não há alucinações.

Dependendo do que se está a fazer com a IA, há quase sempre pelo menos algumas opções, e uma boa plataforma de IA torna-as acessíveis. Estas plataformas devem ser transparentes quanto à forma como atenuam as alucinações.

Utilizar RAG (Retrieval-Augmented Generation)

Não faça com que o modelo dependa dos seus próprios conhecimentos. Equipar o seu modelo com RAG torna claro que a informação está disponível e onde a pode encontrar.

É melhor executar a IA numa plataforma com instruções simples sobre como implementar um RAG eficaz.

Adicionar instruções completas

Se já ouviste uma vez, já ouviste mil vezes: lixo dentro, lixo fora.

"Responder à pergunta do utilizador" não garante o sucesso. No entanto, algo como:

# Instruções

Consulte exclusivamente o documento de perguntas frequentes. Se a resposta não aparecer lá:‍

* Informar educadamente o utilizador de que a informação não está disponível.
* Ofereça-se para encaminhar a conversa para um agente humano.

manterá o seu agente sob controlo. A melhor defesa contra um agente desonesto é uma solicitação clara com barreiras firmes.

Verificação humana

No que diz respeito à escalada, ter uma pessoa pronta para inspecionar, avaliar e eliminar as deficiências da IA.

A capacidade de escalar ou verificar retroativamente as conversas permite-lhe descobrir o que funciona e o que está em risco de alucinação. Asupervisão humana dos fluxos de trabalho orientados para a IA é uma necessidade neste domínio.