Human-in-the-Loop em IA: Mais Precisão, Menos Risco

Se você está pensando em melhorar seu negócio com IA, não está sozinho. Com os chatbots de IA sendo o canal de comunicação que mais cresce, eles deixaram de ser um luxo – agora são uma expectativa.

Mas abrir mão desse controle pode ser assustador. Delegar operações cruciais para um ‘algoritmo caixa-preta’ pode parecer um grande salto de confiança.

E realmente é, por isso as empresas contam com a intervenção humana para direcionar a IA. Praticamente todas as plataformas de agentes de IA incluem human-in-the-loop – ou seja, supervisão humana sobre as operações da IA.

Neste artigo, vou explicar o que é, como funciona e dar exemplos de como a intervenção humana é usada diariamente para dar mais controle aos usuários sobre chatbots de IA e agentes.

O que é human-in-the-loop?

Human-in-the-loop (HITL) é uma abordagem colaborativa na IA onde a participação humana é usada para melhorar ou ampliar as capacidades da IA. Isso pode acontecer por meio de dados anotados por humanos, correção de respostas do modelo ou até mesmo com humanos realizando tarefas completas quando a IA está incerta ou não é eficaz.

O termo pode ser um pouco ambíguo. Tecnicamente, ele se refere a qualquer envolvimento humano no ciclo de vida de aplicações de IA – desde rotulagem de dados e avaliação de modelos até aprendizado ativo e escalonamentos.

Na prática, quando provedores de IA oferecem funcionalidades HITL, geralmente significa supervisão sobre as respostas da IA: a possibilidade de revisar respostas e encaminhar interações do chatbot para agentes humanos.

Como os humanos estão “no loop” da IA?

Um pipeline de IA bem estruturado terá vários pontos de entrada para humanos.

A IA é treinada para identificar padrões em seus dados de treinamento e depois generalizar esses padrões para novos dados. Nós decidimos quais dados o modelo vê, mas não quais padrões ele extrai desses dados.

Em cada etapa do processo – coleta de dados, treinamento e implantação – cabe às pessoas garantir que o modelo está funcionando como esperado.

Dependendo de onde e como ocorre essa intervenção humana, ela pode se encaixar em uma das seguintes categorias:

Fornecendo Feedback para Aprendizado Contínuo

Sabe quando o ChatGPT pergunta qual das duas respostas é melhor? Esse feedback pode ser tratado como novos dados para o modelo treinar.

Mas o feedback não precisa ser explícito.

Pense nas recomendações das redes sociais. Um modelo preditivo está sempre sugerindo conteúdos com base no seu histórico. Conforme você usa a plataforma, suas escolhas viram dados para treinar continuamente o modelo de recomendação.

Nesse caso, você é o humano. E ao usar o app, você serve de guia para as próximas recomendações.

É aí que o ciclo se fecha: o modelo é treinado com dados, os usuários interagem com o modelo e essas interações geram novos dados para o modelo treinar novamente.

Lidando com Situações Escalonadas

HITL nem sempre serve para melhorar o sistema. Às vezes, é para repassar casos difíceis para humanos.

Considere um chatbot de suporte ao cliente. Ele tira uma boa parte do trabalho da sua equipe ao responder 95% das perguntas de forma clara, concisa e precisa.

Mas ainda sobram aqueles 5%.

Alguns casos são tão específicos ou incomuns que fogem do alcance da IA. Embora a intervenção humana não melhore o modelo nesse caso, é um ótimo exemplo de como humanos e aprendizado de máquina podem trabalhar juntos.

Anotando Dados para Treinamento

Tecnicamente, praticamente todo aprendizado de máquina é construído com um mecanismo HITL. Por isso, quando falamos de HITL, geralmente nos referimos às categorias acima.

Dito isso, não posso deixar de destacar o trabalho humano e a expertise no ciclo do aprendizado de máquina.

Dados são a base da IA, e dependem de pessoas. Modelos de IA são treinados para prever rótulos a partir de dados de entrada. Os rótulos são o resultado esperado da IA, e cabe a nós, humanos, criá-los.

Alguns exemplos de rotulagem feita por humanos incluem:

• Escrever respostas manualmente para prompts para treinar modelos de linguagem de grande porte (LLMs)
• Transcrever áudios para modelos de reconhecimento de fala.
• Anotar objetos em imagens para modelos de detecção de objetos
• Marcar e-mails de exemplo como spam ou não spam para o detector de spam de um cliente de e-mail

Avaliando o Desempenho do Modelo

A maior parte do tempo gasto construindo modelos de IA é tentando melhorá-los. Existem inúmeras métricas que você pode calcular, como precisão e recall, mas é preciso conhecimento especializado para entender como o modelo está funcionando e, mais importante, o que fazer a respeito.

Por exemplo, um pesquisador pode perceber que o modelo identifica bem imagens de cachorros, mas não de cachorro-quente. Isso geralmente se resolve adicionando ou diversificando as imagens de cachorro-quente.

Às vezes, um modelo de chat tem dificuldade para lembrar informações de mensagens anteriores. Um pesquisador normalmente resolve isso ajustando a arquitetura do modelo ou o método de geração.

Vantagens da IA Human-in-the-Loop

A IA pode ser extremamente eficiente e boa em reconhecer padrões sutis, mas as pessoas são inteligentes.

HITL consiste em unir o olhar humano com a eficiência da automação de fluxos de trabalho com IA, para que as respostas sejam adaptadas à experiência que usuários e provedores desejam.

1. Precisão e Confiabilidade

Essa é fácil. O que é melhor do que IA pura? Uma IA corrigida.

Além de otimizada para lidar com casos extremos, ela é confiável porque os usuários sabem que as respostas serão revisadas e aprimoradas continuamente.

2. Redução de Viés

Os dados são imperfeitos, e as respostas do modelo refletem isso. Viés – tendência para certos resultados – é um problema recorrente em aprendizado de máquina e IA.

Geração de imagens com viés racial ou seleção de candidatos por gênero são exemplos de como a IA reflete os vieses presentes nos dados de treinamento.

HITL permite que as pessoas sinalizem esses problemas e direcionem o modelo para resultados mais justos.

3. Melhoria Contínua e Adaptabilidade

O treinamento não acaba quando o modelo entra em produção. Com HITL, o modelo continua aprendendo com novos dados para se adaptar melhor a casos inéditos.

Por exemplo, editar textos gerados ou acompanhar as escolhas de conteúdo dos usuários fornecem mais dados para o modelo se aprimorar.

Mas não basta o modelo melhorar; ele também precisa mudar.

É fácil esquecer como nos adaptamos a um mundo em constante mudança. Com IA, isso não é garantido. HITL une expertise e julgamento humano para manter as respostas do modelo alinhadas com o momento.

4. Transparência e Confiança

A participação humana torna as decisões da IA mais transparentes. Com pessoas corrigindo respostas ou resolvendo casos de baixa certeza, os usuários ficam mais tranquilos ao interagir com o algoritmo.

Assim, continuamos no controle da IA, e não o contrário.

Casos de Uso do Human-in-the-Loop

1. Carros autônomos

Com valor de mercado projetado para chegar a US$ 3,9 trilhão na próxima década, os carros autônomos podem ser a próxima grande fronteira da IA. Eles utilizam modelos de detecção de objetos e decisões em tempo real para simular a direção de uma pessoa.

Mas, para algo tão automatizado, ainda depende bastante de pessoas. Os modelos estão constantemente observando padrões de direção humana e comparando suas próprias decisões com as previsões feitas.

2. Varejo

Um chatbot para varejo é uma ótima maneira de automatizar o atendimento ao cliente sem perder o toque personalizado. O HITL permite manter essa experiência fluida e alinhada ao seu negócio. Por exemplo, você pode:

• Revisar e corrigir as recomendações de produtos feitas pelo bot
• Permitir que o cliente explique suas necessidades básicas antes de encaminhar para um atendente humano

3. Finanças

Chatbots para finanças são uma excelente forma de unir automação por IA e conhecimento humano.

Sistemas de detecção de fraude são ótimos para identificar atividades suspeitas em transações. Mas nem toda atividade suspeita é criminosa, e você não quer ter seu cartão bloqueado só porque mudou o pedido do café.

O HITL pode encaminhar casos de baixa certeza e baixo risco para análise humana.

A avaliação de risco de crédito é outra área em que a IA se destaca – ela é excelente em calcular probabilidades a partir de dados aparentemente desconexos. Porém, esses dados quase sempre trazem algum viés.

Manter a justiça e reduzir vieses geralmente exige a intervenção de uma pessoa real.

4. Saúde

O usuário do Reddit cuja vida foi salva pelo Claude será o primeiro a defender o potencial da IA na saúde.

Chatbots médicos com IA já mostraram parte desse potencial, mas vai além disso: a IA pode ajudar a determinar diagnósticos a partir de exames de imagem ou sugerir acompanhamentos com base em resultados de testes. Mas ainda não estou pronto para deixar de consultar médicos.

O HITL oferece o melhor dos dois mundos: identifica casos que médicos poderiam não perceber, mas ainda permite que eles tomem a decisão final.

Use IA com supervisão humana hoje mesmo

A Botpress já tem milhares de bots em operação com supervisão humana integrada, sendo a plataforma de agentes de IA mais flexível do mercado.

A Botpress já vem com integração HITL, construtor visual de arrastar e soltar, e implantação em todos os canais de comunicação populares (incluindo Slack, Telegram, WhatsApp e web), então usar IA não significa perder o toque pessoal.

Comece a construir hoje. É grátis.

Perguntas frequentes

Como saber se meu sistema de IA precisa de envolvimento human-in-the-loop?

Seu sistema de IA provavelmente precisa de envolvimento humano se lida com decisões críticas, situações ambíguas ou raras, risco de gerar resultados tendenciosos ou prejudiciais, ou atua em áreas onde precisão máxima e julgamento humano são essenciais para conformidade ou confiança do cliente.

O human-in-the-loop pode ser usado em processos de negócios não técnicos, ou só em modelos de IA?

O human-in-the-loop pode ser aplicado em processos de negócios não técnicos, como análise de reclamações de clientes ou moderação de conteúdo, pois significa inserir julgamento humano em qualquer fluxo automatizado onde decisões automáticas podem não ser suficientes.

Usar human-in-the-loop significa que meu sistema de IA é menos avançado?

Usar human-in-the-loop não significa que seu sistema de IA é menos avançado. Mostra que você prioriza a segurança e a justiça ao combinar a velocidade e o reconhecimento de padrões da IA com o julgamento humano para decisões mais complexas, o que muitas vezes é essencial.

O human-in-the-loop está cada vez mais acessível para pequenas empresas ou só para grandes corporações?

O human-in-the-loop está cada vez mais acessível para pequenas empresas, pois ferramentas modernas permitem envolver humanos apenas nos casos mais complexos, reduzindo custos com mão de obra e melhorando precisão e confiança sem precisar de uma grande equipe.

Quanto custa adicionar processos human-in-the-loop a um sistema de IA?

Adicionar processos human-in-the-loop pode custar desde quase nada — se você usar funcionários internos de vez em quando — até valores significativos, chegando a centenas ou milhares de reais (ou dólares, dependendo do contexto) por mês se precisar de revisores dedicados ou especialistas, com o custo variando principalmente pelo volume e complexidade das tarefas que exigem intervenção humana.