Porque é que nos livrámos dos classificadores de intenção

Uma das perguntas mais comuns que recebemos de potenciais clientes e utilizadores é "Onde estão os vossos classificadores de intenções?".

Nós não temos nenhum. E sim, é de propósito. 

Botpress utiliza LLMs para identificar a intenção do utilizador. Porquê? É muito melhor tanto para os criadores como para os utilizadores de um agente de IA. 

Esta posição é muito importante para nós, pelo que gostaria de dedicar alguns minutos a explicar a nossa falta de classificadores de intenções. 

TLDR: É mais fácil de construir, é mais exato e é mais simples de manter. 

Antigamente (antes deLLM)

(Se estiver familiarizado com o que são e o que fazem os classificadores de intenção, não hesite em saltar esta secção). 

Um classificador de intenções é uma ferramenta que categoriza as entradas do utilizador em intenções predefinidas com base em dados de treino.

Os programadores têm de selecionar e rotular inúmeros exemplos para cada intenção possível, esperando que o sistema possa fazer corresponder os dados do utilizador a esses exemplos. 

Por exemplo, com um chatbot de comércio eletrónico, os programadores podem definir uma intenção como "TrackOrder". Os seus exemplos de enunciados podem incluir: "Onde está a minha encomenda?" "Seguir a minha encomenda" e "Pode verificar o estado da entrega por mim?"

Essencialmente, estão a treinar o agente de IA para reconhecer a intenção do utilizador através de exemplos. E sim, têm de os introduzir todos à mão.

Felizmente, a necessidade de fazer este mapeamento manual de possíveis enunciados para uma intenção praticamente desapareceu à medida que o LLMs se tornou mais avançado.

Mas muitas plataformas de IA de conversação continuam a utilizá-las. Porquê? Já lá chegaremos. 

4 desvantagens dos classificadores de intenção

Não é só o facto de ser um processo mais longo - os classificadores de intenção não prestam por muitas razões. Aqui estão algumas delas:

1. Dependência de dados

Os classificadores de intenções são ávidos de dados. Precisam de um conjunto de dados enorme e representativo de exemplos de utilizadores para que cada intenção funcione com precisão. Sem isso, têm dificuldade em classificar corretamente as entradas.

E construir estes conjuntos de dados é um trabalho árduo. Os programadores passam horas intermináveis a recolher e a etiquetar exemplos, o que não é, sem dúvida, uma boa utilização do seu tempo.

2. Escalabilidade limitada 

Os classificadores de intenções também não foram criados para serem escalonados. Adicionar novas intenções significa recolher mais dados e voltar a treinar o modelo, o que rapidamente se torna um estrangulamento para o desenvolvimento. Plus Além disso, podem ser uma dor de cabeça para a manutenção - porque à medida que a utilização da língua evolui, o mesmo acontece com os enunciados.

3. Má compreensão da língua 

Os classificadores de intenções carecem de uma verdadeira compreensão da linguagem. Têm dificuldade em lidar com as variações linguísticas, por exemplo:

• Sinónimos
• Paráfrases
• Frases ambíguas
• Erros de digitação 
• Expressões coloquiais desconhecidas
• Entradas fragmentadas

Além disso, normalmente processam cada enunciado isoladamente, o que significa que não têm a capacidade de manter o contexto ao longo de uma conversa. 

4. Sobreajuste

Os classificadores de intenção são propensos ao sobreajuste, em que memorizam exemplos de treino em vez de aprenderem padrões gerais. 

Isto significa que têm um bom desempenho em frases exactas que já viram, mas têm dificuldades com entradas novas ou variadas. Isto torna-os muito mais frágeis do que o adequado para um caso de utilização profissional.

6 razões pelas quais LLMs é melhor 

LLMs resolveram praticamente todos estes problemas. Compreendem o contexto e as nuances e os programadores não precisam de os encher com dados de formação para começarem a trabalhar. Um agente baseado em LLM pode começar a conversar a partir do momento em que é criado. 

1. Capacidades de aprendizagem zero-shot 

LLMs não precisam de exemplos para aprender. A sua extensa pré-treino significa que já compreendem o contexto, as nuances e a intenção sem necessitarem que os programadores lhes dêem exemplos específicos.

2. Uma pequena coisa chamada nuance

LLMs são excelentes onde os classificadores de intenção ficam aquém. Podem interpretar expressões idiomáticas, sarcasmo e linguagem ambígua com facilidade. 

A sua extensa formação em diversos conjuntos de dados dá-lhes a capacidade de captar as subtis nuances da comunicação humana que os classificadores de intenção muitas vezes não captam.

3. Melhor contexto

LLMs não perdem o fio à meada da conversa. Lembram-se do que foi dito anteriormente, o que faz com que as interações fluam naturalmente e sejam mais coerentes.

Este contexto também os ajuda a esclarecer ambiguidades. Mesmo quando o input é vago ou complexo, eles podem juntar as peças ao olhar para a conversa mais alargada.

4. Escalabilidade

LLMs são 100% melhores a escalar. Não precisam de formação adicional para abordar novos temas, graças ao seu amplo conhecimento da língua. 

Isto torna-os aptos a lidar com praticamente qualquer caso de utilização logo que saem da caixa. Para sistemas multi-agentes, é fácil utilizar um LLM em vez de um classificador de intenções.

5. Flexibilidade

LLMs não se baseiam em modelos rígidos. A sua flexibilidade significa que as respostas são naturais, variadas e perfeitamente adaptadas à conversa. São uma experiência muito melhor para os utilizadores do que classificadores de intenções frágeis.

6. Menos dados de treino

LLMs não precisam de dados rotulados específicos de uma tarefa para fazer o trabalho. O seu poder advém da pré-treino maciço em texto diverso, pelo que não dependem de conjuntos de dados minuciosamente anotados.

Se necessário, os programadores podem sempre personalizar um LLM para o seu projeto. Por exemplo, o LLMs pode ser ajustado com um mínimo de dados, para que se possa adaptar rapidamente a casos de utilização ou sectores especializados.

Porque é que outras empresas utilizam classificadores de intenção?

Boa pergunta. Se LLMs é muito melhor a classificar intenções, então porque é que tantas empresas ainda utilizam classificadores de intenções? 

A resposta não é bonita e não é a mais diplomática de dizer: é um problema de tecnologia antiga. 

A maioria das empresas tem interesse em utilizar classificadores de intenção. Criaram enormes bases de instalação que funcionam com eles. Não têm qualquer razão para dissuadir os seus utilizadores do sistema que criaram.

Mas Botpress é LLM-first

LLMs são muito melhores a identificar intenções do que os classificadores de intenções à moda antiga. É por isso que reescrevemos de raiz para sermos LLM-first em 2020. 

Sabíamos que a melhor tecnologia tinha chegado e, em vez de nos agarrarmos à tecnologia antiga, investimos em dar o salto.

Iremos adicionar classificadores de intenções?

Não. Preocupamo-nos demasiado com a experiência do nosso construtor e com a experiência dos seus utilizadores.

O futuro da classificação de intenções

Os classificadores de intenções são uma ferramenta do passado. É por isso que apostámos tudo em LLMs. 

À medida que o LLMs continua a melhorar, o mesmo acontece com os agentes de IA criados em Botpress. Estamos prontos e entusiasmados para continuar a elevar a fasquia do que a IA de conversação pode fazer.

Se pretende criar agentes de IA flexíveis com base em LLMs, pode começar a construir em Botpress. É gratuito. 

Criar agentes de IA

Criar agentes autónomos personalizados

Começar agora

Não é necessário cartão de crédito