Como otimizar o custo dos gastos com IA em Botpress

Sugestão 1: Escolher o modelo de IA correto

A escolha de um modelo de IA tem um impacto significativo no custo. Uma vez que GPT-3.5 Turbo é mais rápido e mais barato do que GPT-4 Turbo, recomendamos que teste cuidadosamente a sua configuração com GPT-3.5 Turbo antes de considerar uma atualização para versões mais avançadas. 

O nosso modo híbrido de Agente KB oferece um excelente meio-termo, uma vez que utilizamos inicialmente GPT-3.5 Turbo para tentar responder a uma consulta e escalamos para GPT-4 Turbo apenas se necessário.

Dica 2: Proteja a sua KB

Pode reduzir os seus gastos com IA protegendo a sua KB de perguntas frequentes típicas desnecessárias que não precisam de IA ou de respostas inteligentes com um cartão Localizar registos. Funciona assim: se soubermos que os utilizadores fazem normalmente uma pergunta e tivermos 50 perguntas conhecidas com as respectivas respostas, podemos adicioná-las a uma tabela e consultá-la utilizando um cartão Encontrar registos. No caso de não encontrarmos uma resposta, só então procuramos numa KB.

Sugestão 3: Selecionar corretamente os seus KB

Dependendo do tipo de informação e da quantidade de informação que se pretende adicionar a uma KB, a melhor prática é fazer duas coisas em paralelo para reduzir o custo de AI Spend. Em primeiro lugar, organize as suas informações em KB mais pequenas, com cada KB a ser aplicada a um produto/caraterística/tópico específico. Em segundo lugar, conduza o utilizador através de um fluxo de trabalho com várias perguntas para reduzir a sua pesquisa a uma KB específica; isto não só reduzirá o custo, como também produzirá melhores resultados.

Sugestão 4: Fonte de dados KB do sítio Web vs Pesquisar na fonte de dados KB da Web

Se usar um site como fonte de dados KB, mas não fizer alterações constantes no site que precisem de ser reflectidas no seu bot em tempo real, então uma boa alternativa económica é usar a Pesquisa na Web como fonte de dados KB em vez da fonte de dados KB do site. Antes de fazer essa transição, certifique-se de testar se o desempenho das perguntas que prevê que sejam feitas não é degradado com essa mudança.

Sugestão 5: Consultar tabelas com o cartão Procurar registos ou Executar código

Se tiver uma Tabela com dados que pretende consultar, considere a utilização do cartão Procurar Registos em vez de utilizar a Tabela numa KB. Para aqueles com conhecimentos técnicos, a execução de código pode ser um método ainda mais económico de consultar uma Tabela. Para tal, pode consultar a Tabela diretamente a partir do cartão Executar código e armazenar o resultado numa variável de fluxo de trabalho que pode ser consultada mais tarde.

Sugestão 6: Controlar os pedaços

Por pedaços, estou a referir-me ao número de pedaços que serão recuperados da Base de conhecimentos para gerar uma resposta. Geralmente, quanto mais pedaços recuperados, mais precisa será a resposta - mas levará mais tempo para gerar e custará mais tokens de IA. Faça experiências com o tamanho dos pedaços para estabelecer o valor mais baixo que ainda conduz a respostas exactas.

Alternativas de mensagens mais inteligentes

Se você quiser que seu bot envie uma resposta de IA diferente para a mesma consulta todas as vezes, deverá impedir o armazenamento em cache (consulte o Apêndice para saber como). Há cenários em que o aumento no gasto de IA pode ser justificado pela melhoria na experiência de conversação. Mas esse nem sempre é o caso.

Pense em algo como uma simples saudação gerada com LLMs. Com cada saudação, incorrerá num custo adicional de AI Spend. Valerá a pena? Provavelmente não. Felizmente, existe uma solução económica: utilize uma matriz com várias respostas e uma função simples para ir buscar um valor aleatoriamente e apresentá-lo. 

Dependendo do volume de conversação, o montante que poupa ao implementar este método pode valer bem o esforço.

Pode encontrar mais pormenores sobre como implementar mensagens alternativas aqui.

Execução de código para tarefas simples

Para tarefas simples, tais como a reformatação de dados ou a extração de informações de dados estruturados, a utilização do cartão Execute Code pode ser mais eficiente, mais barata e mais rápida do que recorrer a um LLM.

Alternativas ao agente sumário

Pode utilizar cartões Execute Code para criar a sua própria transcrição. Coloque um cartão Execute Code onde quer que queira seguir a mensagem dos utilizadores e do bot numa variável de matriz. Posteriormente, pode utilizar essa matriz e alimentá-la como contexto para a sua KB.

Escolher o modelo de IA correto 

Sim, escolher o modelo de IA correto é tão importante que vale a pena mencioná-lo duas vezes. Tal como acontece com os KB, a escolha de um modelo de IA tem um impacto significativo no custo das tarefas de IA. Opte por GPT-3.5 Turbo para instruções menos complicadas. Antes de considerar uma atualização para versões mais avançadas, teste exaustivamente a sua configuração com este modelo. Lembre-se, GPT-4 Turbo custa 20x mais do que GPT-3.5 Turbo. A menos que os resultados sejam consideravelmente melhores, opte por GPT-3.5 Turbo.

Para além do acima referido, também pode conservar os Gastos de IA reduzindo o número de fichas consumidas em cada execução de Tarefa de IA.

A minha recomendação é que tenha cuidado ao diminuir este número, porque isso resultará no truncamento de quaisquer tokens adicionais. Por exemplo, se limitar o comprimento a 2000 tokens e o seu prompt mais a sua saída forem mais de 2000 tokens, então a sua entrada será truncada em conformidade.

Tarefa de IA vs Gerar texto de IA

Para saídas de texto simples, o cartão Gerar texto com IA usa menos tokens e é mais fácil de configurar do que o cartão Tarefa com IA. Para tarefas que envolvem a análise de informações, o cartão AI Task supera o cartão AI Generate Text. 

Por conseguinte, recomendo que utilize o cartão Tarefa de IA quando pretender utilizar a IA para processar informações (por exemplo, se pretender detetar a intenção do utilizador ou se pretender que a IA analise a entrada). Mas, se quiser utilizar a IA para gerar texto, utilize o cartão Gerar texto com IA (por exemplo, se quiser pegar numa resposta da base de dados e expandi-la ou se quiser gerar uma pergunta de forma criativa).

Para uma análise mais aprofundada das diferenças entre o cartão Tarefa de IA e o cartão Gerar texto de IA, saiba mais aqui.

Traduções

Se o seu bot vai lidar com uma grande quantidade de conversas multilingues, considere a integração de ganchos com serviços de tradução externos para uma opção mais económica.

Pode encontrar mais informações sobre os ganchos aqui.