Como otimizar o custo dos gastos com IA em Botpress

Muitas empresas enfrentam o desafio de aproveitar o potencial das tecnologias de IA sem gastar demasiado. Compreendemos a importância deste equilíbrio e estamos empenhados em fornecer soluções que permitam aos nossos utilizadores tirar partido da IA de forma rentável.

A nossa abordagem ao custo da IA

Em primeiro lugar, é importante compreender dois componentes importantes da forma como reduzimos os custos relacionados com a IA para os nossos utilizadores, ao mesmo tempo que oferecemos as vantagens das capacidades de IA.

Preços transparentes: Sem taxas ocultas

Não adicionamos quaisquer margens às tarefas relacionadas com a IA. Isto significa que o seu custo de gastos com IA está diretamente relacionado com a sua utilização real, sem quaisquer taxas adicionais de IA da nossa parte. Pode utilizar a nossa Calculadora de G astos de IA para estimar os seus potenciais Gastos de IA connosco.

Armazenamento em cache de respostas de IA

O armazenamento em cache é uma das nossas estratégias mais eficazes para reduzir os custos de IA dos bots. Ao armazenar em cache as respostas da IA, reduzimos o número de pedidos ao fornecedor LLM , o que pode reduzir o custo das consultas em cerca de 30%, poupando-lhe dinheiro sem comprometer a qualidade das interacções do bot com os seus utilizadores.

Sugestões para otimizar o custo da IA

Agora que já vimos duas das abordagens que adoptamos para reduzir o gasto de IA dos nossos utilizadores, vamos analisar as dicas que pode utilizar ao criar o seu bot para reduzir ainda mais o seu custo de IA.

Optimize as suas Bases de Conhecimento

A otimização das suas Bases de Conhecimento (KBs) pode influenciar grandemente os seus gastos com IA, uma vez que as KBs são normalmente o maior fator de custo da IA num projeto Botpress .

Sugestão 1: Escolher o modelo de IA correto

A escolha de um modelo de IA tem um impacto significativo no custo. Uma vez que GPT-3.5 Turbo é mais rápido e mais barato do que GPT-4 Turbo, recomendamos que teste cuidadosamente a sua configuração com GPT-3.5 Turbo antes de considerar uma atualização para versões mais avançadas. 

O nosso modo híbrido de Agente KB oferece um excelente meio-termo, uma vez que utilizamos inicialmente GPT-3.5 Turbo para tentar responder a uma consulta e escalamos para GPT-4 Turbo apenas se necessário.

Dica 2: Proteja a sua KB

Pode reduzir os seus gastos com IA protegendo a sua KB de perguntas frequentes típicas desnecessárias que não precisam de IA ou de respostas inteligentes com um cartão Localizar registos. Funciona assim: se soubermos que os utilizadores fazem normalmente uma pergunta e tivermos 50 perguntas conhecidas com as respectivas respostas, podemos adicioná-las a uma tabela e consultá-la utilizando um cartão Encontrar registos. No caso de não encontrarmos uma resposta, só então procuramos numa KB.

Sugestão 3: Selecionar corretamente os seus KB

Dependendo do tipo de informação e da quantidade de informação que se pretende adicionar a uma KB, a melhor prática é fazer duas coisas em paralelo para reduzir o custo de AI Spend. Em primeiro lugar, organize as suas informações em KB mais pequenas, com cada KB a ser aplicada a um produto/caraterística/tópico específico. Em segundo lugar, conduza o utilizador através de um fluxo de trabalho com várias perguntas para reduzir a sua pesquisa a uma KB específica; isto não só reduzirá o custo, como também produzirá melhores resultados.

Sugestão 4: Fonte de dados KB do sítio Web vs Pesquisar na fonte de dados KB da Web

Se usar um site como fonte de dados KB, mas não fizer alterações constantes no site que precisem de ser reflectidas no seu bot em tempo real, então uma boa alternativa económica é usar a Pesquisa na Web como fonte de dados KB em vez da fonte de dados KB do site. Antes de fazer essa transição, certifique-se de testar se o desempenho das perguntas que prevê que sejam feitas não é degradado com essa mudança.

Sugestão 5: Consultar tabelas com o cartão Procurar registos ou Executar código

Se tiver uma Tabela com dados que pretende consultar, considere a utilização do cartão Procurar Registos em vez de utilizar a Tabela numa KB. Para aqueles com conhecimentos técnicos, a execução de código pode ser um método ainda mais económico de consultar uma Tabela. Para tal, pode consultar a Tabela diretamente a partir do cartão Executar código e armazenar o resultado numa variável de fluxo de trabalho que pode ser consultada mais tarde.

Sugestão 6: Controlar os pedaços

Por pedaços, estou a referir-me ao número de pedaços que serão recuperados da Base de conhecimentos para gerar uma resposta. Geralmente, quanto mais pedaços recuperados, mais precisa será a resposta - mas levará mais tempo para gerar e custará mais tokens de IA. Faça experiências com o tamanho dos pedaços para estabelecer o valor mais baixo que ainda conduz a respostas exactas.

Utilizar o cartão de código de execução para reduzir o custo das despesas de IA

A carta Executar código pode ser um substituto adequado e económico para algumas cartas de IA. Aqui estão alguns cenários onde pode considerar a sua utilização:

Alternativas de mensagens mais inteligentes

Se você quiser que seu bot envie uma resposta de IA diferente para a mesma consulta todas as vezes, deverá impedir o armazenamento em cache (consulte o Apêndice para saber como). Há cenários em que o aumento no gasto de IA pode ser justificado pela melhoria na experiência de conversação. Mas esse nem sempre é o caso.

Pense em algo como uma simples saudação gerada com LLMs. Com cada saudação, incorrerá num custo adicional de AI Spend. Valerá a pena? Provavelmente não. Felizmente, existe uma solução económica: utilize uma matriz com várias respostas e uma função simples para ir buscar um valor aleatoriamente e apresentá-lo. 

Dependendo do volume de conversação, o montante que poupa ao implementar este método pode valer bem o esforço.

Pode encontrar mais pormenores sobre como implementar mensagens alternativas aqui.

Execução de código para tarefas simples

Para tarefas simples, tais como a reformatação de dados ou a extração de informações de dados estruturados, a utilização do cartão Execute Code pode ser mais eficiente, mais barata e mais rápida do que recorrer a um LLM.

Alternativas ao agente sumário

Pode utilizar cartões Execute Code para criar a sua própria transcrição. Coloque um cartão Execute Code onde quer que queira seguir a mensagem dos utilizadores e do bot numa variável de matriz. Posteriormente, pode utilizar essa matriz e alimentá-la como contexto para a sua KB.

Simplificar sempre que possível

Opte por um método de interação mais simples que atinja o mesmo objetivo sem degradar a experiência do utilizador. Por exemplo, se estiver interessado em recolher o feedback dos utilizadores, um simples sistema de classificação por estrelas com comentários será mais rentável do que utilizar a IA para recolher a mesma informação.

Sugestões para tarefas de IA, gerar texto com IA e traduções

Escolher o modelo de IA correto 

Sim, escolher o modelo de IA correto é tão importante que vale a pena mencioná-lo duas vezes. Tal como acontece com os KB, a escolha de um modelo de IA tem um impacto significativo no custo das tarefas de IA. Opte por GPT-3.5 Turbo para instruções menos complicadas. Antes de considerar uma atualização para versões mais avançadas, teste exaustivamente a sua configuração com este modelo. Lembre-se, GPT-4 Turbo custa 20x mais do que GPT-3.5 Turbo. A menos que os resultados sejam consideravelmente melhores, opte por GPT-3.5 Turbo.

Para além do acima referido, também pode conservar os Gastos de IA reduzindo o número de fichas consumidas em cada execução de Tarefa de IA.

A minha recomendação é que tenha cuidado ao diminuir este número, porque isso resultará no truncamento de quaisquer tokens adicionais. Por exemplo, se limitar o comprimento a 2000 tokens e o seu prompt mais a sua saída forem mais de 2000 tokens, então a sua entrada será truncada em conformidade.

Tarefa de IA vs Gerar texto de IA

Para saídas de texto simples, o cartão Gerar texto com IA usa menos tokens e é mais fácil de configurar do que o cartão Tarefa com IA. Para tarefas que envolvem a análise de informações, o cartão AI Task supera o cartão AI Generate Text. 

Por conseguinte, recomendo que utilize o cartão Tarefa de IA quando pretender utilizar a IA para processar informações (por exemplo, se pretender detetar a intenção do utilizador ou se pretender que a IA analise a entrada). Mas, se quiser utilizar a IA para gerar texto, utilize o cartão Gerar texto com IA (por exemplo, se quiser pegar numa resposta da base de dados e expandi-la ou se quiser gerar uma pergunta de forma criativa).

Para uma análise mais aprofundada das diferenças entre o cartão Tarefa de IA e o cartão Gerar texto de IA, saiba mais aqui.

Traduções

Se o seu bot vai lidar com uma grande quantidade de conversas multilingues, considere a integração de ganchos com serviços de tradução externos para uma opção mais económica.

Pode encontrar mais informações sobre os ganchos aqui.

Conclusão

Com estas estratégias e dicas, poderá otimizar os seus gastos com IA em Botpress. Compreender as implicações de custo das diferentes tarefas e escolher os métodos mais eficientes para as suas necessidades reduzirá as suas despesas relacionadas com a IA sem comprometer o desempenho.

A nossa equipa está aqui para o ajudar a navegar por estas opções e garantir que o seu bot proporciona a melhor experiência possível aos seus utilizadores ao custo mais eficiente. Visite a nossa página de preços para obter mais informações ou visite o nosso servidor Discord para obter ajuda.

Apêndice

Como evitar o armazenamento em cache

Se pretender ultrapassar a colocação em cache para obter sempre resultados em tempo real, pode efetuar uma das seguintes opções:

• For more permanent caching prevention: add `And discard:{{Date.now()}}` in all your AI-related cards (e.g., in the AI Task prompts, in the KB context, etc.).
• Para prevenção temporária de cache: publique o seu bot e teste-o a partir de uma janela anónima.

Nota: em igualdade de circunstâncias, ao remover esta camada de cache e não efetuar quaisquer outras alterações ao seu bot, o custo de AI Spend aumentará.

Cursos recomendados

• ‍ChatGPT Prompt Engineering for Developers (embora o título diga para programadores, os não programadores também beneficiarão!)
• ‍Construção desistemas com a API ChatGPT