Como escolher um LLM personalizado para seu projeto de IA

LLMs estão transformando a forma como desenvolvemos soluções de IA. Novos modelos prontos para uso, cada vez melhores, são lançados o tempo todo.

Uma pergunta que recebo com frequência é: por que optar por um LLM personalizado em vez de uma solução pronta?

Se você está trabalhando em um projeto de IA, como criar um agente de IA ou chatbot, pode optar por usar um modelo de linguagem grande (LLM) personalizado.

Existem muitos motivos para usar um LLM personalizado no seu agente LLM e diversas opções disponíveis. Neste artigo, vou mostrar as diferentes formas de personalizar um LLM para projetos de IA.

Por que usar um LLM personalizado?

Existem várias razões para utilizar um LLM personalizado:

• Você quer reduzir custos focando em uma tarefa específica importante para o seu negócio, ou minimizar a latência.
• Talvez você queira manter todos os dados privados ou usar o LLM interno da sua empresa.
• Você pode querer melhorar a qualidade das respostas para uma tarefa específica.

Seja qual for o motivo, personalizar seu LLM permite otimizar o desempenho, equilibrando precisão, velocidade e custo conforme as necessidades do seu negócio.

Escolhendo um LLM

LLMs possuem duas características que impactam projetos de IA: seu tamanho (medido pelo número de parâmetros) e a qualidade das respostas.

Você pode pensar nos parâmetros como neurônios em um cérebro. Um cérebro maior geralmente está associado a mais inteligência, mas isso nem sempre é verdade. E partes do cérebro podem ser altamente otimizadas para tarefas específicas, como visão.

Para projetos de IA, o tamanho geralmente afeta a velocidade de resposta e tem grande impacto no custo das respostas. Projetos que exigem baixa latência costumam usar modelos menores, mas com isso podem perder em qualidade de resposta.

Perguntas para fazer ao escolher um modelo

Aqui está uma boa lista de perguntas para responder ao escolher um modelo:

• Posso usar um LLM baseado em nuvem ou preciso hospedar um por conta própria?
• Com que rapidez preciso das respostas?
• Qual o nível de precisão necessário para as respostas?
• Quanto dinheiro meu projeto vai economizar e/ou gerar? Depois, qual deveria ser o preço máximo?
• Qual deve ser o tamanho das respostas?

De modo geral, é difícil acelerar um modelo poderoso ou reduzir seus custos, e é mais fácil melhorar um modelo menos preciso.

Por outro lado, é muito mais rápido começar com um modelo poderoso e, se ele atender às necessidades do seu projeto, talvez você não precise de tanto esforço de engenharia (além de ser mais fácil de manter).

Escolhendo entre RAG, Fine-Tuning, N-Shot Learning e Engenharia de Prompts

Existem cinco conceitos gerais que melhoram a qualidade das respostas dos LLMs:

1. Começar de um modelo pré-treinado
2. RAG
3. Fine-tuning
4. N-shot prompting
5. Engenharia de prompts

Esses conceitos não são exclusivos de modelos personalizados, mas devem ser considerados sempre, pois funcionam em conjunto.

Começando de um modelo

A primeira coisa que você deve fazer é escolher um modelo inicial. Existem muitos rankings online que comparam os diferentes modelos.

Por exemplo:

• A Hugging Face mantém um ranking de modelos open source.
• A Vellum tem um excelente para os modelos mais populares.

Se sua empresa possui um modelo próprio, considere usá-lo para trabalhar dentro do seu orçamento e manter os dados privados. Se precisar hospedar o modelo você mesmo, considere um modelo open source.

Ajuste fino

O fine-tuning envolve fornecer exemplos ao seu modelo para que ele aprenda a executar bem uma determinada tarefa. Se você quer que ele fale com excelência sobre seu produto, pode fornecer vários exemplos das melhores ligações de vendas da sua empresa.

Se o modelo for open source, avalie se sua equipe tem capacidade técnica suficiente para fazer o fine-tuning.

Se o modelo for fechado e oferecido como serviço – como GPT-4 ou Claude – normalmente seus engenheiros podem ajustar modelos personalizados usando APIs. O preço geralmente aumenta bastante por esse método, mas a manutenção é mínima ou inexistente.

Mas, para muitos casos de uso, o fine-tuning não é o primeiro passo para otimizar seu modelo.

Um ótimo caso para fine-tuning é criar um bot de conhecimento para informações estáticas. Ao fornecer exemplos de perguntas e respostas, ele deve conseguir responder no futuro sem precisar buscar a resposta. Mas não é uma solução prática para informações em tempo real.

Geração aumentada por recuperação

RAG é um nome sofisticado para algo simples que todos já fizemos no ChatGPT: colar um texto e fazer uma pergunta sobre ele.

Um exemplo típico é perguntar se um produto está disponível em um site de e-commerce, e o chatbot buscar essa informação no catálogo de produtos (em vez de procurar na internet).

Em termos de velocidade de desenvolvimento e obtenção de informações em tempo real, o RAG é indispensável.

Normalmente, isso não afeta a escolha do modelo, mas nada impede que você crie um endpoint de API LLM que consulta informações e responde, usando esse endpoint como se fosse um LLM próprio.

Usar RAG para um chatbot baseado em conhecimento costuma ser mais fácil de manter, já que não é necessário fazer fine-tuning nem manter o modelo atualizado – o que também pode reduzir custos.

Aprendizagem N-shot

A forma mais rápida de começar a melhorar a qualidade das respostas é fornecer exemplos em uma única chamada de API do LLM.

Zero-shot – não dar nenhum exemplo do que você espera na resposta – é como a maioria de nós usa o ChatGPT. Adicionar um exemplo (one-shot) geralmente já traz uma melhora significativa na qualidade da resposta.

Mais de um exemplo é considerado n-shot. N-shot não altera o modelo, ao contrário do fine-tuning. Você apenas fornece exemplos logo antes de pedir a resposta, toda vez que faz uma pergunta.

Mas essa estratégia não pode ser usada em excesso: os modelos LLM têm um tamanho máximo de contexto e o preço varia conforme o tamanho da mensagem. O fine-tuning pode eliminar a necessidade de exemplos n-shot, mas leva mais tempo para ser feito corretamente.

Outras técnicas de engenharia de prompts

Existem outras técnicas de engenharia de prompts, como chain-of-thought, que fazem os modelos “pensarem em voz alta” antes de responder.

Isso aumenta a qualidade da resposta, mas pode deixar as respostas mais longas, caras e lentas.

Minha recomendação

Embora cada projeto tenha necessidades únicas, vou dar minha opinião sobre uma abordagem eficaz.

Um bom ponto de partida é usar um modelo pronto que equilibre velocidade e qualidade, como o GPT-4o Mini. Comece avaliando a qualidade das respostas, velocidade, custo, necessidades de contexto e decida o que precisa ser melhorado a partir daí.

Depois, com um caso de uso mais específico, você pode tentar uma engenharia de prompt simples, seguida de RAG e, por fim, fine-tuning. Todo modelo que passa por essas etapas terá ganhos de desempenho, então pode ser difícil decidir qual usar.

Considerações sobre privacidade

No mundo ideal, todo LLM estaria 100% sob seu próprio controle, e nada seria exposto em nenhum lugar.

Infelizmente, não é isso que vemos na prática – e por bons motivos.

O primeiro é simples: é necessário trabalho de engenharia para hospedar e manter um modelo personalizado, o que é muito caro. Quando o modelo hospedado fica fora do ar, os indicadores de negócio são afetados, então a implantação precisa ser muito robusta.

Outro motivo é que os líderes do setor – como OpenAI, Google e Anthropic – estão sempre lançando modelos mais novos, melhores e mais baratos, tornando qualquer trabalho de fine-tuning rapidamente obsoleto. Isso acontece desde o lançamento do ChatGPT 3.5 e não há sinais de mudança.

Se seu caso de uso envolve dados extremamente sensíveis, faz sentido usar um modelo e otimizá-lo para sua necessidade. Se o GDPR é uma preocupação, existem vários modelos prontos compatíveis com GDPR.

Construindo após escolher seu LLM

Depois de escolher um LLM, você pode começar a planejar como vai construir e manter seu projeto de IA. Como exemplo, vou usar o tipo de projeto com o qual tenho mais experiência: um agente de IA ou chatbot de IA.

Você pode responder às seguintes perguntas para definir o escopo do seu projeto:

• Onde eu gostaria que meu agente de IA estivesse? (Slack, WhatsApp, um widget em site, etc.)
• Que conhecimento ele deve ter e onde esse conhecimento está armazenado?
• Quais outras capacidades ele deve ter além de responder perguntas, se houver?
• Ele deve ser ativado quando algo acontecer em algum lugar do negócio?

Reduza custos de engenharia para economizar

Manter um orçamento enxuto é fundamental para viabilizar seu projeto. Uma das formas de fazer isso é reduzindo o tempo de engenharia ao separar os requisitos.

Hoje em dia temos acesso a soluções low-code como Flutterflow e Shopify, que podem ser usadas por pessoas de áreas não técnicas, como Gerentes de Produto. Chatbots não são exceção, e algumas plataformas de automação de IA até permitem usar seu próprio LLM.

Você pode pedir para os engenheiros focarem em hospedar o LLM e configurar a plataforma de automação. Assim, analistas de negócios, gerentes de produto e outros profissionais podem criar agentes de IA que atendam às necessidades da empresa.

Quando algo adicional for necessário, essas plataformas geralmente permitem que os engenheiros adicionem código. Assim, você mantém as vantagens de um modelo personalizado e ainda ganha flexibilidade, agilidade e economia.

Dê liberdade para a engenharia resolver problemas de negócio

Por outro lado, às vezes os problemas de negócio são realmente difíceis de resolver.

Estamos falando de aplicações de LLM totalmente isoladas em rede, apps que rodam no dispositivo ou projetos que exigem dar aos chatbots capacidades muito avançadas, além de apenas sincronizar dados entre plataformas.

Nesses casos, faz sentido permitir que os engenheiros usem as ferramentas com as quais têm mais familiaridade. Normalmente isso significa apenas programar, e os demais envolvidos atuam como gerentes de projeto.

Considerações estratégicas para personalizar um LLM

Escolher um LLM personalizado para seu projeto de IA não é só escolher o melhor modelo – é tomar decisões estratégicas alinhadas aos seus objetivos.

Modelos personalizados oferecem flexibilidade, controle e potencial de otimização para tarefas específicas, mas também trazem mais complexidade. Comece com um modelo pronto, experimente técnicas de prompt engineering e vá refinando aos poucos.

Lembre-se: o modelo certo deve atender às necessidades do seu negócio, não apenas à sua stack de tecnologia.

Personalizando com plataformas avançadas

Pronto para elevar seu projeto de IA a outro nível?

Botpress é uma plataforma de agentes de IA totalmente extensível e flexível. Nossa stack permite que desenvolvedores criem chatbots e agentes de IA para qualquer caso de uso.

Contamos com uma plataforma educacional robusta, a Botpress Academy, além de um canal no YouTube detalhado. Nosso Discord reúne mais de 20.000 criadores de bots, então você sempre pode contar com o suporte que precisar.

Comece a construir hoje mesmo. É grátis.

Perguntas frequentes

1. Como avalio o ROI de investir em um LLM personalizado para meu negócio?

Para avaliar o ROI de investir em um LLM personalizado para o seu negócio, compare os custos totais (infraestrutura, tempo de desenvolvimento, ajuste fino e hospedagem) com ganhos mensuráveis, como redução de trabalho e aumento de conversão.

2. Quais KPIs devo acompanhar para medir a eficácia de um LLM personalizado?

Você deve acompanhar KPIs como precisão das respostas (precisão/recall ou tarefas concluídas), latência (tempo médio de resposta), satisfação do usuário (CSAT/NPS), taxa de resolução e custo por interação. Essas métricas refletem o desempenho técnico do modelo e seu impacto nos resultados do negócio.

3. Como posso estimar o custo de manutenção a longo prazo de uma solução de LLM personalizada?

Para estimar o custo de manutenção a longo prazo de uma solução de LLM personalizada, inclua despesas com infraestrutura (computação em nuvem, armazenamento), atualizações de engenharia, frequência de re-treinamento ou ajuste fino, ferramentas de monitoramento e adaptação a mudanças regulatórias. Se os dados do seu negócio mudam rapidamente, espere um aumento nos custos de re-treinamento e validação ao longo do tempo.

4. Como posso comparar diferentes LLMs para meu setor ou domínio específico?

Compare diferentes LLMs testando-os com prompts representativos e específicos do seu domínio e avaliando o desempenho em precisão, clareza, tom e relevância para a tarefa. Você pode usar conjuntos de dados internos ou benchmarks abertos do setor, como FinancialQA ou MedQA, dependendo do seu segmento.

5. Quais padrões de conformidade um LLM personalizado deve atender se eu estiver lidando com dados de usuários?

Se você lida com dados de usuários, seu LLM personalizado deve atender padrões como GDPR (privacidade de dados da UE), SOC 2 Tipo II (segurança operacional) e HIPAA (para dados de saúde). O fornecedor do LLM deve oferecer recursos como controle de acesso por função, criptografia de dados em trânsito e em repouso, registro de auditoria e políticas claras de retenção e exclusão de dados.