Como escolher um LLM personalizado para o seu projeto de IA

O que perguntar ao escolher um modelo

Eis uma boa lista de perguntas a que deve responder quando escolher um modelo:

• Posso utilizar um LLM baseado na nuvem ou tenho de ser eu a alojar um?
• Qual é a rapidez das respostas?
• Qual é o grau de exatidão das respostas que necessito?
• Quanto dinheiro irá o meu projeto poupar e/ou gerar? Então, a que preço deve descer?
• Qual é a duração das minhas respostas?

De um modo geral, é difícil acelerar um modelo potente ou reduzir os seus custos, e é mais fácil melhorar um modelo menos preciso. 

No entanto, é muito mais rápido começar com um modelo poderoso e, se este satisfizer as necessidades do seu projeto, poderá não ser necessário tanto esforço de engenharia (além disso, é mais fácil de manter).

A partir de um modelo

A primeira coisa que deve fazer é escolher um modelo inicial. Existem muitas tabelas de classificação online que comparam os diferentes modelos.

Por exemplo:

• Hugging Face mantém uma tabela de classificação para modelos de código aberto.
• A Vellum tem um excelente modelo para os modelos mais populares.

Se a sua empresa tiver um modelo interno, considere utilizá-lo para trabalhar com o seu orçamento e manter os dados privados. Se precisar de alojar o modelo, considere um modelo de código aberto.

Afinação 

O ajuste fino envolve fornecer exemplos ao modelo para que ele aprenda a fazer bem uma determinada tarefa. Se quiser que ele seja excelente a falar sobre o seu produto, pode fornecer uma série de exemplos das melhores chamadas de vendas da sua empresa.

Se o modelo for de fonte aberta, pergunte a si próprio se a sua equipa tem capacidade de engenharia suficiente para afinar um modelo.

Se o modelo for de código fechado e fornecido como um serviço - GPT-4 ou Claude - pode normalmente pedir aos seus engenheiros para afinarem os modelos personalizados utilizando APIs. Normalmente, o preço aumenta substancialmente através deste método, mas há pouca ou nenhuma manutenção. 

Mas para muitos casos de utilização, o ajuste fino não é o primeiro passo para otimizar o seu modelo. 

Um bom exemplo de afinação é a criação de um bot de conhecimento para conhecimento estático. Ao dar exemplos de perguntas e respostas, deve ser capaz de as responder no futuro sem procurar a resposta. Mas não é uma solução prática para informação em tempo real. 

Geração aumentada por recuperação

RAG é um nome elegante para uma coisa simples que todos nós já fizemos em ChatGPT: colar um texto em ChatGPT e fazer uma pergunta sobre ele. 

Um exemplo típico é perguntar se um determinado produto está em stock num sítio de comércio eletrónico, e um chatbot procurar a informação num catálogo de produtos (em vez de na Internet em geral). 

Em termos de rapidez de desenvolvimento e de obtenção de informações em tempo real, o RAG é imprescindível. 

Normalmente, não afecta o modelo a escolher, mas nada o impede de criar um ponto de extremidade da API LLM que consulte informações e respostas e utilize este ponto de extremidade como se fosse o seu próprio LLM. 

A utilização de RAG para um chatbot baseado no conhecimento é frequentemente mais fácil de manter, uma vez que não é necessário afinar um modelo e mantê-lo atualizado - o que também pode reduzir os custos.

Ler o guia completo do RAG

Quer fazer com que o RAG trabalhe para si? Nós podemos ajudar.

Ler agora

O acesso é sempre gratuito

Aprendizagem N-shot 

A forma mais rápida de começar a melhorar a qualidade das respostas é fornecer exemplos numa única chamada à API LLM . 

Zero-shot - dar zero exemplos do que está procurando em uma resposta - é como a maioria de nós usa ChatGPT. Adicionar um exemplo (ou one-shot) é geralmente suficiente para ver uma melhoria substancial na qualidade da resposta. 

Mais do que um exemplo é considerado n-shot. O n-shot não altera o modelo, ao contrário do fine-tuning. Está simplesmente a dar exemplos antes de pedir uma resposta, sempre que faz uma pergunta. 

Mas esta estratégia não pode ser utilizada em demasia: os modelos LLM têm um tamanho máximo de contexto e o seu preço depende do tamanho da mensagem. O ajuste fino pode eliminar a necessidade de n exemplos de disparos, mas leva mais tempo a ser feito corretamente. 

Outras técnicas de engenharia rápida

Existem outras técnicas de engenharia rápida, como a cadeia de pensamento, que obrigam os modelos a pensar em voz alta antes de darem uma resposta. 

Isto aumenta a qualidade da resposta, mas à custa da duração, custo e rapidez da resposta. 

A minha recomendação

Embora cada projeto tenha as suas necessidades específicas, vou dar os meus dois cêntimos para uma abordagem forte. 

Um bom ponto de partida é utilizar um modelo pronto a usar que equilibre velocidade e qualidade, como o GPT-4o Mini. Comece por analisar a qualidade das respostas, a velocidade de resposta, o custo, as necessidades da janela de contexto e decida o que precisa de ser melhorado a partir daí. 

Depois, com um caso de utilização restrito, pode tentar uma engenharia simples, seguida de RAG e, por fim, afinação. Todos os modelos que passarem por estes processos terão ganhos de desempenho, pelo que pode ser complicado descobrir o que utilizar.

Descarregar a engenharia para poupar dinheiro

Manter um orçamento reduzido é fundamental para tornar o seu projeto uma realidade. Uma das formas de o fazer é reduzir o tempo de engenharia através da dissociação de requisitos. 

Atualmente, temos acesso a soluções low-code como Flutterflow, Shopify, que podem ser utilizadas por funções tradicionalmente não técnicas, como os Gestores de Produto. Os chatbots não são exceção, e algumas plataformas de automatização de IA permitem até utilizar o seu próprio LLM. 

Pode dar instruções aos engenheiros para se concentrarem no alojamento do LLM e na configuração da plataforma de automatização. Isso liberta os analistas empresariais, os gestores de produtos e outras funções relacionadas para criarem agentes de IA que satisfaçam os requisitos empresariais. 

Quando é necessário algo adicional, estas plataformas têm geralmente uma forma de os engenheiros acrescentarem algum código. Desta forma, mantém as vantagens de um modelo personalizado e ganha flexibilidade, rapidez e acessibilidade.

Proporcionar liberdade de engenharia para resolver problemas empresariais

Por outro lado, por vezes, os problemas empresariais são muito difíceis de resolver. 

Estamos a falar de aplicações LLM totalmente ligadas à rede, de aplicações no dispositivo ou de projectos que exigem a atribuição de capacidades extremamente avançadas aos chatbots, que vão além da sincronização de dados entre duas plataformas. 

Nesses casos, faz sentido dar aos engenheiros a liberdade de utilizarem as ferramentas que mais lhes convêm. Normalmente, trata-se apenas de escrever código e as partes interessadas actuam simplesmente como gestores de projeto.