Como escolher um LLM personalizado para o seu projeto de IA

O que perguntar ao escolher um modelo

Eis uma boa lista de perguntas a que deve responder quando escolher um modelo:

• Posso utilizar um LLM baseado na nuvem ou tenho de ser eu a alojar um?
• Qual é a rapidez das respostas?
• Qual é o grau de exatidão das respostas que necessito?
• Quanto dinheiro irá o meu projeto poupar e/ou gerar? Então, a que preço deve descer?
• Qual é a duração das minhas respostas?

De um modo geral, é difícil acelerar um modelo potente ou reduzir os seus custos, e é mais fácil melhorar um modelo menos preciso. 

No entanto, é muito mais rápido começar com um modelo poderoso e, se este satisfizer as necessidades do seu projeto, poderá não ser necessário tanto esforço de engenharia (além disso, é mais fácil de manter).

A partir de um modelo

A primeira coisa que deve fazer é escolher um modelo inicial. Existem muitas tabelas de classificação online que comparam os diferentes modelos.

Por exemplo:

• Hugging Face mantém uma tabela de classificação para modelos de código aberto.
• A Vellum tem um excelente modelo para os modelos mais populares.

Se a sua empresa tiver um modelo interno, considere utilizá-lo para trabalhar com o seu orçamento e manter os dados privados. Se precisar de alojar o modelo, considere um modelo de código aberto.

Afinação 

O ajuste fino envolve fornecer exemplos ao modelo para que ele aprenda a fazer bem uma determinada tarefa. Se quiser que ele seja excelente a falar sobre o seu produto, pode fornecer uma série de exemplos das melhores chamadas de vendas da sua empresa.

Se o modelo for de fonte aberta, pergunte a si próprio se a sua equipa tem capacidade de engenharia suficiente para afinar um modelo.

Se o modelo for de código fechado e fornecido como um serviço - GPT-4 ou Claude - pode normalmente pedir aos seus engenheiros para afinarem os modelos personalizados utilizando APIs. Normalmente, o preço aumenta substancialmente através deste método, mas há pouca ou nenhuma manutenção. 

Mas para muitos casos de utilização, o ajuste fino não é o primeiro passo para otimizar o seu modelo. 

Um bom exemplo de afinação é a criação de um bot de conhecimento para conhecimento estático. Ao dar exemplos de perguntas e respostas, deve ser capaz de as responder no futuro sem procurar a resposta. Mas não é uma solução prática para informação em tempo real. 

Geração aumentada por recuperação

RAG é um nome elegante para uma coisa simples que todos nós já fizemos em ChatGPT: colar um texto em ChatGPT e fazer uma pergunta sobre ele. 

Um exemplo típico é perguntar se um determinado produto está em stock num sítio de comércio eletrónico, e um chatbot procurar a informação num catálogo de produtos (em vez de na Internet em geral). 

Em termos de rapidez de desenvolvimento e de obtenção de informações em tempo real, o RAG é imprescindível. 

Normalmente, não afecta o modelo a escolher, mas nada o impede de criar um ponto de extremidade da API LLM que consulte informações e respostas e utilize este ponto de extremidade como se fosse o seu próprio LLM. 

A utilização de RAG para um chatbot baseado no conhecimento é frequentemente mais fácil de manter, uma vez que não é necessário afinar um modelo e mantê-lo atualizado - o que também pode reduzir os custos.

Aprendizagem N-shot 

A forma mais rápida de começar a melhorar a qualidade das respostas é fornecer exemplos numa única chamada à API LLM . 

Zero-shot - dar zero exemplos do que está procurando em uma resposta - é como a maioria de nós usa ChatGPT. Adicionar um exemplo (ou one-shot) é geralmente suficiente para ver uma melhoria substancial na qualidade da resposta. 

Mais do que um exemplo é considerado n-shot. O n-shot não altera o modelo, ao contrário do fine-tuning. Está simplesmente a dar exemplos antes de pedir uma resposta, sempre que faz uma pergunta. 

Mas esta estratégia não pode ser utilizada em demasia: os modelos LLM têm um tamanho máximo de contexto e o seu preço depende do tamanho da mensagem. O ajuste fino pode eliminar a necessidade de n exemplos de disparos, mas leva mais tempo a ser feito corretamente. 

Outras técnicas de engenharia rápida

Existem outras técnicas de engenharia rápida, como a cadeia de pensamento, que obrigam os modelos a pensar em voz alta antes de darem uma resposta. 

Isto aumenta a qualidade da resposta, mas à custa da duração, custo e rapidez da resposta. 

A minha recomendação

Embora cada projeto tenha as suas necessidades específicas, vou dar os meus dois cêntimos para uma abordagem forte. 

Um bom ponto de partida é utilizar um modelo pronto a usar que equilibre velocidade e qualidade, como o GPT-4o Mini. Comece por analisar a qualidade das respostas, a velocidade de resposta, o custo, as necessidades da janela de contexto e decida o que precisa de ser melhorado a partir daí. 

Depois, com um caso de utilização restrito, pode tentar uma engenharia simples, seguida de RAG e, por fim, afinação. Todos os modelos que passarem por estes processos terão ganhos de desempenho, pelo que pode ser complicado descobrir o que utilizar.

Descarregar a engenharia para poupar dinheiro

Manter um orçamento reduzido é fundamental para tornar o seu projeto uma realidade. Uma das formas de o fazer é reduzir o tempo de engenharia através da dissociação de requisitos. 

Atualmente, temos acesso a soluções low-code como Flutterflow, Shopify, que podem ser utilizadas por funções tradicionalmente não técnicas, como os Gestores de Produto. Os chatbots não são exceção, e algumas plataformas de automatização de IA permitem até utilizar o seu próprio LLM. 

Pode dar instruções aos engenheiros para se concentrarem no alojamento do LLM e na configuração da plataforma de automatização. Isso liberta os analistas empresariais, os gestores de produtos e outras funções relacionadas para criarem agentes de IA que satisfaçam os requisitos empresariais. 

Quando é necessário algo adicional, estas plataformas têm geralmente uma forma de os engenheiros acrescentarem algum código. Desta forma, mantém as vantagens de um modelo personalizado e ganha flexibilidade, rapidez e acessibilidade.

Proporcionar liberdade de engenharia para resolver problemas empresariais

Por outro lado, por vezes, os problemas empresariais são muito difíceis de resolver. 

Estamos a falar de aplicações LLM totalmente ligadas à rede, de aplicações no dispositivo ou de projectos que exigem a atribuição de capacidades extremamente avançadas aos chatbots, que vão além da sincronização de dados entre duas plataformas. 

Nesses casos, faz sentido dar aos engenheiros a liberdade de utilizarem as ferramentas que mais lhes convêm. Normalmente, trata-se apenas de escrever código e as partes interessadas actuam simplesmente como gestores de projeto.

1. Como é que avalio o ROI do investimento num LLM personalizado para a minha empresa?

To evaluate the ROI of investing in a custom LLM for your business, compare total costs (e.g., infrastructure, developer time, fine-tuning, and hosting) against measurable gains like labor reduction and conversion lift. 

2. Que KPIs devo seguir para medir a eficácia de um LLM personalizado?

You should track KPIs such as response accuracy (precision/recall or task completion), latency (average response time), user satisfaction (CSAT/NPS), containment or resolution rate, and cost per interaction. These metrics reflect the technical performance of the model and its impact on business outcomes.

3. Como posso estimar o custo de manutenção a longo prazo de uma solução LLM personalizada?

To estimate long-term maintenance costs for a custom LLM solution, include expenses for infrastructure (cloud compute, storage), engineering updates, retraining or fine-tuning frequency, monitoring tools, and adapting to regulatory changes. If your business data evolves rapidly, expect higher retraining and validation overhead over time.

4. Como posso comparar diferentes LLMs para o meu sector ou domínio específico?

Benchmark different LLMs by testing them with representative, domain-specific prompts and comparing their performance on accuracy, clarity, tone, and task relevance. You can use internal datasets or apply open-source industry benchmarks like FinancialQA or MedQA depending on your sector.

5. Que normas de conformidade deve cumprir um LLM personalizado se estiver a tratar dados de utilizadores?

If you’re handling user data, your custom LLM should meet standards like GDPR (for EU data privacy), SOC 2 Type II (for operational security), and HIPAA (if handling healthcare data). The LLM provider should offer features like role-based access, data encryption in transit and at rest, audit logging, and clear policies for data retention and deletion.