.webp)
- O RAG combina a recuperação de dados fiáveis com a geração de LLM , garantindo que as respostas da IA são exactas, relevantes e baseadas em conhecimentos empresariais reais.
- Ao contrário dos LLMs puros, o RAG reduz as alucinações ancorando as respostas em documentos específicos, bases de dados ou conteúdos aprovados.
- O RAG suporta informações actualizadas, permitindo que os sistemas de IA respondam a perguntas sobre alterações recentes ou tópicos de nicho para além dos dados de formação estáticos de um LLM.
- A manutenção de um sistema RAG implica manter os dados actualizados, monitorizar os resultados e aperfeiçoar os métodos de recuperação para obter o melhor desempenho ao longo do tempo.
O RAG permite que as organizações ponham a IA a trabalhar - com menos riscos do que a utilização tradicional do LLM .
A geração aumentada por recuperação está a tornar-se mais popular à medida que mais empresas introduzem soluções de IA. Os primeiros chatbots empresariais registaram erros arriscados e alucinações.
O RAG permite que as empresas aproveitem o poder do LLMs e, ao mesmo tempo, fundamentem os resultados generativos no seu conhecimento específico da atividade.
O que é a geração aumentada por recuperação?
A geração aumentada por recuperação (RAG) em IA é uma técnica que combina a) a recuperação de informação externa relevante e b) respostas geradas por IA, melhorando a exatidão e a relevância.
Em vez de se basearem na geração de grandes modelos linguísticos (LLMs), as respostas dos modelos RAG são informadas por bases de conhecimento ditadas pelo criador do agente de IA - como a página Web de uma empresa ou um documento de política de RH.
O RAG funciona em duas etapas principais:
1. Recolha
O modelo procura e recupera dados relevantes de fontes estruturadas ou não estruturadas (por exemplo, bases de dados, PDFs, ficheiros HTML ou outros documentos). Estas fontes podem ser estruturadas (por exemplo, tabelas) ou não estruturadas (por exemplo, sítios Web aprovados).
2. Geração
Após a recuperação, as informações são introduzidas no LLM. O LLM utiliza as informações para gerar uma resposta em linguagem natural, combinando os dados aprovados com as suas próprias capacidades linguísticas para criar respostas exactas, semelhantes às dos seres humanos e de acordo com a marca.
Exemplos de casos de utilização do RAG
Qual é o objetivo do RAG? Permite que as organizações forneçam resultados relevantes, informativos e exactos.
O RAG é uma forma direta de diminuir o risco de resultados imprecisos LLM ou alucinações.
Exemplo 1: Escritório de advocacia
Um escritório de advogados pode utilizar um RAG num sistema de IA para:
- Procurar jurisprudência, precedentes e decisões jurídicas relevantes em bases de dados de documentos durante a investigação.
- Gerar resumos de processos extraindo factos importantes de ficheiros de processos e decisões anteriores.
- Fornecer automaticamente aos funcionários actualizações regulamentares relevantes.
Exemplo 2: Agência imobiliária
Uma agência imobiliária pode utilizar um RAG num sistema de IA para:
- Resumir os dados dos históricos de transacções de propriedades e das estatísticas de criminalidade do bairro.
- Responder a questões jurídicas sobre transacções imobiliárias, citando as leis e os regulamentos locais relativos à propriedade.
- Simplifique os processos de avaliação extraindo dados de relatórios de condições de propriedades, tendências de mercado e histórico de vendas.
Exemplo 3: Loja de comércio eletrónico
Um comércio eletrónico pode utilizar um RAG num sistema de IA para:
- Recolher informações sobre produtos, especificações e revisões da base de dados da empresa para informar recomendações personalizadas de produtos.
- Recuperar o histórico de encomendas para gerar experiências de compra personalizadas, adaptadas às preferências do utilizador.
- Gerar campanhas de correio eletrónico direcionadas, recuperando dados de segmentação de clientes e combinando-os com padrões de compras recentes.
Vantagens do RAG
Como qualquer pessoa que tenha consultado o ChatGPT ou Claude sabe, LLMs tem salvaguardas mínimas incorporadas.
Sem uma supervisão adequada, podem produzir informações inexactas ou mesmo prejudiciais, o que os torna pouco fiáveis para utilizações no mundo real.
O RAG oferece uma solução ao basear as respostas em fontes de dados fiáveis e actualizadas, reduzindo significativamente estes riscos.
Prevenir alucinações e imprecisões
Os modelos linguísticos tradicionais geram frequentemente alucinações - respostas que parecem convincentes mas que são factualmente incorrectas ou irrelevantes.
O RAG atenua as alucinações, baseando as respostas em fontes de dados fiáveis e hiper-relevantes.
A etapa de recuperação garante que o modelo faz referência a informações precisas e actualizadas, o que reduz significativamente a possibilidade de alucinações e aumenta a fiabilidade.
Recuperar informações actualizadas
Embora o LLMs seja uma ferramenta poderosa para muitas tarefas, não é capaz de fornecer informações exactas sobre informações raras ou recentes, incluindo conhecimentos comerciais específicos.
Mas o RAG permite que o modelo vá buscar informações em tempo real a qualquer fonte, incluindo sítios Web, tabelas ou bases de dados.
Isto garante que, desde que uma fonte de verdade seja actualizada, o modelo responderá com informações actualizadas.
Comunicar em contextos complexos
Outro ponto fraco da utilização tradicional LLM é a perda de informação contextual.
LLMs têm dificuldade em manter o contexto em conversas longas ou complexas. Este facto resulta frequentemente em respostas incompletas ou fragmentadas.
Mas um modelo RAG permite o conhecimento do contexto, extraindo informações diretamente de fontes de dados ligadas semanticamente.
Com informações adicionais destinadas especificamente às necessidades dos utilizadores - como um chatbot de vendas equipado com um catálogo de produtos - o RAG permite que os agentes de IA participem em conversas contextuais.
Como funciona o RAG?
1. Carregamento de documentos
Primeiro, o construtor carrega um documento ou ficheiro para a biblioteca do seu agente de IA. O ficheiro pode ser uma página Web, um PDF ou outro formato suportado, que faz parte da base de conhecimentos da IA.
2. Conversão de documentos
Uma vez que existem muitos tipos de ficheiros - PDFs, páginas Web, etc. - o sistema converte estes ficheiros num formato de texto normalizado, facilitando o seu processamento pela IA e a recuperação de informações relevantes.
3. Agrupamento e armazenamento
O documento convertido é então dividido em partes mais pequenas e manejáveis, ou "chunks". Estes pedaços são armazenados numa base de dados, permitindo ao agente de IA pesquisar e recuperar eficazmente secções relevantes durante uma consulta.
4. Consulta do utilizador
Após a criação das bases de conhecimentos, um utilizador pode colocar uma questão ao agente de IA. A consulta é processada utilizando o processamento de linguagem natural (PLN) para compreender o que o utilizador está a perguntar.
5. Recuperação de conhecimentos
O agente de IA pesquisa os blocos armazenados, utilizando algoritmos de recuperação para encontrar as informações mais relevantes dos documentos carregados que possam responder à pergunta do utilizador.
6. Geração
Por último, o agente de IA gera uma resposta combinando a informação recuperada com as suas capacidades de modelo linguístico, elaborando uma resposta coerente e contextualmente exacta com base na consulta e nos dados recuperados.
Caraterísticas avançadas do RAG
Se não for um programador, poderá ficar surpreendido por saber que nem todas as RAG são criadas da mesma forma.
Sistemas diferentes constroem modelos RAG diferentes, consoante a sua necessidade, caso de utilização ou capacidade.
Algumas plataformas de IA oferecem funcionalidades RAG avançadas que podem aumentar ainda mais a precisão e a fiabilidade do seu software de IA.
Chunking semântico vs ingénuo
A fragmentação ingénua é quando um documento é dividido em partes de tamanho fixo, como cortar um texto em secções de 500 palavras, independentemente do significado ou do contexto.
A fragmentação semântica, por outro lado, divide o documento em secções significativas com base no conteúdo.
Tem em conta as pausas naturais, como parágrafos ou tópicos, assegurando que cada bloco contém uma parte coerente da informação.
Citações obrigatórias
Para as indústrias que automatizam conversas de alto risco com IA - como as finanças ou os cuidados de saúde - as citações podem ajudar a incutir confiança nos utilizadores quando recebem informações.
Os programadores podem dar instruções aos seus modelos RAG para fornecerem citações para qualquer informação enviada.
Por exemplo, se um funcionário pedir a um chatbot de IA informações sobre benefícios de saúde, o chatbot pode responder e fornecer uma hiperligação para o documento relevante sobre benefícios para os funcionários.
Criar um agente RAG AI personalizado
Combine o poder do mais recente LLMs com o seu conhecimento empresarial único.
Botpress é uma plataforma de chatbot de IA flexível e infinitamente extensível.
Permite aos utilizadores criar qualquer tipo de agente de IA ou chatbot para qualquer caso de utilização - e oferece o sistema RAG mais avançado do mercado.
Integre o seu chatbot em qualquer plataforma ou canal, ou escolha a partir da nossa biblioteca de integração pré-construída. Comece com tutoriais do canal do YouTube Botpress ou com cursos gratuitos em Botpress Academy .
Comece a construir hoje. É grátis.
FAQs
1. Em que é que o RAG é diferente do ajuste fino de um LLM?
O RAG permite-lhe manter o LLM de base inalterado e apenas obter informações relevantes no momento da consulta, enquanto o ajuste fino altera efetivamente o modelo, treinando-o com os seus dados. O RAG é muito mais rápido e flexível para actualizações.
2. Que tipos de fontes de dados não são adequados para o RAG?
Documentos desorganizados, desactualizados ou demasiado complexos (como imagens digitalizadas ou PDFs sem texto) podem ser problemáticos, bem como fontes com demasiada ambiguidade ou informações contraditórias.
3. Como é que o RAG se compara com as técnicas de aprendizagem em contexto, como a engenharia de sugestões?
A engenharia de prompts funciona através da introdução de exemplos diretamente no prompt, mas o RAG é mais eficaz, pois permite obter conhecimentos externos de forma dinâmica, pelo que não se atingem os limites de tokens tão rapidamente e é possível aceder a uma base de informações muito maior.
4. Posso utilizar o RAG com LLMs de terceiros, como o OpenAI, Anthropic ou Mistral?
É absolutamente possível ligar um sistema RAG à maioria dos LLMs populares através das suas APIs. O utilizador trata da parte da recuperação e envia apenas o pedido final (com contexto) para o modelo.
5. Como é a manutenção contínua de um agente de IA com RAG?
Deve manter a sua base de conhecimentos actualizada através da reindexação de novos documentos, monitorizar o desempenho para detetar respostas erradas ou em falta e, ocasionalmente, ajustar as definições de fragmentação ou recuperação para melhorar a relevância.
