O que é uma base de dados vetorial e como funciona?

O que é um modelo de incorporação?

Os modelos de incorporação são modelos de aprendizagem automática treinados para converter dados em incorporação.

Estes modelos são treinados para comprimir dados num vetor (a nossa incorporação) e depois regenerá-los. O vetor comprimido armazena o máximo possível de informação semântica dos dados.

Isto significa que não guardam apenas as palavras, mas também as ideias que lhes estão subjacentes. Por exemplo, uma incorporação pode captar isso:

• "cachorro" e "cão" estão intimamente relacionados
• "Como posso redefinir a minha palavra-passe?" tem um significado semelhante a "Não consigo iniciar sessão na minha conta"
• "portátil económico" e "computador económico" referem-se à mesma coisa
  

Estes tipos de padrões ajudam os agentes de IA e os motores de busca a comparar as entradas com base no significado e não apenas na correspondência de palavras-chave.

O que é a pesquisa semântica?

Então, como é que os embeddings são comparados em termos de semelhança?

Como mencionado anteriormente, um vetor de incorporação é uma série de números. Estes números são uma representação de um ponto num espaço de elevada dimensão. Podemos visualizar as coisas em 2D ou 3D, mas que tal 384? Em vez de X, Y e Z, temos centenas de valores, todos reunidos para especificar um ponto único.

Estes vectores permitem-nos medir a "proximidade" de dois conteúdos - não em termos de palavras, mas em termos de significado.

A pesquisa semântica transforma uma consulta num vetor e procura na base de dados os vectores mais próximos. Estes vectores de resultados devem, em princípio, ser os mais semelhantes à consulta do utilizador.

Pesquisa do vizinho mais próximo aproximado (ANN)

A pesquisa semântica é efectuada utilizando um algoritmo ANN (Approximate Nearest Neighbor). O objetivo do ANN é responder à pergunta "que vetor da minha base de dados é mais semelhante à minha consulta?".

Existem vários algoritmos de RNA, cada um com os seus próprios pontos fortes. Por exemplo:

RAG (Retrieval-Augmented Generation)

Esta estratégia de geração de LLM parece estar a dar que falar, e por boas razões: O RAG é fiável, preciso e fornece respostas específicas, o que é possível graças aos Vetor DBs.

Com o RAG, a consulta do utilizador é incorporada e comparada com o resto da base de dados para itens semelhantes. O modelo faz então referência a esses itens quando gera uma resposta.

O RAG evita confiar no conhecimento interno do modelo ou no historial da conversa, que podem ser falsos ou irrelevantes.

Digamos que pede um resumo da infância de Napoleão. A resposta do modelo é plausível, mas será exacta? Com o RAG, os documentos relevantes para a sua consulta serão utilizados para orientar a resposta do modelo. Desta forma, pode verificar o recurso principal, mantendo os resultados do modelo verificáveis.

Se quiser ver o que isto parece na prática, aqui está um guia para construir um chatbot com o RAG.

Recomendações de produtos e conteúdos

As bases de dados vectoriais não são apenas utilizadas para responder às consultas dos utilizadores. Também podem ser utilizadas para otimizar a experiência do utilizador.

O acompanhamento do histórico de navegação dos utilizadores e o agrupamento de itens semelhantes permitem às empresas determinar o melhor produto ou conteúdo a recomendar ao utilizador.

Este é um ótimo exemplo daquilo a que chamamos o algoritmo: recomendações estratégicas de conteúdos e publicidade direcionada.

Pense numa plataforma de partilha de vídeos: cada vídeo tem a sua própria incorporação armazenada na base de dados. Quando se vê um vídeo, o sistema pode sugerir outros com "embeddings" próximos, ou seja, conteúdos semelhantes, mesmo que os títulos ou as etiquetas sejam completamente diferentes.

Com o passar do tempo, o histórico do relógio torna-se numa espécie de "nuvem" personalizada de incorporação, ajudando o sistema a compreender as suas preferências e a recomendar o que quer ver a seguir.

1. Fornecem mais contexto aos Chatbots

LLMs são propensos a esquecimentos e alucinações em conversas longas. Os utilizadores e os programadores não têm uma noção clara da informação que é retida.

Com estratégias como o RAG, o modelo procura na base de dados a informação necessária para dar uma resposta exacta.

Em vez de relembrar e corrigir o modelo pela enésima vez, as bases de dados vectoriais armazenam informações relevantes e referem-nas explicitamente.

2. Tornam os resultados da pesquisa tolerantes a erros de digitação

Mesmo que saibamos as palavras-chave exactas, a pesquisa é confusa. 

golfen retriever ≠ golden retriever, mas o seu motor de busca deveria saber melhor.

Se estivermos a fazer corresponder as consultas literalmente, um erro de digitação ou uma palavra mal escrita desqualificaria uma opção relevante. 

Quando abstraímos o significado da consulta de pesquisa, a ortografia ou a redação específicas não têm tanta importância.

3. Permitem que os utilizadores efectuem pesquisas difusas

A pesquisa tem menos a ver com palavras-chave do que com ✨vibes✨. 

Abstrair o texto para um vetor de incorporação permite-lhe armazená-lo num espaço de vibração inefável. Portanto, à primeira vista, 

"Onde é que posso arranjar um café branco de arrasar por aqui?" 

não se parece com 

"Os melhores locais para uma dose de cafeína nas proximidades", 

mas o seu motor de busca irá corresponder-lhes da mesma forma. Isto é possível porque as incorporações das duas frases são muito próximas, apesar de a sua redação ser diferente.

4. Os BD vectoriais podem comparar várias modalidades

Os dados existem em todas as formas, tamanhos e tipos. É frequente precisarmos de comparar dados de diferentes tipos. Por exemplo, utilizar texto para pesquisar e filtrar imagens de produtos.

Os modelos multimodais são treinados para comparar diferentes tipos de dados, como texto, imagens, áudio e vídeo.

Isto torna mais fácil falar sobre o seu conteúdo. Encontre um produto descrevendo a sua imagem ou faça perguntas sobre gráficos utilizando uma linguagem simples.

1. Defina o seu caso de utilização

Comece com algo simples e útil. Eis alguns exemplos para começar a trabalhar:

• A chatbot de retalho que ajuda os clientes a encontrar os produtos certos com base nas suas necessidades e preferências. Pergunte-lhe: "Qual é um bom casaco de inverno para caminhadas que custe menos de 150 dólares?"

• A bot de emissão de bilhetes que faz a triagem dos pedidos de TI dos funcionários em tempo real. Pergunte: "Há bilhetes de alta prioridade relacionados com o acesso VPN ainda não atribuídos?"

• A agente de automatização de processos empresariais que gere o cumprimento das encomendas do início ao fim. Pergunte-lhe: "A encomenda do Smith já foi enviada e enviámos o e-mail de confirmação?"

Todos eles são rápidos de construir, fáceis de testar e imediatamente valiosos.

2. Escolha a sua plataforma

Se as bases de dados vectoriais parecerem confusas ou abstractas, existem muitas plataformas de chatbot que tratam da incorporação e do agrupamento por si nos bastidores.

3. Recolha os seus dados

Comece com o que já tem - ficheiros de texto, PDFs, folhas de cálculo. Uma boa plataforma trata da formatação por si. Basta carregar o seu conteúdo e a plataforma encarrega-se da incorporação e indexação nos bastidores.

Algumas especificidades dependerão da plataforma que está a utilizar. Eis algumas sugestões para tirar o máximo partido dos seus dados.

4. Adicionar uma descrição

Escreva uma descrição curta e simples do objetivo do seu bot.

Isto ajuda a definir o tom e as expectativas: como o bot deve falar com os utilizadores, que tipos de perguntas pode esperar e que dados pode consultar.

Por exemplo:
"É um assistente de apoio da equipa de RH. Ajuda os empregados a encontrar políticas e responde a perguntas sobre PTO e benefícios. Utilize as informações do manual do trabalhador e dos documentos de RH. Seja claro e educado. Se não souber alguma coisa, peça ao utilizador para contactar os RH."

5. Testar e ajustar

Teste a sua configuração com consultas reais. Pergunte o que os seus clientes perguntariam. Os resultados são relevantes? Exactos?

Ajuste o seu bot conforme necessário:

• Resultados incompletos? Aumente a contagem de pedaços para obter respostas mais completas.
• Resposta lenta? Escolha um modelo mais rápido.
• Respostas incorrectas? Tente um modelo mais exato ou adicione dados relevantes.

As plataformas são altamente personalizáveis, pelo que a resolução de problemas é normalmente apenas uma questão de configuração, como jogar com os modelos disponíveis ou alterar as descrições.