Base de dados vetorial: A tecnologia revolucionária que impulsiona a pesquisa de IA

O que é um modelo de incorporação?

Os modelos de incorporação são modelos de aprendizagem automática treinados para converter dados em incorporação.

Estes modelos são treinados para comprimir dados num vetor (a nossa incorporação) e depois regenerá-los. O vetor comprimido armazena o máximo possível de informação semântica dos dados.

Isto significa que não guardam apenas as palavras, mas também as ideias que lhes estão subjacentes. Por exemplo, uma incorporação pode captar isso:

• "cachorro" e "cão" estão intimamente relacionados
• "Como posso redefinir a minha palavra-passe?" tem um significado semelhante a "Não consigo iniciar sessão na minha conta"
• "portátil económico" e "computador económico" referem-se à mesma coisa
  

Estes tipos de padrões ajudam os agentes de IA e os motores de busca a comparar as entradas com base no significado e não apenas na correspondência de palavras-chave.

O que é a pesquisa semântica?

Então, como é que os embeddings são comparados em termos de semelhança?

Como mencionado anteriormente, um vetor de incorporação é uma série de números. Estes números são uma representação de um ponto num espaço de elevada dimensão. Podemos visualizar as coisas em 2D ou 3D, mas que tal 384? Em vez de X, Y e Z, temos centenas de valores, todos reunidos para especificar um ponto único.

Estes vectores permitem-nos medir a "proximidade" de dois conteúdos - não em termos de palavras, mas em termos de significado.

A pesquisa semântica transforma uma consulta num vetor e procura na base de dados os vectores mais próximos. Estes vectores de resultados devem, em princípio, ser os mais semelhantes à consulta do utilizador.

Pesquisa do vizinho mais próximo aproximado (ANN)

A pesquisa semântica é efectuada utilizando um algoritmo ANN (Approximate Nearest Neighbor). O objetivo do ANN é responder à pergunta "que vetor da minha base de dados é mais semelhante à minha consulta?".

Existem vários algoritmos de RNA, cada um com os seus próprios pontos fortes. Por exemplo:

RAG (Retrieval-Augmented Generation)

Esta estratégia de geração de LLM parece estar a dar que falar, e por boas razões: O RAG é fiável, preciso e fornece respostas específicas, o que é possível graças aos Vetor DBs.

Com o RAG, a consulta do utilizador é incorporada e comparada com o resto da base de dados para itens semelhantes. O modelo faz então referência a esses itens quando gera uma resposta.

O RAG evita confiar no conhecimento interno do modelo ou no historial da conversa, que podem ser falsos ou irrelevantes.

Digamos que pede um resumo da infância de Napoleão. A resposta do modelo é plausível, mas será exacta? Com o RAG, os documentos relevantes para a sua consulta serão utilizados para orientar a resposta do modelo. Desta forma, pode verificar o recurso principal, mantendo os resultados do modelo verificáveis.

Se quiser ver o que isto parece na prática, aqui está um guia para construir um chatbot com o RAG.

Recomendações de produtos e conteúdos

As bases de dados vectoriais não são apenas utilizadas para responder às consultas dos utilizadores. Também podem ser utilizadas para otimizar a experiência do utilizador.

O acompanhamento do histórico de navegação dos utilizadores e o agrupamento de itens semelhantes permitem às empresas determinar o melhor produto ou conteúdo a recomendar ao utilizador.

Este é um ótimo exemplo daquilo a que chamamos o algoritmo: recomendações estratégicas de conteúdos e publicidade direcionada.

Pense numa plataforma de partilha de vídeos: cada vídeo tem a sua própria incorporação armazenada na base de dados. Quando se vê um vídeo, o sistema pode sugerir outros com "embeddings" próximos, ou seja, conteúdos semelhantes, mesmo que os títulos ou as etiquetas sejam completamente diferentes.

Com o passar do tempo, o histórico do relógio torna-se numa espécie de "nuvem" personalizada de incorporação, ajudando o sistema a compreender as suas preferências e a recomendar o que quer ver a seguir.

1. Fornecem mais contexto aos Chatbots

LLMs são propensos a esquecimentos e alucinações em conversas longas. Os utilizadores e os programadores não têm uma noção clara da informação que é retida.

Com estratégias como o RAG, o modelo procura na base de dados a informação necessária para dar uma resposta exacta.

Em vez de relembrar e corrigir o modelo pela enésima vez, as bases de dados vectoriais armazenam informações relevantes e referem-nas explicitamente.

2. Tornam os resultados da pesquisa tolerantes a erros de digitação

Mesmo que saibamos as palavras-chave exactas, a pesquisa é confusa. 

golfen retriever ≠ golden retriever, mas o seu motor de busca deveria saber melhor.

Se estivermos a fazer corresponder as consultas literalmente, um erro de digitação ou uma palavra mal escrita desqualificaria uma opção relevante. 

Quando abstraímos o significado da consulta de pesquisa, a ortografia ou a redação específicas não têm tanta importância.

3. Permitem que os utilizadores efectuem pesquisas difusas

A pesquisa tem menos a ver com palavras-chave do que com ✨vibes✨. 

Abstrair o texto para um vetor de incorporação permite-lhe armazená-lo num espaço de vibração inefável. Portanto, à primeira vista, 

"Onde é que posso arranjar um café branco de arrasar por aqui?" 

não se parece com 

"Os melhores locais para uma dose de cafeína nas proximidades", 

mas o seu motor de busca irá corresponder-lhes da mesma forma. Isto é possível porque as incorporações das duas frases são muito próximas, apesar de a sua redação ser diferente.

4. Os BD vectoriais podem comparar várias modalidades

Os dados existem em todas as formas, tamanhos e tipos. É frequente precisarmos de comparar dados de diferentes tipos. Por exemplo, utilizar texto para pesquisar e filtrar imagens de produtos.

Os modelos multimodais são treinados para comparar diferentes tipos de dados, como texto, imagens, áudio e vídeo.

Isto torna mais fácil falar sobre o seu conteúdo. Encontre um produto descrevendo a sua imagem ou faça perguntas sobre gráficos utilizando uma linguagem simples.

1. Defina o seu caso de utilização

Comece com algo simples e útil. Eis alguns exemplos para começar a trabalhar:

• A chatbot de retalho que ajuda os clientes a encontrar os produtos certos com base nas suas necessidades e preferências. Pergunte-lhe: "Qual é um bom casaco de inverno para caminhadas que custe menos de 150 dólares?"

• A bot de emissão de bilhetes que faz a triagem dos pedidos de TI dos funcionários em tempo real. Pergunte: "Há bilhetes de alta prioridade relacionados com o acesso VPN ainda não atribuídos?"

• A agente de automatização de processos empresariais que gere o cumprimento das encomendas do início ao fim. Pergunte-lhe: "A encomenda do Smith já foi enviada e enviámos o e-mail de confirmação?"

Todos eles são rápidos de construir, fáceis de testar e imediatamente valiosos.

2. Escolha a sua plataforma

Se as bases de dados vectoriais parecerem confusas ou abstractas, existem muitas plataformas de chatbot que tratam da incorporação e do agrupamento por si nos bastidores.

3. Recolha os seus dados

Comece com o que já tem - ficheiros de texto, PDFs, folhas de cálculo. Uma boa plataforma trata da formatação por si. Basta carregar o seu conteúdo e a plataforma encarrega-se da incorporação e indexação nos bastidores.

Algumas especificidades dependerão da plataforma que está a utilizar. Eis algumas sugestões para tirar o máximo partido dos seus dados.

4. Adicionar uma descrição

Escreva uma descrição curta e simples do objetivo do seu bot.

Isto ajuda a definir o tom e as expectativas: como o bot deve falar com os utilizadores, que tipos de perguntas pode esperar e que dados pode consultar.

Por exemplo:
"É um assistente de apoio da equipa de RH. Ajuda os empregados a encontrar políticas e responde a perguntas sobre PTO e benefícios. Utilize as informações do manual do trabalhador e dos documentos de RH. Seja claro e educado. Se não souber alguma coisa, peça ao utilizador para contactar os RH."

5. Testar e ajustar

Teste a sua configuração com consultas reais. Pergunte o que os seus clientes perguntariam. Os resultados são relevantes? Exactos?

Ajuste o seu bot conforme necessário:

• Resultados incompletos? Aumente a contagem de pedaços para obter respostas mais completas.
• Resposta lenta? Escolha um modelo mais rápido.
• Respostas incorrectas? Tente um modelo mais exato ou adicione dados relevantes.

As plataformas são altamente personalizáveis, pelo que a resolução de problemas é normalmente apenas uma questão de configuração, como jogar com os modelos disponíveis ou alterar as descrições.

1. Como posso avaliar o desempenho de uma base de dados vetorial?

To evaluate the performance of a vector database, measure its query latency (how quickly it returns results), recall or precision (how relevant those results are), and scalability (how well it handles growth in data and queries). You should test with real queries to ensure it meets speed and accuracy expectations under load.

2. Quais são os requisitos de armazenamento para dados vectoriais em grande escala?

The storage requirements for large-scale vector data depend on the number of vectors and their dimensionality – for example, 1 million vectors at 768 dimensions using 32-bit floats would require over 3 GB of raw storage. At scale (millions to billions of vectors), expect requirements in the tens or hundreds of GBs, and use options like compression or approximate indexing to reduce storage costs.

3. O que é que acontece se dois documentos muito diferentes tiverem embeddings semelhantes devido a ruído ou enviesamento do modelo?

If two unrelated documents generate similar embeddings, the search system may return incorrect results. To address this, you can fine-tune your embedding model on domain-specific data or use hybrid search techniques that combine vectors with metadata or keyword filters for disambiguation.

4. Como é que os dados vectoriais são versionados e geridos ao longo do tempo?

Vector data is versioned by tracking the input data and the embedding model used to generate vectors. Common practices include storing timestamped snapshots and tagging index versions.

5. É possível combinar a pesquisa tradicional por palavras-chave com a pesquisa vetorial?

Yes, combining traditional keyword search with vector search is called hybrid search, and it's supported by many platforms like Elasticsearch or Vespa. This method improves relevance by using lexical matching for precise queries and semantic vector similarity for understanding context.