Base de données vectorielle : la technologie révolutionnaire qui propulse la recherche par IA

Si vous essayez de créer un agent IA ou un moteur de recherche, vous avez probablement déjà entendu parler des bases de données vectorielles.

Les bases de données vectorielles jouent un rôle essentiel dans l’articulation entre données, ressources et requêtes, mais s’y attaquer peut sembler intimidant. Je suis passé par là : défiler devant des termes obscurs comme embeddings et recherche floue, sans savoir si je compliquais trop ou si je ratais quelque chose de fondamental.

Qui décide quelles vidéos YouTube vous sont recommandées ? Comment les moteurs de recherche gèrent-ils les fautes de frappe ? Pourquoi Instagram me montre-t-il toujours le chien parfait et tout doux ?

Dans cet article, nous allons explorer l’univers des vecteurs, de la similarité et de la recherche sémantique, et voir comment créer des applications plus personnalisées.

Qu’est-ce qu’une base de données vectorielle ?

Une base de données vectorielle stocke les données sous forme de représentations numériques (appelées vecteurs) qui capturent le sens des données. Cela permet de rechercher par similarité, et pas seulement par mots-clés.

Les bases de données vectorielles sont une technologie clé derrière les systèmes modernes de chat, de recherche et de recommandation.

Comment fonctionnent les bases de données vectorielles ?

Les bases de données vectorielles enregistrent textes, images et tableurs sous forme de séries de vecteurs, aussi appelés embeddings. Chacun de ces vecteurs est une suite de nombres qui, à première vue, ne veut pas dire grand-chose, mais qui, en réalité, capture le sens abstrait des données.

Ces données – qu’il s’agisse d’e-mails, de comptes-rendus de réunion ou de descriptions de produits – ne sont pas remplacées par une suite de chiffres, elles sont indexées.

Ces embeddings compacts et denses rendent la recherche d’informations à la fois efficace et pertinente. Ils permettent de comparer des éléments selon leur similarité.

Concepts clés

Qu’est-ce qu’un modèle d’embedding ?

Les modèles d’embedding sont des modèles d’apprentissage automatique entraînés à convertir des données en embeddings.

Ces modèles apprennent à compresser les données sous forme de vecteur (notre embedding), puis à les régénérer. Le vecteur compressé conserve un maximum d’informations sémantiques issues des données.

Cela signifie qu’ils ne stockent pas seulement les mots, mais aussi les idées sous-jacentes. Par exemple, un embedding peut refléter que :

• « chiot » et « chien » sont étroitement liés
• « Comment réinitialiser mon mot de passe ? » a un sens proche de « Impossible de me connecter à mon compte »
• « ordinateur portable abordable » et « ordinateur économique » désignent la même chose
  

Ce type de correspondances aide les agents IA et moteurs de recherche à comparer les entrées selon leur sens, et pas seulement par mots-clés.

Qu'est-ce que la recherche sémantique ?

Alors, comment compare-t-on les embeddings pour mesurer leur similarité ?

Comme mentionné précédemment, un vecteur d'embedding est une série de nombres. Ces nombres représentent un point dans un espace à haute dimension. Nous pouvons visualiser des choses en 2D ou 3D, mais qu'en est-il de 384 ? Au lieu de X, Y et Z, nous avons des centaines de valeurs qui, ensemble, définissent un point unique.

Ces vecteurs permettent de mesurer à quel point deux contenus sont « proches » – non pas en termes de mots, mais de sens.

La recherche sémantique transforme une requête en vecteur et recherche dans la base les vecteurs les plus proches. Ces résultats devraient, en principe, être les plus similaires à la requête de l’utilisateur.

Recherche par plus proche voisin approximatif (ANN)

La recherche sémantique utilise un algorithme de plus proche voisin approximatif (ANN). L'objectif de l'ANN est de répondre à la question : « Quel vecteur de ma base de données ressemble le plus à ma requête ? »

Il existe plusieurs algorithmes ANN, chacun ayant ses propres avantages. Par exemple :

Hierarchical Navigable Small World (HNSW)

HNSW est optimisé pour la recherche en temps réel et à faible latence. Idéal pour les fils d’actualité personnalisés et les systèmes de recommandation – partout où il faut chercher rapidement dans des données qui évoluent souvent.

Inverted File Index (IVF)

IVF convient mieux aux données volumineuses et peu changeantes. Pensez aux catalogues e-commerce ou aux répertoires d’articles scientifiques.

En pratique, l’algorithme est intégré dans le moteur ou la plateforme qui gère la recherche.

Cas d’usage des bases de données vectorielles

Maintenant que nous savons comment les vecteurs sont créés et comparés, voyons comment ils peuvent alimenter différentes applications.

RAG (Retrieval-Augmented Generation)

Cette stratégie de génération par LLM fait beaucoup parler d’elle, et pour cause : RAG est fiable, précis et fournit des réponses spécifiques, grâce aux bases de données vectorielles.

Avec le RAG, la requête de l’utilisateur est transformée en embedding et comparée au reste de la base pour trouver les éléments similaires. Le modèle s’appuie ensuite sur ces éléments pour générer sa réponse.

RAG évite de s’appuyer sur la mémoire interne du modèle ou sur l’historique de la conversation, qui peuvent souvent être faux ou hors sujet.

Supposons que vous demandiez un résumé de l'enfance de Napoléon. La réponse du modèle semble plausible, mais est-elle exacte ? Avec RAG, des documents pertinents pour votre question sont utilisés pour orienter la réponse du modèle. Ainsi, vous pouvez consulter la source principale et vérifier les réponses du modèle.‍

Si vous voulez voir ce que cela donne concrètement, voici un guide pour créer un chatbot avec RAG.

Recommandations de produits et de contenus

Les bases de données vectorielles ne servent pas qu’à répondre aux requêtes des utilisateurs. Elles permettent aussi d’optimiser leur expérience.

En suivant l’historique de navigation des utilisateurs et en regroupant les éléments similaires, les entreprises peuvent déterminer le meilleur produit ou contenu à recommander.

C’est un bon exemple de ce qu’on appelle l’algorithme : recommandations stratégiques de contenus et publicités ciblées.

Prenez une plateforme de partage vidéo : chaque vidéo possède son embedding dans la base. Quand vous en regardez une, le système peut en suggérer d’autres dont les embeddings sont proches – donc du contenu similaire, même si les titres ou tags n’ont rien à voir.

Au fil du temps, votre historique de visionnage forme une sorte de « nuage » personnalisé d’embeddings, aidant le système à cerner vos préférences et à vous recommander ce que vous voudrez voir ensuite.

Les avantages des bases vectorielles par rapport aux bases traditionnelles

Maintenant que nous avons vu le comment et le quoi des bases de données vectorielles, parlons du pourquoi : quels bénéfices apportent-elles aux chatbots et moteurs de recherche ?

1. Elles apportent plus de contexte aux chatbots

Les LLM ont tendance à oublier ou à inventer dans les longues conversations. Utilisateurs et développeurs ne savent pas toujours quelles informations sont retenues.

Avec des stratégies comme RAG, le modèle interroge la base pour trouver les informations nécessaires à une réponse précise.

Au lieu de rappeler ou corriger le modèle pour la énième fois, les bases vectorielles stockent les infos pertinentes et les référencent explicitement.

2. Elles rendent la recherche tolérante aux fautes de frappe

Même en connaissant les bons mots-clés, la recherche reste imparfaite.

golfen retriever ≠ golden retriever, mais votre moteur de recherche devrait s’en rendre compte.

Si on fait une correspondance littérale, une faute de frappe ou un mot mal orthographié éliminerait une option pertinente.

Quand on s’intéresse au sens de la requête, l’orthographe ou la formulation exacte importent beaucoup moins.

3. Elles permettent aux utilisateurs d’effectuer des recherches approximatives

La recherche concerne moins les mots-clés que les ✨vibes✨.

Transformer un texte en vecteur d’embedding permet de le stocker dans un espace d’ambiance ineffable. Ainsi, en apparence,

« Où puis-je trouver un excellent flat white dans le coin ? »

ne ressemble pas à

« Meilleurs endroits pour une dose de caféine à proximité »

mais votre moteur de recherche les associera quand même. C’est possible car les embeddings des deux phrases sont très proches, même si leur formulation diffère.

4. Les bases de données vectorielles peuvent comparer différents types de données

Les données existent sous toutes les formes, tailles et types. Il est souvent nécessaire de comparer des données de types différents. Par exemple, utiliser du texte pour rechercher et filtrer des images de produits.

Les modèles multimodaux sont entraînés pour comparer différents types de données, comme le texte, les images, l’audio ou la vidéo.

Cela facilite la discussion autour de vos contenus. Trouvez un produit en décrivant son image, ou posez des questions sur des graphiques en langage courant.

Comment créer un agent IA avec des capacités de recherche intelligente

Si vous découvrez la recherche sémantique, vous avez sûrement beaucoup de questions :

Comment préparer mes données ?

Quelles données dois-je inclure ?

Quel modèle d’embedding choisir… et comment savoir s’il fonctionne ?

Heureusement, vous n’avez pas besoin de tout maîtriser d’emblée. Voici comment commencer en quelques étapes simples :

1. Définir votre cas d’usage

Commencez par quelque chose de simple et utile. Voici quelques exemples pour vous inspirer :

• Un chatbot pour le commerce qui aide les clients à trouver les bons produits selon leurs besoins et préférences. Demandez-lui, « Quel manteau d’hiver pour la randonnée à moins de 150 € ? »

• Un bot de gestion de tickets qui trie les demandes IT des employés en temps réel. Demandez : « Y a-t-il des tickets prioritaires concernant l’accès VPN qui ne sont pas encore attribués ? »

• Un agent d’automatisation des processus métier qui gère le traitement des commandes de A à Z. Demandez-lui : « La commande Smith a-t-elle été expédiée, et avons-nous envoyé l’email de confirmation ? »

Tous ces exemples sont rapides à mettre en place, faciles à tester et immédiatement utiles.

2. Choisissez votre plateforme

Si les bases de données vectorielles vous semblent complexes ou abstraites, il existe de nombreuses plateformes de chatbot qui gèrent les embeddings et le clustering pour vous, en arrière-plan.

3. Rassemblez vos données

Commencez avec ce que vous avez déjà : fichiers texte, PDF, tableurs. Une bonne plateforme s’occupe du formatage pour vous. Il suffit de téléverser votre contenu, et elle s’occupe de l’embedding et de l’indexation en arrière-plan.

Certains détails dépendront de la plateforme utilisée. Voici quelques conseils pour tirer le meilleur parti de vos données.

4. Ajoutez une description

Rédigez une courte description, en langage simple, de l’objectif de votre bot.

Cela permet de définir le ton et les attentes : comment le bot doit s’adresser aux utilisateurs, quels types de questions il peut recevoir et quelles données il peut utiliser.

Par exemple :
« Vous êtes un assistant support pour l’équipe RH. Aidez les employés à trouver les politiques et à répondre aux questions sur les congés et les avantages. Utilisez les informations du guide de l’employé et des documents RH. Soyez clair et poli. Si vous ne savez pas, demandez à l’utilisateur de contacter les RH. »

5. Testez et ajustez

Testez votre configuration avec de vraies requêtes. Posez les questions que vos clients poseraient. Les résultats sont-ils pertinents ? Précis ?

Ajustez votre bot si besoin :

• Résultats incomplets ? Augmentez le nombre de segments pour des réponses plus complètes.
• Réponse lente ? Choisissez un modèle plus rapide.
• Réponses incorrectes ? Essayez un modèle plus précis ou ajoutez des données pertinentes.

Les plateformes sont très personnalisables, donc résoudre un problème revient souvent à configurer certains paramètres, comme tester différents modèles ou modifier les descriptions.

Développez des capacités de recherche plus intelligentes

Avec les récents progrès de l’IA, la recherche dans les données n’est plus un luxe, mais une attente de base.

Vous n’avez pas besoin de maîtriser l’ANN ou les embeddings pour créer des moteurs de recherche intelligents. Notre plateforme propose des outils prêts à l’emploi pour la recherche sémantique et la génération augmentée par la recherche. Aucune préparation de données requise.

Commencez à créer dès aujourd’hui. C’est gratuit.

FAQ

1. Comment évaluer les performances d’une base de données vectorielle ?

Pour évaluer les performances d’une base de données vectorielle, mesurez la latence des requêtes (vitesse de réponse), le rappel ou la précision (pertinence des résultats) et la scalabilité (capacité à gérer la croissance des données et des requêtes). Testez avec de vraies requêtes pour vérifier que la rapidité et la précision sont au rendez-vous sous charge.

2. Quelles sont les exigences de stockage pour des données vectorielles à grande échelle ?

Les besoins de stockage pour des données vectorielles à grande échelle dépendent du nombre de vecteurs et de leur dimensionnalité. Par exemple, un million de vecteurs à 768 dimensions en flottants 32 bits nécessitent plus de 3 Go de stockage brut. À grande échelle (millions à milliards de vecteurs), prévoyez des dizaines ou centaines de Go, et utilisez des options comme la compression ou l’indexation approximative pour réduire les coûts.

3. Que se passe-t-il si deux documents très différents ont des embeddings similaires à cause du bruit ou d’un biais du modèle ?

Si deux documents non liés génèrent des embeddings similaires, le système de recherche peut retourner des résultats incorrects. Pour y remédier, vous pouvez affiner votre modèle d’embedding sur des données spécifiques à votre domaine ou utiliser des techniques hybrides qui combinent vecteurs et filtres par métadonnées ou mots-clés pour lever l’ambiguïté.

4. Comment les données vectorielles sont-elles versionnées et gérées dans le temps ?

Les données vectorielles sont versionnées en suivant les données d’entrée et le modèle d’embedding utilisé pour générer les vecteurs. Les pratiques courantes incluent la sauvegarde de snapshots horodatés et l’étiquetage des versions d’index.

5. Est-il possible de combiner la recherche par mots-clés traditionnelle avec la recherche vectorielle ?

Oui, combiner la recherche par mots-clés traditionnelle avec la recherche vectorielle s’appelle la recherche hybride, et c’est pris en charge par de nombreuses plateformes comme Elasticsearch ou Vespa. Cette méthode améliore la pertinence en utilisant la correspondance lexicale pour les requêtes précises et la similarité sémantique pour comprendre le contexte.