Vector Datenbank: Die bahnbrechende Technologie für die KI-Suche

Wenn Sie versuchen, einen KI-Agenten oder eine Suchmaschine zu entwickeln, haben Sie wahrscheinlich schon einmal etwas über Vektordatenbanken gehört.

Vektordatenbanken spielen eine wesentliche Rolle im Zusammenspiel zwischen Daten, Ressourcen und Abfragen, aber der Umgang mit ihnen kann entmutigend sein. Ich kenne das: Ich blättere durch esoterische Begriffe wie Einbettungen und unscharfe Suche und bin mir nicht sicher, ob ich mich zu sehr in die Materie vertieft habe oder nur etwas Grundlegendes übersehen habe.

Wer bestimmt, welche YouTube-Videos empfohlen werden? Wie überwinden Suchmaschinen Tippfehler? Wie kommt es, dass mir Instagram immer den perfekten flauschigen Hund zeigt?

In diesem Artikel werden wir die Welt der Vektoren, der Ähnlichkeit und der semantischen Suche näher beleuchten und zeigen, wie Sie personalisierte Anwendungen erstellen können.

Was ist eine Vektordatenbank?

Eine Vektordatenbank speichert Daten als eine Sammlung numerischer Darstellungen (bekannt als Vektoren), die die Bedeutung der Daten erfassen. So können Sie auf der Grundlage von Ähnlichkeiten und nicht nur nach bestimmten Schlüsselwörtern suchen.

Vektordatenbanken sind eine Schlüsseltechnologie für moderne Chat-, Such- und Empfehlungssysteme.

Wie funktionieren Vektordatenbanken?

In Vektordatenbanken werden Texte, Bilder und Tabellenkalkulationen als eine Reihe von Vektoren, auch Einbettungen genannt, gespeichert. Jeder dieser Vektoren ist eine Reihe von Zahlen, die oberflächlich betrachtet nicht viel aussagen, aber unter der Haube die abstrakte Bedeutung der Daten erfassen.

Diese Daten - seien es E-Mails, Sitzungsprotokolle oder Produktbeschreibungen - werden nicht durch eine Reihe von Zahlen ersetzt, sondern indexiert.

Diese winzigen, dichten Einbettungen machen das Abrufen von Informationen sowohl effizient als auch sinnvoll. Sie ermöglichen den Vergleich von Objekten auf der Grundlage ihrer Ähnlichkeit.

Wichtige Konzepte

Was ist ein Einbettungsmodell?

Einbettungsmodelle sind maschinelle Lernmodelle, die darauf trainiert sind, Daten in Einbettungen umzuwandeln.

Diese Modelle werden darauf trainiert, Daten in einen Vektor (unsere Einbettung) zu komprimieren und diesen dann neu zu generieren. Der komprimierte Vektor speichert so viele semantische Informationen aus den Daten wie möglich.

Das heißt, sie speichern nicht nur die Wörter, sondern auch die Ideen dahinter. Zum Beispiel könnte eine Einbettung das erfassen:

• "Welpe" und "Hund" sind eng miteinander verwandt
• "Wie setze ich mein Passwort zurück?" hat eine ähnliche Bedeutung wie "Ich kann mich nicht bei meinem Konto anmelden".
• "erschwinglicher Laptop" und "preisgünstiger Computer" beziehen sich auf dasselbe
  

Diese Art von Mustern hilft KI-Agenten und Suchmaschinen, Eingaben auf der Grundlage ihrer Bedeutung zu vergleichen und nicht nur auf der Grundlage übereinstimmender Schlüsselwörter.

Was ist Semantische Suche?

Wie werden also Einbettungen auf Ähnlichkeit verglichen?

Wie bereits erwähnt, ist ein Einbettungsvektor eine Reihe von Zahlen. Diese Zahlen sind eine Darstellung eines Punktes im hochdimensionalen Raum. Wir können uns die Dinge in 2D oder 3D vorstellen, aber wie wäre es mit 384? Anstelle von X, Y und Z haben wir Hunderte von Werten, die alle zusammen einen einzigen Punkt ergeben.

Anhand dieser Vektoren können wir messen, wie "nah" sich 2 Inhalte sind - nicht in Bezug auf die Wörter, sondern auf die Bedeutung.

Bei der semantischen Suche wird eine Anfrage in einen Vektor umgewandelt und die Datenbank nach den nächstgelegenen Vektoren durchsucht. Diese Ergebnisvektoren sollten im Prinzip der Anfrage des Nutzers am ähnlichsten sein.

Approximate Nearest Neighbor (ANN) Suche

Die semantische Suche wird mit einem ANN-Algorithmus (Approximate Nearest Neighbor) durchgeführt. Das Ziel von ANN ist es, die Frage zu beantworten: "Welcher Vektor in meiner Datenbank ist meiner Anfrage am ähnlichsten?"

Es gibt mehrere ANN-Algorithmen, die jeweils ihre eigenen Stärken haben. Zum Beispiel:

Hierarchisch navigierbare kleine Welt (HNSW)

HNSW ist für die Echtzeitsuche mit geringer Latenzzeit optimiert. Es eignet sich hervorragend für personalisierte Content-Feeds und Empfehlungssysteme - also für jedes Szenario, das eine schnelle Suche in häufig aktualisierten Daten erfordert.

Invertierter Datei-Index (IVF)

Die IVF eignet sich besser für umfangreiche, meist unveränderliche Daten. Denken Sie an E-Commerce-Kataloge oder akademische Papierverzeichnisse.

In der Praxis wird der Algorithmus in der Suchmaschine oder Plattform verborgen sein, die für die Durchführung der Suche verwendet wird.

Anwendungsfälle von Vektordatenbanken

Nachdem wir nun verstanden haben, wie Vektoren erstellt und zugeordnet werden, wollen wir uns die verschiedenen Möglichkeiten ansehen, wie wir sie für Anwendungen nutzen können.

RAG (Retrieval-Augmented Generation)

Diese LLM scheint in aller Munde zu sein, und das aus gutem Grund: RAG ist zuverlässig, genau und liefert spezifische Antworten, was alles durch Vector DBs ermöglicht wird.

Bei RAG wird die Anfrage des Benutzers eingebettet und mit dem Rest der Datenbank auf ähnliche Elemente verglichen. Das Modell bezieht sich dann auf diese Elemente, wenn es eine Antwort erzeugt.

RAG vermeidet es, sich auf das interne Wissen des Modells oder den Gesprächsverlauf zu verlassen, die beide tendenziell falsch oder irrelevant sein können.

Angenommen, Sie fragen nach einer Zusammenfassung von Napoleons Kindheit. Die Antwort des Modells ist plausibel, aber ist sie auch genau? Mit RAG werden Dokumente, die für Ihre Anfrage relevant sind, verwendet, um die Antwort des Modells zu steuern. Auf diese Weise können Sie die primäre Ressource überprüfen und die Ergebnisse des Modells bleiben überprüfbar.‍

Wenn Sie sehen wollen, wie das in der Praxis aussieht, finden Sie hier einen Leitfaden für die Erstellung eines Chatbots mit RAG.

Produkt- und Inhaltsempfehlungen

Vektordatenbanken werden nicht nur zur Beantwortung von Nutzeranfragen verwendet. Sie können auch verwendet werden, um das Nutzererlebnis zu optimieren.

Durch die Verfolgung des Navigationsverlaufs von Nutzern und das Clustern ähnlicher Elemente können Unternehmen das beste Produkt oder den besten Inhalt ermitteln, das bzw. den sie dem Nutzer empfehlen können.

Dies ist ein gutes Beispiel für das, was wir als Algorithmus bezeichnen: strategische Inhaltsempfehlungen und gezielte Werbung.

Stellen Sie sich eine Videoplattform vor: Jedes Video hat seine eigene Einbettung, die in der Datenbank gespeichert ist. Wenn Sie sich ein Video ansehen, kann das System andere mit nahegelegenen Einbettungen vorschlagen - also mit ähnlichem Inhalt, auch wenn die Titel oder Tags völlig unterschiedlich sind.

Im Laufe der Zeit wird Ihr Uhrenverlauf zu einer Art personalisierter "Wolke" von Einbettungen, die dem System hilft, Ihre Vorlieben zu verstehen und Ihnen zu empfehlen, was Sie als Nächstes sehen möchten.

Die Vorteile von Vektor-DBs gegenüber herkömmlichen Datenbanken

Nachdem wir nun ein Gefühl für das Wie und Was von Vektordatenbanken haben, lassen Sie uns über das Warum sprechen: Welche Vorteile bieten sie Ihnen bei Chatbots und Suchmaschinen?

1. Sie bieten mehr Kontext für Chatbots

LLMs sind anfällig für Vergessen und Halluzinationen in langen Gesprächen. Nutzer und Entwickler haben kein klares Gefühl dafür, welche Informationen sie behalten.

Bei Strategien wie RAG durchsucht das Modell die Datenbank nach Ihrer Anfrage, um alle Informationen zu finden, die für eine genaue Antwort erforderlich sind.

Anstatt das Modell zum x-ten Mal zu erinnern und zu korrigieren, speichern Vektordatenbanken relevante Informationen und verweisen explizit auf sie.

2. Sie machen Suchergebnisse typo-tolerant

Selbst wenn wir die genauen Schlüsselwörter kennen, ist die Suche unübersichtlich. 

golfen retriever ≠ golden retriever, aber Ihre Suchmaschine sollte es besser wissen.

Wenn wir Suchanfragen wörtlich abgleichen, würde ein Tippfehler oder ein falsch geschriebenes Wort eine relevante Option disqualifizieren. 

Wenn wir die Bedeutung der Suchanfrage abstrahieren, ist die spezifische Schreibweise oder der Wortlaut nicht annähernd so wichtig.

3. Sie ermöglichen den Benutzern eine unscharfe Suche

Bei der Suche geht es weniger um Schlüsselwörter als um ✨vibes✨. 

Durch die Abstraktion des Textes in einen Einbettungsvektor können Sie ihn in einem unaussprechlichen Vibe-Raum speichern. Also, oberflächlich betrachtet, 

"Wo kann ich hier einen tollen Flat White bekommen?" 

sieht nicht aus wie 

"Die besten Orte für einen Koffeinschub in der Nähe", 

aber Ihre Suchmaschine wird sie alle gleich abgleichen. Dies ist möglich, weil die Einbettungen der beiden Sätze sehr nahe beieinander liegen, auch wenn ihr Wortlaut unterschiedlich ist.

4. Vektor-DBs können modalitätsübergreifend vergleichen

Daten gibt es in allen Formen, Größen und Arten. Oft müssen wir Daten verschiedener Typen miteinander vergleichen. Zum Beispiel die Verwendung von Text zum Suchen und Filtern von Produktbildern.

Multimodale Modelle werden für den Vergleich verschiedener Datentypen wie Text, Bilder, Audio und Video trainiert.

Das macht es einfacher, über Ihren Inhalt zu sprechen. Finden Sie ein Produkt, indem Sie sein Bild beschreiben, oder fragen Sie in einfacher Sprache nach Diagrammen.

Wie man einen KI-Agenten mit intelligenten Suchfähigkeiten entwickelt

Wenn Sie neu im Bereich der semantischen Suche sind, werden Sie wahrscheinlich mit Fragen überhäuft:

Wie bereite ich meine Daten vor?

Welche Daten sollte ich aufnehmen?

Welches Einbettungsmodell sollte ich verwenden... und woher weiß ich, dass es funktioniert?

Zum Glück müssen Sie nicht alles von vornherein bedenken. Hier erfahren Sie, wie Sie in ein paar einfachen Schritten loslegen können:

1. Definieren Sie Ihren Anwendungsfall

Beginnen Sie mit etwas Einfachem und Nützlichem. Hier sind ein paar Beispiele, die Sie zum Nachdenken anregen:

• A Einzelhandels-Chatbot der Kunden hilft, die richtigen Produkte auf der Grundlage ihrer Bedürfnisse und Vorlieben zu finden. Fragen Sie ihn: "Was ist eine gute Winterjacke zum Wandern, die unter 150 $ kostet?"

• A Ticketing-Bot der IT-Anfragen von Mitarbeitern in Echtzeit bearbeitet. Fragen Sie: "Gibt es noch nicht zugewiesene Tickets mit hoher Priorität im Zusammenhang mit dem VPN-Zugang?"

• A Automatisierung von Geschäftsprozessen Agent, der die Auftragsabwicklung von Anfang bis Ende verwaltet. Fragen Sie ihn: "Wurde die Smith-Bestellung bereits versandt und haben wir die Bestätigungs-E-Mail verschickt?"

Sie sind alle schnell zu erstellen, einfach zu testen und sofort nützlich.

2. Wählen Sie Ihre Plattform

Wenn Ihnen Vektordatenbanken verwirrend oder abstrakt vorkommen, gibt es zahlreiche Chatbot-Plattformen, die im Hintergrund mit Einbettungen und Clustering arbeiten.

3. Sammeln Sie Ihre Daten

Beginnen Sie mit dem, was Sie bereits haben - Textdateien, PDFs, Tabellenkalkulationen. Eine gute Plattform übernimmt die Formatierung für Sie. Laden Sie einfach Ihre Inhalte hoch, und die Plattform kümmert sich im Hintergrund um die Einbettung und Indizierung.

Einige Einzelheiten hängen von der von Ihnen verwendeten Plattform ab. Hier sind einige Tipps, wie Sie das Beste aus Ihren Daten herausholen können.

4. Eine Beschreibung hinzufügen

Schreiben Sie eine kurze, leicht verständliche Beschreibung, wofür Ihr Bot gedacht ist.

Dies hilft, den Ton und die Erwartungen festzulegen: wie der Bot mit den Nutzern sprechen sollte, welche Art von Fragen er erwarten kann und auf welche Daten er sich beziehen kann.

Beispiel:
"Sie sind ein Assistent für das HR-Team. Sie helfen Mitarbeitern bei der Suche nach Richtlinien und beantworten Fragen zu PTO und Zusatzleistungen. Verwenden Sie Informationen aus dem Mitarbeiterhandbuch und HR-Dokumenten. Seien Sie klar und höflich. Wenn Sie etwas nicht wissen, bitten Sie den Benutzer, die Personalabteilung zu kontaktieren."

5. Testen und Optimieren

Testen Sie Ihre Einrichtung mit echten Anfragen. Fragen Sie, was Ihre Kunden fragen würden. Sind die Ergebnisse relevant? Präzise?

Optimieren Sie Ihren Bot nach Bedarf:

• Unvollständige Ergebnisse? Erhöhen Sie die Anzahl der Chunks für vollständigere Antworten.
• Langsame Reaktion? Wählen Sie ein schnelleres Modell.
• Falsche Antworten? Versuchen Sie es mit einem genaueren Modell, oder fügen Sie relevante Daten hinzu.

Plattformen sind in hohem Maße anpassbar, so dass die Lösung von Problemen in der Regel nur eine Frage der Konfiguration ist, wie z. B. das Spielen mit verfügbaren Modellen oder das Ändern der Beschreibungen.

Aufbau intelligenter Suchfunktionen

Mit den jüngsten Fortschritten in der künstlichen Intelligenz sind durchsuchbare Daten nicht mehr nur ein Nice-to-have, sondern werden zur Standardanforderung.

Sie müssen weder ANN noch Embeddings beherrschen, um intelligentere Suchmaschinen zu entwickeln. Unsere Plattform bietet Ihnen Plug-and-Play-Tools für semantische Suche und Retrieval-augmented Generation. Keine Datenvorbereitung erforderlich.

Beginnen Sie noch heute mit dem Bau. Es ist kostenlos.

FAQs

1. Wie kann ich die Leistung einer Vektordatenbank bewerten?

Um die Leistung einer Vektordatenbank zu bewerten, messen Sie die Abfragelatenz (wie schnell sie Ergebnisse liefert), die Wiederauffindbarkeit oder Genauigkeit (wie relevant diese Ergebnisse sind) und die Skalierbarkeit (wie gut sie das Wachstum von Daten und Abfragen bewältigt). Sie sollten mit echten Abfragen testen, um sicherzustellen, dass sie die Erwartungen an Geschwindigkeit und Genauigkeit unter Last erfüllt.

2. Wie hoch sind die Speicheranforderungen für umfangreiche Vektordaten?

Der Speicherbedarf für große Vektordaten hängt von der Anzahl der Vektoren und ihrer Dimensionalität ab - für 1 Million Vektoren mit 768 Dimensionen und 32-Bit-Fließkommazahlen werden beispielsweise mehr als 3 GB an Rohspeicher benötigt. Bei großen Datenmengen (Millionen bis Milliarden von Vektoren) sollten Sie mit einem Bedarf von mehreren Dutzend oder Hunderten GB rechnen und Optionen wie Komprimierung oder ungefähre Indizierung nutzen, um die Speicherkosten zu senken.

3. Was passiert, wenn zwei sehr unterschiedliche Dokumente aufgrund von Rauschen oder Modellverzerrungen ähnliche Einbettungen aufweisen?

Wenn zwei nicht verwandte Dokumente ähnliche Einbettungen erzeugen, kann das Suchsystem falsche Ergebnisse liefern. Um dies zu beheben, können Sie Ihr Einbettungsmodell anhand von domänenspezifischen Daten feinabstimmen oder hybride Suchtechniken verwenden, die Vektoren mit Metadaten oder Stichwortfiltern zur Disambiguierung kombinieren.

4. Wie werden Vektordaten im Laufe der Zeit versioniert und verwaltet?

Vektordaten werden versioniert, indem die Eingabedaten und das zur Erzeugung der Vektoren verwendete Einbettungsmodell verfolgt werden. Zu den üblichen Praktiken gehören die Speicherung von Schnappschüssen mit Zeitstempel und die Kennzeichnung von Indexversionen.

5. Ist es möglich, die traditionelle Stichwortsuche mit der Vektorsuche zu kombinieren?

Ja, die Kombination aus traditioneller Schlüsselwortsuche und Vektorsuche wird als hybride Suche bezeichnet und wird von vielen Plattformen wie Elasticsearch oder Vespa unterstützt. Diese Methode verbessert die Relevanz, indem sie lexikalische Übereinstimmungen für präzise Abfragen und semantische Vektorähnlichkeit für das Verständnis des Kontexts verwendet.