Wat is een Vector Database en hoe werkt het?

Wat is een inbeddingsmodel?

Inbeddingsmodellen zijn modellen voor machinaal leren die zijn getraind om gegevens om te zetten in inbeddingen.

Deze modellen worden getraind om gegevens te comprimeren tot een vector (onze inbedding) en deze vervolgens te regenereren. De gecomprimeerde vector slaat zoveel mogelijk semantische informatie van de gegevens op.

Dat betekent dat ze niet alleen de woorden opslaan, maar ook de ideeën erachter. Een embedding kan bijvoorbeeld vastleggen dat:

• "puppy" en "hond" zijn nauw verwant
• "Hoe reset ik mijn wachtwoord?" is vergelijkbaar met "Kan niet inloggen op mijn account".
• "betaalbare laptop" en "budgetvriendelijke computer" verwijzen naar hetzelfde
  

Dit soort patronen helpen AI-agenten en zoekmachines om invoer te vergelijken op basis van betekenis, niet alleen op basis van overeenkomende trefwoorden.

Wat is semantisch zoeken?

Dus, hoe worden embeddings vergeleken op gelijkenis?

Zoals eerder vermeld, is een inbeddingsvector een reeks getallen. Deze getallen zijn een voorstelling van een punt in een hoogdimensionale ruimte. We kunnen dingen visualiseren in 2D of 3D, maar wat dacht je van 384? In plaats van X, Y en Z hebben we honderden waarden die allemaal samen één uniek punt vormen.

Met deze vectoren kunnen we meten hoe "dicht" 2 stukken inhoud bij elkaar liggen - niet in termen van woorden, maar in termen van betekenis.

Semantisch zoeken verwerkt een zoekopdracht in een vector en zoekt in de database naar de dichtstbijzijnde vectoren. Deze resultaatvectoren moeten in principe het meest lijken op de zoekopdracht van de gebruiker.

Zoeken op de dichtstbijzijnde buur (ANN)

Semantisch zoeken wordt uitgevoerd met een Approximate Nearest Neighbor (ANN) algoritme. Het doel van ANN is om de vraag te beantwoorden "welke vector in mijn database lijkt het meest op mijn zoekopdracht?".

Er zijn verschillende ANN algoritmen, elk met zijn eigen sterke punten. Bijvoorbeeld:

RAG (Retrieval-Augmented Generation)

Deze strategie om LLM te genereren lijkt het gesprek van de dag te zijn, en daar is een goede reden voor: RAG is betrouwbaar, nauwkeurig en geeft specifieke antwoorden, allemaal mogelijk gemaakt met Vector DB's.

Met RAG wordt de zoekopdracht van de gebruiker ingesloten en vergeleken met de rest van de database voor vergelijkbare items. Het model verwijst dan naar deze items bij het genereren van een antwoord.

RAG vertrouwt niet op de interne kennis van het model of de geschiedenis van de conversatie, die beide onjuist of irrelevant kunnen zijn.

Stel dat je vraagt om een samenvatting van de kindertijd van Napoleon. Het antwoord van het model is plausibel, maar is het ook accuraat? Met RAG worden documenten die relevant zijn voor je vraag gebruikt om het antwoord van het model te sturen. Op die manier kun je de primaire bron controleren, waardoor de uitvoer van het model controleerbaar blijft.

Als je wilt zien hoe dit er in de praktijk uitziet, is hier een handleiding voor het bouwen van een chatbot met RAG.

Product- en inhoudsaanbevelingen

Vectordatabases worden niet alleen gebruikt om te reageren op zoekopdrachten van gebruikers. Ze kunnen ook worden gebruikt om de ervaring van een gebruiker te optimaliseren.

Door de navigatiegeschiedenis van gebruikers bij te houden en soortgelijke items te clusteren, kunnen bedrijven bepalen welk product of welke inhoud het beste aan de gebruiker kan worden aanbevolen.

Dit is een goed voorbeeld van wat wij het algoritme noemen: strategische aanbevelingen voor inhoud en gerichte reclame.

Denk aan een video-sharing platform: elke video heeft zijn eigen embedding opgeslagen in de database. Wanneer je er een bekijkt, kan het systeem je andere voorstellen met embeddings in de buurt - wat gelijkaardige inhoud betekent, zelfs als de titels of tags volledig verschillend zijn.

Na verloop van tijd wordt je kijkgeschiedenis een soort gepersonaliseerde "wolk" van embeddings, die het systeem helpt om je voorkeuren te begrijpen en aanbevelingen te doen over wat je de volgende keer wilt zien.

1. Ze bieden meer context aan chatbots

LLMs zijn gevoelig voor vergeten en hallucineren tijdens lange gesprekken. Gebruikers en ontwikkelaars hebben geen duidelijk beeld van welke informatie wordt onthouden.

Met strategieën zoals RAG doorzoekt het model de database op basis van je zoekopdracht om alle informatie te vinden die nodig is om een nauwkeurig antwoord te geven.

In plaats van het model voor de zoveelste keer te herinneren en te corrigeren, slaan vectordatabases relevante informatie op en verwijzen er expliciet naar.

2. Ze maken zoekresultaten typotolerant

Zelfs als we de exacte trefwoorden kennen, is zoeken rommelig. 

golfen retriever ≠ golden retriever, maar je zoekmachine zou beter moeten weten.

Als we zoekopdrachten letterlijk matchen, zou een typefout of verkeerd gespeld woord een relevante optie diskwalificeren. 

Als we abstraheren van de betekenis van de zoekopdracht, doet de specifieke spelling of formulering er niet zoveel toe.

3. Hiermee kunnen gebruikers Fuzzy Search uitvoeren

Zoeken gaat minder over trefwoorden dan over ✨vibes✨. 

Door tekst te abstraheren in een inbeddingsvector kun je het opslaan in een onuitsprekelijke vibe-ruimte. Dus aan de oppervlakte, 

"Waar kan ik hier een geweldige flat white krijgen?" 

ziet er niet uit als 

"Beste plekken voor een cafeïneboost in de buurt", 

maar uw zoekmachine zal ze allemaal op dezelfde manier matchen. Dit is mogelijk omdat de inbeddingen van de twee zinnen erg dicht bij elkaar liggen, ook al is de formulering verschillend.

4. Vector-DB's kunnen modaliteiten met elkaar vergelijken

Gegevens zijn er in alle soorten, maten en typen. Vaak moeten we gegevens vergelijken tussen verschillende soorten. Bijvoorbeeld tekst gebruiken om productafbeeldingen te zoeken en te filteren.

Multimodale modellen worden getraind om verschillende soorten gegevens te vergelijken, zoals tekst, afbeeldingen, audio en video.

Dit maakt het makkelijker om over je inhoud te praten. Zoek een product door de afbeelding te beschrijven of vraag naar grafieken in gewone taal.

1. Definieer uw use-case

Begin met iets eenvoudigs en nuttigs. Hier zijn een paar voorbeelden om de tandwielen te laten draaien:

• A chatbot voor de detailhandel die klanten helpt de juiste producten te vinden op basis van hun behoeften en voorkeuren. Vraag bijvoorbeeld: "Wat is een goede winterjas voor wandelen voor minder dan $150?".

• A ticketing bot Die IT-verzoeken van medewerkers in realtime behandelt. Vraag: "Zijn er nog tickets met hoge prioriteit met betrekking tot VPN-toegang die nog niet zijn toegewezen?".

• A automatisering van bedrijfsprocessen agent die de orderverwerking van begin tot eind beheert. Vraag het, "Is de bestelling van Smith al verzonden en hebben we de bevestigingsmail al verzonden?".

Deze zijn allemaal snel te bouwen, eenvoudig te testen en direct waardevol.

2. Kies uw platform

Als vectordatabases verwarrend of abstract aanvoelen, zijn er genoeg chatbotplatforms die zich achter de schermen bezighouden met embeddings en clustering.

3. Verzamel uw gegevens

Begin met wat je al hebt: tekstbestanden, PDF's, spreadsheets. Een goed platform zorgt voor de opmaak. Upload gewoon je inhoud en het platform zorgt achter de schermen voor het insluiten en indexeren.

Sommige details hangen af van het platform dat je gebruikt. Hier zijn enkele tips om het meeste uit je gegevens te halen.

4. Beschrijving toevoegen

Schrijf een korte, duidelijke beschrijving van waar je bot voor dient.

Dit helpt om de toon en verwachtingen te bepalen: hoe de bot met gebruikers moet praten, wat voor soort vragen hij kan verwachten en naar welke gegevens hij kan verwijzen.

Bijvoorbeeld:
"Je bent een ondersteunende assistent voor het HR-team. Je helpt medewerkers bij het vinden van beleidsregels en beantwoordt vragen over PTO en secundaire arbeidsvoorwaarden. Gebruik informatie uit het personeelshandboek en HR-documenten. Wees duidelijk en beleefd. Als je iets niet weet, vraag de gebruiker dan om contact op te nemen met HR."

5. Testen en aanpassen

Test je opstelling met echte vragen. Vraag wat je klanten zouden vragen. Zijn de resultaten relevant? Nauwkeurig?

Pas uw bot aan als dat nodig is:

• Onvolledige resultaten? Verhoog de chunk count voor volledigere antwoorden.
• Trage reactie? Kies een sneller model.
• Onjuiste antwoorden? Probeer een nauwkeuriger model of voeg relevante gegevens toe.

Platforms zijn in hoge mate aanpasbaar, dus het oplossen van problemen is meestal gewoon een kwestie van configureren, zoals spelen met beschikbare modellen of het wijzigen van de beschrijvingen.