Database vettoriale: La tecnologia rivoluzionaria che alimenta la ricerca AI

Se state cercando di costruire un agente di intelligenza artificiale o un motore di ricerca, probabilmente avrete sentito parlare di database vettoriali.

I database vettoriali svolgono un ruolo essenziale nell'interazione tra dati, risorse e interrogazioni, ma affrontarli può essere scoraggiante. Mi è capitato di scorrere termini esoterici come embeddings e fuzzy search, senza essere sicuro di essere troppo ingegnoso o di essermi perso qualcosa di fondamentale.

Chi stabilisce quali video di YouTube raccomandare? Come fanno i motori di ricerca a superare gli errori di battitura? Come fa Instagram a mostrarmi sempre il cane perfetto e soffice?

In questo articolo, esamineremo il mondo dei vettori, della somiglianza e della ricerca semantica e vedremo come è possibile creare applicazioni più personalizzate.

Che cos'è un database vettoriale?

Un database vettoriale memorizza i dati come una collezione di rappresentazioni numeriche (note come vettori) che catturano il significato dei dati. Ciò consente di effettuare ricerche basate sulla somiglianza, piuttosto che su parole chiave specifiche.

I database vettoriali sono una tecnologia chiave alla base dei moderni sistemi di chat, ricerca e raccomandazione.

Come funzionano i database vettoriali?

I database vettoriali memorizzano testi, immagini e fogli di calcolo come una serie di vettori, chiamati anche embeddings. Ognuno di questi vettori è una serie di numeri che, in superficie, non sembra molto, ma sotto il cofano cattura il significato astratto dei dati.

Questi dati - siano essi e-mail, trascrizioni di riunioni, descrizioni di prodotti - non vengono sostituiti da una serie di numeri, ma indicizzati.

Queste piccole e dense incorporazioni rendono il recupero delle informazioni efficiente e significativo. Ci permettono di confrontare gli elementi in base alla somiglianza.

Concetti chiave

Che cos'è un modello di incorporazione?

I modelli di embedding sono modelli di apprendimento automatico addestrati per convertire i dati in embedding.

Questi modelli sono addestrati a comprimere i dati in un vettore (il nostro embedding) e poi a rigenerarli. Il vettore compresso conserva il maggior numero possibile di informazioni semantiche dei dati.

Ciò significa che non memorizzano solo le parole, ma anche le idee che ci sono dietro. Per esempio, un embedding potrebbe catturare che:

• I termini "cucciolo" e "cane" sono strettamente correlati.
• "Come faccio a reimpostare la mia password?" ha un significato simile a "Non riesco ad accedere al mio account".
• I termini "computer portatile economico" e "computer economico" si riferiscono alla stessa cosa.
  

Questo tipo di schemi aiuta gli agenti di intelligenza artificiale e i motori di ricerca a confrontare gli input in base al significato, non solo alle parole chiave corrispondenti.

Che cos'è la ricerca semantica?

Quindi, come si confrontano le incorporazioni per la somiglianza?

Come già detto, un vettore di incorporamento è una serie di numeri. Questi numeri sono una rappresentazione di un punto nello spazio ad alta dimensionalità. Possiamo visualizzare le cose in 2D o 3D, ma che ne dite di 384? Invece di X, Y e Z, abbiamo centinaia di valori che si uniscono per specificare un punto unico.

Questi vettori ci permettono di misurare la "vicinanza" tra due contenuti, non in termini di parole, ma di significato.

La ricerca semantica elabora una query in un vettore e cerca nel database i vettori più vicini. In linea di principio, questi vettori dovrebbero essere i più simili alla domanda dell'utente.

Ricerca approssimativa dei vicini (ANN)

La ricerca semantica viene eseguita utilizzando un algoritmo di approssimazione dei vicini (ANN). L'obiettivo di ANN è rispondere alla domanda: "Quale vettore nel mio database è più simile alla mia richiesta?".

Esistono diversi algoritmi di RNA, ognuno con i propri punti di forza. Ad esempio:

Mondo piccolo navigabile gerarchico (HNSW)

HNSW è ottimizzato per la ricerca in tempo reale e a bassa latenza. È ideale per i feed di contenuti personalizzati e i sistemi di raccomandazione, qualsiasi scenario che richieda una ricerca rapida tra i dati in frequente aggiornamento.

Indice dei file invertito (IVF)

La FIV è più adatta a dati su larga scala, per lo più immutabili. Pensate ai cataloghi del commercio elettronico o agli elenchi di documenti accademici.

In pratica, l'algoritmo sarà nascosto nel motore o nella piattaforma utilizzata per implementare la ricerca.

Casi d'uso dei database vettoriali

Ora che abbiamo capito come vengono creati e abbinati i vettori, diamo un'occhiata ai diversi modi in cui possiamo utilizzarli per le applicazioni.

RAG (Generazione Aumentata dal Recupero)

Questa strategia di generazione di LLM sembra essere sulla bocca di tutti, e per una buona ragione: La RAG è affidabile, accurata e fornisce risposte specifiche, il tutto reso possibile dai DB vettoriali.

Con RAG, la richiesta dell'utente viene incorporata e confrontata con il resto del database per trovare elementi simili. Il modello fa quindi riferimento a questi elementi quando genera una risposta.

Il RAG evita di affidarsi alla conoscenza interna del modello o alla storia della conversazione, che possono tendere a essere false o irrilevanti.

Supponiamo di chiedere un riassunto dell'infanzia di Napoleone. La risposta del modello è plausibile, ma è accurata? Con RAG, i documenti pertinenti alla richiesta saranno utilizzati per orientare la risposta del modello. In questo modo, è possibile controllare la risorsa primaria, mantenendo i risultati del modello verificabili.‍

Se volete vedere come si presenta nella pratica, ecco una guida per costruire un chatbot con RAG.

Raccomandazioni su prodotti e contenuti

I database vettoriali non sono utilizzati solo per rispondere alle richieste degli utenti. Possono anche essere utilizzati per ottimizzare l'esperienza dell'utente.

Tracciando la cronologia di navigazione degli utenti e raggruppando gli elementi simili, le aziende possono determinare il prodotto o il contenuto migliore da consigliare all'utente.

Questo è un ottimo esempio di ciò che chiamiamo algoritmo: raccomandazioni strategiche di contenuti e pubblicità mirata.

Pensate a una piattaforma di video-sharing: ogni video ha il suo embedding memorizzato nel database. Quando se ne guarda uno, il sistema è in grado di suggerirne altri con embedding vicini, ovvero contenuti simili, anche se i titoli o i tag sono completamente diversi.

Nel corso del tempo, la cronologia degli orologi diventa una sorta di "nuvola" personalizzata di incorporazioni, che aiuta il sistema a capire le preferenze dell'utente e a consigliargli ciò che vorrà vedere successivamente.

I vantaggi dei DB vettoriali rispetto ai database tradizionali

Ora che abbiamo un'idea del come e del cosa dei database vettoriali, parliamo del perché: quali vantaggi offrono nei chatbot e nei motori di ricerca?

1. Forniscono più contesto ai chatbot

LLMs sono inclini a dimenticare e ad avere allucinazioni durante le lunghe conversazioni. Gli utenti e gli sviluppatori non hanno una chiara percezione di quali informazioni vengono conservate.

Con strategie come RAG, il modello cerca nel database le informazioni necessarie per fornire una risposta accurata.

Invece di ricordare e correggere il modello per l'ennesima volta, i database vettoriali memorizzano le informazioni rilevanti e vi fanno riferimento in modo esplicito.

2. Rendono i risultati delle ricerche tolleranti agli errori di battitura

Anche se conosciamo le parole chiave esatte, la ricerca è disordinata. 

golfen retriever ≠ golden retriever, ma il motore di ricerca dovrebbe saperlo bene.

Se le query vengono abbinate alla lettera, un errore di battitura o una parola sbagliata squalificherebbero un'opzione pertinente. 

Quando astraiamo il significato della query di ricerca, l'ortografia o la formulazione specifica non hanno molta importanza.

3. Consentono agli utenti di eseguire una ricerca fuzzy

La ricerca non riguarda tanto le parole chiave quanto le ✨vibes✨. 

L'astrazione del testo in un vettore di incorporamento consente di memorizzarlo in uno spazio vibratorio ineffabile. Quindi, in apparenza, 

"Dove posso trovare un flat white da urlo da queste parti?". 

non sembra 

"I migliori posti per una dose di caffeina nelle vicinanze", 

ma il motore di ricerca le confronta allo stesso modo. Questo è possibile perché gli embedding delle due frasi sono molto vicini, anche se la loro formulazione è diversa.

4. I DB vettoriali possono confrontare tra loro le diverse modalità

I dati sono di ogni forma, dimensione e tipo. Spesso abbiamo bisogno di confrontare dati di tipo diverso. Ad esempio, utilizzando il testo per cercare e filtrare le immagini dei prodotti.

I modelli multimodali vengono addestrati per confrontare diversi tipi di dati, come testo, immagini, audio e video.

In questo modo è più facile parlare dei contenuti. Trovate un prodotto descrivendone l'immagine, oppure chiedete informazioni sui grafici usando un linguaggio semplice.

Come costruire un agente AI con capacità di ricerca intelligenti

Se siete nuovi alla ricerca semantica, probabilmente sarete sommersi di domande:

Come si preparano i dati?

Quali dati devo includere?

Quale modello di incorporazione devo usare e come faccio a sapere che funziona?

Fortunatamente, non è necessario pensare a tutto in anticipo. Ecco come iniziare in pochi semplici passi:

1. Definire il caso d'uso

Iniziate con qualcosa di semplice e utile. Ecco alcuni esempi per far girare gli ingranaggi:

• A chatbot per la vendita al dettaglio che aiuta i clienti a trovare i prodotti giusti in base alle loro esigenze e preferenze. Chiedetegli: "Qual è una buona giacca invernale per l'escursionismo con un prezzo inferiore a 150 dollari?".

• A bot di ticketing che gestisce le richieste IT dei dipendenti in tempo reale. Chiedete: "Ci sono ticket ad alta priorità relativi all'accesso VPN ancora non assegnati?".

• A automazione dei processi aziendali che gestisce l'evasione degli ordini dall'inizio alla fine. Chiedetegli: "L'ordine di Smith è già stato spedito e abbiamo inviato l'e-mail di conferma?".

Tutti questi strumenti sono veloci da costruire, facili da testare e di immediato valore.

2. Scegliere la piattaforma

Se i database vettoriali vi sembrano confusi o astratti, ci sono molte piattaforme di chatbot che si occupano di embedding e clustering per voi dietro le quinte.

3. Raccogliere i dati

Iniziate con ciò che già avete: file di testo, PDF, fogli di calcolo. Una buona piattaforma gestisce la formattazione per voi. Basta caricare i contenuti e la piattaforma si occuperà di incorporarli e indicizzarli dietro le quinte.

Alcune specifiche dipendono dalla piattaforma in uso. Ecco alcuni suggerimenti per ottenere il massimo dai vostri dati.

4. Aggiungere una descrizione

Scrivete una breve descrizione in linguaggio semplice dello scopo del vostro bot.

Questo aiuta a definire il tono e le aspettative: come il bot deve parlare agli utenti, che tipo di domande può aspettarsi e quali dati può consultare.

Ad esempio:
"Sei un assistente di supporto per il team delle risorse umane. Aiutate i dipendenti a trovare le politiche e a rispondere alle domande su PTO e benefit. Utilizza le informazioni contenute nel manuale dei dipendenti e nei documenti delle risorse umane. Siate chiari ed educati. Se non sai qualcosa, chiedi all'utente di contattare le Risorse umane".

5. Test e messa a punto

Testate la vostra configurazione con domande reali. Chiedete quello che chiederebbero i vostri clienti. I risultati sono pertinenti? Accurati?

Modificare il bot secondo le necessità:

• Risultati incompleti? Aumentate il numero di pezzi per ottenere risposte più complete.
• Risposta lenta? Scegliete un modello più veloce.
• Risposte errate? Provate un modello più accurato o aggiungete dati rilevanti.

Le piattaforme sono altamente personalizzabili, quindi la soluzione dei problemi è di solito solo una questione di configurazione, come giocare con i modelli disponibili o modificare le descrizioni.

Creare funzionalità di ricerca più intelligenti

Con i recenti progressi dell'intelligenza artificiale, la ricerca dei dati non è solo una cosa piacevole, ma sta diventando un'aspettativa predefinita.

Non è necessario padroneggiare RNA o embedding per costruire motori di ricerca più intelligenti. La nostra piattaforma offre strumenti plug-and-play per la ricerca semantica e la generazione aumentata del reperimento. Non è necessaria la preparazione dei dati.

Iniziate a costruire oggi stesso. È gratuito.

Domande frequenti

1. Come si valutano le prestazioni di un database vettoriale?

Per valutare le prestazioni di un database vettoriale, misuratene la latenza delle query (la velocità con cui restituisce i risultati), il richiamo o la precisione (la rilevanza dei risultati) e la scalabilità (la capacità di gestire la crescita dei dati e delle query). È necessario eseguire test con query reali per assicurarsi che risponda alle aspettative di velocità e precisione sotto carico.

2. Quali sono i requisiti di archiviazione per i dati vettoriali su larga scala?

I requisiti di archiviazione per i dati vettoriali su larga scala dipendono dal numero di vettori e dalla loro dimensionalità: ad esempio, 1 milione di vettori a 768 dimensioni utilizzando float a 32 bit richiederebbe oltre 3 GB di archiviazione grezza. In scala (da milioni a miliardi di vettori), i requisiti sono dell'ordine delle decine o centinaia di GB e si possono utilizzare opzioni come la compressione o l'indicizzazione approssimativa per ridurre i costi di archiviazione.

3. Cosa succede se due documenti molto diversi hanno embeddings simili a causa del rumore o del bias del modello?

Se due documenti non correlati generano incorporazioni simili, il sistema di ricerca potrebbe restituire risultati errati. Per risolvere questo problema, è possibile perfezionare il modello di incorporamento su dati specifici del dominio o utilizzare tecniche di ricerca ibride che combinano vettori con metadati o filtri per parole chiave per la disambiguazione.

4. Come vengono gestiti i dati vettoriali nel tempo?

I dati vettoriali vengono modificati tracciando i dati di ingresso e il modello di incorporazione utilizzato per generare i vettori. Le pratiche comuni includono la memorizzazione di istantanee con data e ora e la marcatura delle versioni degli indici.

5. È possibile combinare la tradizionale ricerca per parole chiave con la ricerca vettoriale?

Sì, la combinazione della ricerca tradizionale per parole chiave con la ricerca vettoriale si chiama ricerca ibrida ed è supportata da molte piattaforme come Elasticsearch o Vespa. Questo metodo migliora la rilevanza utilizzando la corrispondenza lessicale per le query precise e la somiglianza semantica vettoriale per la comprensione del contesto.