¿Qué es una base de datos vectorial y cómo funciona?

Si está intentando crear un agente de IA o un motor de búsqueda, es probable que haya oído hablar de bases de datos vectoriales.

Las bases de datos vectoriales desempeñan un papel esencial en la interacción entre datos, recursos y consultas, pero abordarlas puede resultar desalentador. A mí me ha pasado alguna vez: metido en términos esotéricos como incrustaciones y búsqueda difusa, sin saber si me estaba pasando con la ingeniería o simplemente me faltaba algo básico.

¿Quién determina qué vídeos de YouTube recomendar? ¿Cómo superan los motores de búsqueda los errores tipográficos? Cómo es posible que Instagram siempre me muestre el perro peludo perfecto?

Vamos a desentrañar el mundo de los vectores, la similitud y la búsqueda semántica, y cómo se pueden crear aplicaciones más personalizadas.

¿Qué es una base de datos vectorial?

Una base de datos vectorial almacena los datos como una colección de representaciones numéricas (conocidas como vectores) que capturan el significado de los datos. Esto permite realizar búsquedas basadas en similitudes, en lugar de en palabras clave concretas.

Son una tecnología clave detrás de los modernos sistemas de chat, búsqueda y recomendación.

¿Cómo funcionan las bases de datos vectoriales?

Las bases de datos vectoriales almacenan texto, imágenes y hojas de cálculo como una serie de vectores, también llamados incrustaciones. Cada uno de estos vectores es una serie de números que, a primera vista, no parecen gran cosa, pero que en el fondo capturan el significado abstracto de los datos.

Estos datos -ya sean correos electrónicos, transcripciones de reuniones o descripciones de productos- no se sustituyen convirtiéndose en una serie de números, sino que se indexan.

Estas pequeñas y densas incrustaciones hacen que la recuperación de información sea eficiente y significativa. Nos permiten comparar elementos basándonos en su similitud, no sólo en palabras clave. Exploremos los distintos componentes.

Conceptos clave

¿Qué es un modelo de incrustación?

Los modelos de incrustación son modelos de aprendizaje automático entrenados para convertir datos en incrustaciones.

Estos modelos se entrenan para comprimir los datos en un vector (nuestra incrustación) y luego regenerarlo. El vector comprimido almacena tanta información semántica de los datos como sea posible.

Esto significa que no sólo almacenan las palabras, sino también las ideas que las sustentan. Por ejemplo, una incrustación podría captar que:

• "cachorro" y "perro " están estrechamente relacionados
• "¿Cómo puedo restablecer mi contraseña?" tiene un significado similar a "No puedo iniciar sesión en mi cuenta".
• "portátil asequible" y "ordenador económico" se refieren a lo mismo
  

Este tipo de patrones ayuda a los agentes de IA y a los motores de búsqueda a comparar las entradas basándose en el significado, no sólo en la coincidencia de palabras clave.

¿Qué es la búsqueda semántica?

Entonces, ¿cómo se comparan las incrustaciones por similitud?

Como ya se ha dicho, un vector de incrustación es una serie de números. Estos números son una representación de un punto en un espacio de alta dimensión. Podemos visualizar las cosas en 2D o 3D, pero ¿qué tal en 384? En lugar de X, Y y Z, tenemos cientos de valores, todos juntos para especificar un punto único.

Estos vectores permiten medir la "proximidad" entre dos contenidos, no en términos de palabras, sino de significado.

La búsqueda semántica transforma una consulta en un vector y busca en la base de datos los vectores más próximos. Estos vectores resultantes deben ser, en principio, los más similares a la consulta del usuario.

Búsqueda por vecino más próximo (RNA)

La búsqueda semántica se realiza mediante un algoritmo de Vecino Cercano Aproximado (RNA). El objetivo de ANN es responder a la pregunta "¿qué vector de mi base de datos es más similar a mi consulta?".

Existen varios algoritmos de RNA, cada uno con sus propios puntos fuertes. Por ejemplo:

Pequeño mundo navegable jerárquico (HNSW)

HNSW está optimizado para la búsqueda en tiempo real y con baja latencia. Es ideal para fuentes de contenido personalizadas y sistemas de recomendación, es decir, cualquier escenario que requiera una búsqueda rápida en datos que se actualizan con frecuencia.

Índice de archivos invertido (IVF)

La FIV es más adecuada para datos a gran escala que no cambian en su mayoría. Piense en catálogos de comercio electrónico o directorios académicos.

En la práctica, el algoritmo estará oculto en el motor o la plataforma utilizada para implementar la búsqueda.

Casos de uso de las bases de datos vectoriales

Ahora que ya sabemos cómo se crean y emparejan los vectores, veamos las distintas formas en que podemos utilizarlos para potenciar las aplicaciones.

RAG (Generación mejorada por recuperación)

Esta estrategia de generación de LLM parece estar en boca de todos, y con razón: La GAR es fiable, precisa y proporciona respuestas específicas, todo ello posible gracias a las BD vectoriales.

Con RAG, la consulta del usuario se incrusta y se compara con el resto de la base de datos en busca de elementos similares. A continuación, el modelo hace referencia a estos elementos al generar una respuesta.

La GAR evita basarse en el conocimiento interno del modelo o en el historial de la conversación, ya que ambos pueden tender a ser falsos o irrelevantes.

Supongamos que se pide un resumen de la infancia de Napoleón. La respuesta del modelo es plausible, pero ¿es exacta? Con RAG, los documentos pertinentes para su consulta se utilizarán para orientar la respuesta del modelo. De este modo, puede comprobar el recurso primario, manteniendo la verificabilidad de los resultados del modelo.‍

Si quieres ver cómo se ve esto en la práctica, aquí tienes una guía para construir un chatbot con RAG.

Recomendaciones de productos y contenidos

Las bases de datos vectoriales no sólo se utilizan para responder a las consultas de los usuarios. También pueden utilizarse para optimizar la experiencia del usuario.

El seguimiento del historial de navegación de los usuarios y la agrupación de elementos similares permite a las empresas determinar el mejor producto o contenido para recomendar al usuario.

Este es un gran ejemplo de lo que denominamos el algoritmo: recomendaciones estratégicas de contenidos y publicidad dirigida.

Piensa en una plataforma de intercambio de vídeos: cada vídeo tiene su propia incrustación almacenada en la base de datos. Cuando ves uno, el sistema puede sugerirte otros con incrustaciones cercanas, es decir, contenidos similares, aunque los títulos o las etiquetas sean completamente diferentes.

Con el tiempo, el historial de tu reloj se convierte en una especie de "nube" personalizada de incrustaciones, que ayuda al sistema a entender tus preferencias y recomendarte lo que querrás ver a continuación.

Ventajas de las bases de datos vectoriales frente a las tradicionales

Ahora que tenemos una idea de los cómos y los qués de las bases de datos vectoriales, hablemos de los porqués: ¿qué ventajas ofrecen en chatbots y motores de búsqueda?

1. Proporcionan más contexto a los chatbots

LLMs son propensos a olvidar y alucinar en conversaciones largas. Los usuarios y desarrolladores no tienen una idea clara de qué información se retiene.

Con estrategias como RAG, el modelo busca en la base de datos la información necesaria para dar una respuesta precisa.

En lugar de recordar y corregir el modelo por enésima vez, las bases de datos vectoriales almacenan la información pertinente y la referencian explícitamente.

2. Hacen que los resultados de búsqueda sean tolerantes a los errores tipográficos

Aunque conozcamos las palabras clave exactas, la búsqueda es un lío. 

golfen retriever ≠ golden retriever, pero tu buscador debería saberlo mejor.

Si estamos cotejando consultas literalmente, un error tipográfico o una palabra mal escrita descalificaría una opción relevante. 

Cuando abstraemos el significado de la consulta de búsqueda, la ortografía o la redacción concretas no importan tanto.

3. Permiten a los usuarios realizar búsquedas difusas

La búsqueda no se basa tanto en palabras clave como en ✨vibes✨. 

Abstraer el texto en un vector de incrustación permite almacenarlo en un espacio vibrátil inefable. Así, en la superficie, 

"¿Dónde puedo conseguir un flat white matador por aquí?" 

no parece 

"Los mejores sitios cercanos para tomar cafeína", 

pero su motor de búsqueda las emparejará por igual. Esto es posible porque las incrustaciones de las dos frases son muy parecidas, aunque su redacción sea diferente.

4. Las bases de datos vectoriales pueden compararse entre modalidades

Los datos tienen muchas formas, tamaños y tipos. A menudo necesitamos comparar datos de distintos tipos. Por ejemplo, utilizar texto para buscar y filtrar imágenes de productos.

Los modelos multimodales se entrenan para comparar distintos tipos de datos, como texto, imágenes, audio y vídeo.

Así es más fácil hablar de su contenido. Encuentre un producto describiendo su imagen, o pregunte por gráficos utilizando un lenguaje sencillo.

Cómo crear un agente de inteligencia artificial con funciones de búsqueda inteligente

Si eres nuevo en la búsqueda semántica, probablemente te inunden las preguntas:

¿Cómo preparo mis datos?

¿Qué datos debo incluir?

¿Qué modelo de incrustación debo utilizar... y cómo sé que funciona?

Afortunadamente, no tiene que averiguarlo todo de antemano. A continuación te explicamos cómo empezar en unos sencillos pasos:

1. Defina su caso de uso

Empieza por algo sencillo y útil. Aquí tienes algunos ejemplos para empezar:

• A chatbot para minoristas que ayuda a los clientes a encontrar los productos adecuados en función de sus necesidades y preferencias. Pregúntale : "¿Cuál es una buena chaqueta de invierno para hacer senderismo que cueste menos de 150 €?".

• A robot de tickets que clasifica las solicitudes de TI de los empleados en tiempo real. Pregunta: "¿Hay algún ticket de alta prioridad relacionado con el acceso VPN aún sin asignar?".

• A automatización de procesos empresariales que gestiona la tramitación de pedidos de principio a fin. Pregúntale : "¿Se ha enviado ya el pedido de Smith y hemos enviado el correo electrónico de confirmación?".

Todos ellos son rápidos de construir, fáciles de probar y de valor inmediato.

2. Elija su plataforma

Si las bases de datos vectoriales le parecen confusas o abstractas, hay muchas plataformas de chatbot que se ocupan de las incrustaciones y la agrupación entre bastidores.

3. Recopilar datos

Empieza con lo que ya tienes: archivos de texto, PDF, hojas de cálculo. Una buena plataforma se encarga del formato. Solo tienes que subir el contenido y la plataforma se encargará de incrustarlo e indexarlo entre bastidores.

Algunos detalles dependerán de la plataforma que utilices. Aquí tienes algunos consejos para sacar el máximo partido a tus datos.

4. Añadir una descripción

Escribe una breve descripción en lenguaje sencillo de para qué sirve tu bot.

Esto ayuda a establecer el tono y las expectativas: cómo debe hablar el bot con los usuarios, qué tipo de preguntas puede esperar y qué datos puede consultar.

Por ejemplo:
"Eres asistente de apoyo del equipo de RRHH. Ayuda a los empleados a encontrar las políticas y a responder preguntas sobre el PTO y los beneficios. Utiliza la información del manual del empleado y los documentos de RRHH. Sé claro y educado. Si no sabes algo, pide al usuario que se ponga en contacto con RRHH".

5. Prueba y ajuste

Pruebe su configuración con consultas reales. Pregunte lo que preguntarían sus clientes. ¿Son pertinentes los resultados? ¿Son precisos?

Ajusta tu bot según sea necesario:

• ¿Resultados incompletos? Aumente el número de trozos para obtener respuestas más completas.
• ¿Respuesta lenta? Elige un modelo más rápido.
• ¿Respuestas incorrectas? Prueba con un modelo más preciso o añade datos relevantes.

Las plataformas son muy personalizables, por lo que resolver los problemas suele ser cuestión de configuración, como jugar con los modelos disponibles o cambiar las descripciones.

Funciones de búsqueda más inteligentes Crea

Con los recientes avances de la inteligencia artificial, la búsqueda de datos no es sólo una opción interesante, sino que se está convirtiendo en la expectativa por defecto.

No es necesario dominar la RNA o las incrustaciones para construir motores de búsqueda más inteligentes. Nuestra plataforma le ofrece herramientas plug-and-play para la búsqueda semántica y la generación de recuperación aumentada. No necesita preparación de datos.

Empieza a construir hoy mismo. Es gratis.

Preguntas frecuentes

1. ¿Cómo se evalúa el rendimiento de una base de datos vectorial?

Tendrás que fijarte en una combinación de velocidad (rapidez con la que las consultas devuelven resultados), precisión (relevancia de los resultados) y escalabilidad (cómo gestiona muchos datos o usuarios). Prueba a realizar consultas reales y comprueba si los resultados son realmente útiles.

2. ¿Cuáles son los requisitos de almacenamiento de datos vectoriales a gran escala?

Depende del tamaño de la incrustación y de la cantidad de datos con los que trabajes, pero esos vectores densos pueden acumularse rápidamente. Piensa en GBs o incluso TBs si estás indexando millones de elementos. La compresión y la indexación inteligente pueden ayudar a mantener la eficiencia.

3. ¿Qué ocurre si dos documentos muy diferentes tienen incrustaciones similares debido al ruido o al sesgo del modelo?

Se obtendrán resultados de búsqueda extraños o irrelevantes. Una buena solución es ajustar el modelo de incrustación o añadir filtros o comprobaciones de palabras clave para mantener los resultados en su sitio.

4. ¿Cómo se versionan y gestionan los datos vectoriales a lo largo del tiempo?

Por lo general, se gestionará como cualquier conjunto de datos en evolución: almacenando instantáneas, realizando un seguimiento de las versiones del modelo de incrustación y volviendo a indexar cuando se produzcan actualizaciones importantes. Algunas plataformas ofrecen incluso herramientas de versionado integradas para facilitar la gestión.

5. ¿Es posible combinar la búsqueda tradicional por palabras clave con la búsqueda vectorial?

Se trata de una búsqueda híbrida que ofrece lo mejor de dos mundos: coincidencias exactas cuando son importantes y resultados difusos basados en el significado cuando las palabras se quedan cortas. La mayoría de las plataformas modernas lo admiten desde el principio.