Base de datos de vectores

Una base de datos vectorial , un almacén vectorial o un motor de búsqueda vectorial es una base de datos que puede almacenar vectores (listas de números de longitud fija) junto con otros elementos de datos. Las bases de datos vectoriales suelen implementar uno o más algoritmos de vecino más cercano aproximado , ^{[1] [2] [3]} de modo que se pueda buscar en la base de datos con un vector de consulta para recuperar los registros de base de datos coincidentes más cercanos.

Los vectores son representaciones matemáticas de datos en un espacio de alta dimensión. En este espacio, cada dimensión corresponde a una característica de los datos, y el número de dimensiones varía de unos pocos cientos a decenas de miles, según la complejidad de los datos representados. La posición de un vector en este espacio representa sus características. Se pueden vectorizar palabras, frases o documentos completos, así como imágenes, audio y otros tipos de datos. ^[4]

Estos vectores de características se pueden calcular a partir de los datos sin procesar utilizando métodos de aprendizaje automático, como algoritmos de extracción de características , incrustaciones de palabras ^[5] o redes de aprendizaje profundo . El objetivo es que los elementos de datos semánticamente similares reciban vectores de características cercanos entre sí.

Las bases de datos vectoriales se pueden utilizar para búsqueda de similitud , búsqueda semántica , búsqueda multimodal , motores de recomendaciones , modelos de lenguaje grandes (LLM), detección de objetos , etc. ^[6]

Las bases de datos vectoriales también se utilizan a menudo para implementar la generación aumentada por recuperación (RAG), un método para mejorar las respuestas específicas del dominio de los modelos de lenguaje grandes. El componente de recuperación de un RAG puede ser cualquier sistema de búsqueda, pero se implementa con mayor frecuencia como una base de datos vectorial. Se recopilan documentos de texto que describen el dominio de interés y, para cada documento o sección de documento, se calcula un vector de características (conocido como " incrustación "), generalmente utilizando una red de aprendizaje profundo, y se almacena en una base de datos vectorial. Dado un mensaje de usuario, se calcula el vector de características del mensaje y se consulta la base de datos para recuperar los documentos más relevantes. Luego, estos se agregan automáticamente a la ventana de contexto del modelo de lenguaje grande, y el modelo de lenguaje grande procede a crear una respuesta al mensaje dado este contexto. ^[7]

Las técnicas más importantes para la búsqueda de similitud en vectores de alta dimensión incluyen:

• Gráficos de mundo pequeño navegable jerárquico (HNSW)
• Hashing sensible a la localidad (LSH) y bosquejo
• Cuantificación del producto (PQ)
• Archivos invertidos

y combinaciones de estas técnicas. ^{[ cita requerida ]}

En evaluaciones comparativas recientes, las implementaciones basadas en HNSW han estado entre las de mejor desempeño. ^{[8] [9]} Conferencias como la Conferencia Internacional sobre Búsqueda de Similitudes y Aplicaciones, SISAP y la Conferencia sobre Sistemas de Procesamiento de Información Neural (NeurIPS) organizan competencias sobre búsqueda de vectores en bases de datos grandes.

• La maldición de la dimensionalidad  : dificultades que surgen al analizar datos con muchos aspectos ("dimensiones")
• Aprendizaje automático  : estudio de algoritmos que mejoran automáticamente a través de la experiencia.
• Búsqueda del vecino más cercano  : problema de optimización en informática
• Sistema de recomendación  – Sistema de filtrado de información para predecir las preferencias de los usuarios

• Sawers, Paul (20 de abril de 2024). "Por qué las bases de datos vectoriales están de moda en un momento en que el ciclo de la IA alcanza su máximo auge". TechCrunch . Consultado el 23 de abril de 2024 .