Ha habido un aumento del interés en la búsqueda de vectores, gracias a una nueva generación de modelos de aprendizaje automático que pueden representar todo tipo de contenido como vectores, incluidos texto, imágenes, eventos y más. A menudo llamados "modelos incrustados", estas poderosas representaciones pueden capturar la similitud entre dos piezas de contenido de una manera que va más allá de sus características de nivel superficial.

Los algoritmos de búsqueda k-vecino más cercano (kNN) encuentran los vectores en un conjunto de datos que son más similares a un vector de consulta. Junto con estas representaciones vectoriales, la búsqueda de kNN abre interesantes posibilidades de recuperación:

• Encontrar pasajes que probablemente contengan la respuesta a una pregunta
• Detección de imágenes casi duplicadas en un gran conjunto de datos
• Encontrar canciones que suenen similares a una canción dada

La búsqueda de vectores está lista para convertirse en un componente importante de la caja de herramientas de búsqueda, junto con técnicas tradicionales como la puntuación basada en términos.

Actualmente, Elasticsearch admite el almacenamiento de vectores mediante el tipo de campo dense_vector y su uso para calcular puntuaciones de documentos. Esto permite a los usuarios realizar una búsqueda exacta de kNN al escanear todos los documentos. Elasticsearch 8.0 se basa en esta funcionalidad para admitir la búsqueda rápida y aproximada del vecino más cercano (ANN). Esto representa un enfoque mucho más escalable, lo que permite que la búsqueda de vectores se ejecute de manera eficiente en grandes conjuntos de datos.

Fuente y nota completa desde el Blog de Elastic