Bases vectoriales
Embeddings
Un modelo convierte texto, imagen o audio en un vector denso de cientos o miles de dimensiones. Elementos parecidos caen cerca en ese espacio, de modo que la geometría sustituye a la coincidencia literal de claves.
Distancia y similitud
Se mide cercanía con coseno, producto punto o distancia euclídea. El coseno ignora la longitud y se centra en la dirección, habitual cuando los vectores están normalizados; euclídea pesa también la magnitud.
Búsqueda aproximada
Comparar contra millones de vectores es caro, así que índices como HNSW o IVF organizan el espacio para descartar regiones y devolver vecinos casi óptimos muchísimo más rápido, a costa de algo de precisión.
Recall y latencia
- El recall mide cuántos de los vecinos verdaderos recuperas de cada consulta.
- Subir la exhaustividad del índice mejora el recall pero eleva la latencia.
- El filtrado previo por metadatos reduce el espacio a buscar y afina el resultado.
Persistir y filtrar
Cada vector se acompaña de metadatos que permiten filtrar antes o durante la búsqueda: fecha, idioma, permisos. Ese híbrido entre filtro exacto y semejanza aproximada es lo que hace útil la recuperación.
El papel en recuperación
En un sistema de generación aumentada, la base vectorial localiza los fragmentos relevantes que luego se entregan al modelo. Su calidad condiciona la respuesta tanto como el propio generador.
Mantenimiento
Insertar, actualizar y borrar vectores obliga a reequilibrar el índice. Al igual que en otras familias, se paga con latencia o con reconstrucciones periódicas el mantener el índice compacto y rápido.
Errores frecuentes
- Confiar en la similitud de palabras compartidas y llamar a eso búsqueda semántica de significado.
- Presumir recall perfecto con un índice aproximado y no medir cuántos vecinos verdaderos se escapan.
- Ignorar los metadatos y devolver fragmentos correctos pero de otro idioma o sin permiso.
Ejemplo resuelto: buscador semántico de manuales
Una empresa quiere responder preguntas buscando en sus manuales sin depender de palabras exactas:
- Vectorizar: pasar cada fragmento del manual por un modelo de embeddings y guardarlo con su texto.
- Indexar: construir un índice aproximado como HNSW sobre los vectores para descartar regiones lejanas.
- Consultar: convertir la pregunta en vector y pedir los vecinos más próximos filtrando por metadatos.
- Medir: evaluar el recall comparando con una búsqueda exhaustiva en una muestra.
- Entregar: pasar los fragmentos candidatos al generador como contexto de la respuesta.
¿Para qué sirve en la realidad?
Buscadores que entienden intención, recomendadores por semejanza, detección de duplicados y la memoria de los sistemas de preguntas y respuestas sobre documentos: la búsqueda vectorial es hoy la puerta de entrada del significado a las aplicaciones.
Recuperar los diez vectores más parecidos a una consulta entre millones con latencia baja pide:
La similitud de coseno tiene en cuenta la longitud del vector además de su dirección.
Vectorial
Toca una tarjeta para ver la respuesta.
Ordena el flujo de una consulta en recuperación semántica:
Arrastra cada ficha a su categoría (o tócala y luego toca la categoría). También puedes usar el teclado.
Base de datos vectorialPanorama de motores de similitud, índices aproximados y su uso en recuperación semántica.
Une cada pieza de la búsqueda vectorial con su función.
Buscar por significado
- Bases vectoriales
- Espacio
- embeddings densos
- embeddings densos
- cerca es parecido
- Espacio
- coseno por ángulo
- HNSW aproximado
- buscadores y RAG
Cómo funcionan las bases vectorialesExplicación ilustrada de índices aproximados, distancia y filtrado por metadatos.
Tu buscador devuelve resultados que comparten palabras pero no intención. ¿Añadir embeddings y búsqueda vectorial lo resolvería? ¿Qué riesgo de recall aceptas para ganar velocidad?
Tu texto se guarda sólo en este dispositivo.
Comentarios
Inicia sesión para comentar.
Todavía no hay comentarios. Sé la primera persona en opinar.