Búsqueda semántica y vectorial

Del texto al vector

Un modelo de incrustación mapea cada fragmento de texto a un vector denso en un espacio de muchas dimensiones. Textos de significado parecido caen cerca.

Espacio de significados

• Cada dimensión captura aspectos latentes del sentido.
• La proximidad geométrica refleja la semejanza semántica.
• «Rey menos hombre más mujer» se acerca a «reina».

Similitud por coseno

La semejanza entre dos vectores se mide a menudo con el coseno del ángulo que forman. Coseno uno, significado casi idéntico; cerca de cero, sin relación.

Distancia euclídea y puntos internos

Otra opción es la distancia euclídea, sensible a la magnitud. La elección entre coseno y norma depende de si el largo del vector porta información relevante.

Índices vectoriales

Comparar un vector contra millones es caro. Los índices aproximados (tipo HNSW o IVF) permiten buscar vecinos más próximos en tiempo real con mínima pérdida de exactitud.

Búsqueda de vecinos más próximos

• Se recupera el top-k de vectores más cercanos a la consulta.
• La calidad depende de la incrustación, no solo del índice.
• k demasiado grande introduce ruido; demasiado pequeño, ceguera.

Semántica frente a léxica

La búsqueda léxica (palabras clave) falla con sinónimos y polisemia. La vectorial salta esas trampas al comparar significados, pero puede perder coincidencias exactas raras.

Búsqueda híbrida

Combinar vectorial y por palabras clave (por ejemplo con fusión de listas) captura tanto el matiz semántico como la precisión literal. Suele superar a cada vía sola.

Para qué sirve en RAG

Antes de responder, un sistema RAG recupera los fragmentos relevantes de una base de conocimiento con esta búsqueda, y los da al modelo como contexto veraz.

Errores frecuentes

• Incrustaciones de dominio pobre: buscan cerca pero sin sentido.
• Trocear mal los documentos y separar contexto unido.
• Confiar solo en la métrica y no revisar los resultados recuperados.

Errores frecuentes al operar a escala

• Elegir el índice antes que la incrustación: un índice rápido con vectores de baja calidad devuelve vecinos cercanos a nada.
• Olvidar reindexar al cambiar de modelo de incrustación: consulta y documentos deben vivir en el mismo espacio vectorial.
• Normalizar mal los metadatos y recuperar el fragmento correcto del documento equivocado.

Ejemplo resuelto: buscador semántico para manuales técnicos

Un fabricante esconde en sus manuales la respuesta a «el motor hace ruido al arrancar en frío», redactada de otro modo: un buscador léxico la pierde, uno vectorial la encuentra.

1. Troceas los manuales en fragmentos coherentes de unos cientos de palabras con solape.
2. Incrustas cada fragmento con un modelo entrenado en lenguaje técnico del dominio.
3. Guardas los vectores en un índice aproximado tipo HNSW con sus metadatos de sección.
4. En la consulta, incrustas la pregunta del cliente y recuperas el top-k por coseno.
5. Rematas con fusión híbrida si alguna referencia exacta por código de pieza importa.

¿Para qué sirve en la realidad?

Buscadores de empresas que encuentran documentos aunque el usuario no recuerde las palabras exactas, recomendadores que buscan ítems parecidos y sistemas RAG que recuperan contexto veraz antes de responder dependen de esta misma geometría del significado.

Incrustación de palabras
Representación distribuida del significado como vector.

# Búsqueda semántica y vectorial
## Representar
### incrustaciones densas
### espacio de significados
## Medir
### coseno
### euclídea
## Acelerar
### hnsw e ivf
### top-k aproximado
## Combinar
### léxica más vectorial
### fusión híbrida

Word2vec
El modelo que popularizó tratar el significado como coordenadas aprendidas.