Chunking y indexación

Por qué trocear

Los modelos tienen una ventana de contexto limitada y las incrustaciones funcionan mejor con textos de longitud moderada. Trocear adapta documentos largos a unidades recuperables.

Trozos por tamaño fijo

• Dividir cada N tokens, simple y rápido.
• Riesgo: partir una idea o una tabla por la mitad.
• Ignora la estructura del documento.

Troceado por estructura

Respetar párrafos, secciones o encabezados mantiene las unidades semánticas enteras. Suele dar fragmentos más útiles que el corte ciego por longitud.

Solapamiento

Superponer el final de un trozo con el inicio del siguiente evita que una frase clave caiga justo en la costura. Coste: más fragmentos y más almacenamiento.

Tamaño del trozo

Trozos pequeños puntúan fino pero pierden contexto; grandes aportan contexto pero diluyen la similitud y gastan ventana. No hay talla universal: se ajusta con evaluación.

Tamaño del trozo y granulado

Conviene experimentar con varias tallas y medir cuál recupera mejor. El troceado no es un detalle de preprocesado: es hiperparámetro de diseño.

Indexar los fragmentos

Cada trozo se incrusta y se guarda en un índice vectorial junto a su texto original y metadatos. El índice permite buscar por similitud a gran escala.

Metadatos asociadas

• Fuente, fecha, autor o sección enriquecen la búsqueda.
• Permiten filtrar por metadatos antes o tras la similitud.
• Sirven para citar el origen al responder.

Estrategias de recuperación por trozos

Se puede buscar por trozo pequeño para precisión y luego expandir al documento vecino para dar contexto: el «vecino proximal» o el padre-hijo combinan finura y completitud.

Índices por campos

Además del vector, índices de texto permiten búsqueda híbrida. Mantener ambos sobre los mismos trozos da lo mejor de la semántica y la literalidad.

Actualización del índice

Los documentos cambian. Reindexar trozos afectados, no todo el corpus, mantiene el sistema vivo sin reconstruir la biblioteca entera.

Errores frecuentes

• Usar una talla única para todo el corpus: tablas, cláusulas legales y narrativa piden cortes distintos.
• Trocear sin metadatos: después es imposible filtrar por fecha, sección o fuente, ni citar con precisión.
• Reindexar todo el corpus ante cada cambio mínimo en lugar de solo los fragmentos afectados.

Ejemplo resuelto: trocear una política interna de 80 páginas

Un asistente de recursos humanos debe responder dudas sobre vacaciones, seguros y horarios desde un mismo PDF gigante.

1. Detectas la estructura: títulos de sección, sublistas y tablas de beneficios.
2. Cortas por sección respetando tablas completas, con solape de un par de frases entre trozos.
3. Etiquetas cada fragmento con sección, vigencia y página de origen como metadatos.
4. Incrustas y indexas; una consulta sobre «días de duelo» debe volver al apartado correcto.
5. Mides con preguntas reales de empleados y ajustas talla donde la respuesta llega incompleta.

¿Para qué sirve en la realidad?

Todo despliegue serio de RAG —manuales industriales, bases legales, documentación médica— empieza aquí: la diferencia entre un asistente útil y uno que responde a medias suele estar en el troceado, no en el modelo.

Indexar y mantener
Idea de indexar contenido para su recuperación ordenada.

# Chunking y indexación
## Trocear
### por tamaño
### estructural
### con solape
## Talla
### pequeña precisa
### grande contextual
## Indexar
### vector más texto
### metadatos filtrables
## Mantener
### reindexar solo lo cambiado
### varias tallas a prueba

Índice de búsqueda
La estructura que permite encontrar contenido en milisegundos sin recorrer todo el corpus.