Chunking y indexación
Por qué trocear
Los modelos tienen una ventana de contexto limitada y las incrustaciones funcionan mejor con textos de longitud moderada. Trocear adapta documentos largos a unidades recuperables.
Trozos por tamaño fijo
- Dividir cada N tokens, simple y rápido.
- Riesgo: partir una idea o una tabla por la mitad.
- Ignora la estructura del documento.
Troceado por estructura
Respetar párrafos, secciones o encabezados mantiene las unidades semánticas enteras. Suele dar fragmentos más útiles que el corte ciego por longitud.
Solapamiento
Superponer el final de un trozo con el inicio del siguiente evita que una frase clave caiga justo en la costura. Coste: más fragmentos y más almacenamiento.
Tamaño del trozo
Trozos pequeños puntúan fino pero pierden contexto; grandes aportan contexto pero diluyen la similitud y gastan ventana. No hay talla universal: se ajusta con evaluación.
Tamaño del trozo y granulado
Conviene experimentar con varias tallas y medir cuál recupera mejor. El troceado no es un detalle de preprocesado: es hiperparámetro de diseño.
Indexar los fragmentos
Cada trozo se incrusta y se guarda en un índice vectorial junto a su texto original y metadatos. El índice permite buscar por similitud a gran escala.
Metadatos asociadas
- Fuente, fecha, autor o sección enriquecen la búsqueda.
- Permiten filtrar por metadatos antes o tras la similitud.
- Sirven para citar el origen al responder.
Estrategias de recuperación por trozos
Se puede buscar por trozo pequeño para precisión y luego expandir al documento vecino para dar contexto: el «vecino proximal» o el padre-hijo combinan finura y completitud.
Índices por campos
Además del vector, índices de texto permiten búsqueda híbrida. Mantener ambos sobre los mismos trozos da lo mejor de la semántica y la literalidad.
Actualización del índice
Los documentos cambian. Reindexar trozos afectados, no todo el corpus, mantiene el sistema vivo sin reconstruir la biblioteca entera.
Errores frecuentes
- Usar una talla única para todo el corpus: tablas, cláusulas legales y narrativa piden cortes distintos.
- Trocear sin metadatos: después es imposible filtrar por fecha, sección o fuente, ni citar con precisión.
- Reindexar todo el corpus ante cada cambio mínimo en lugar de solo los fragmentos afectados.
Ejemplo resuelto: trocear una política interna de 80 páginas
Un asistente de recursos humanos debe responder dudas sobre vacaciones, seguros y horarios desde un mismo PDF gigante.
- Detectas la estructura: títulos de sección, sublistas y tablas de beneficios.
- Cortas por sección respetando tablas completas, con solape de un par de frases entre trozos.
- Etiquetas cada fragmento con sección, vigencia y página de origen como metadatos.
- Incrustas y indexas; una consulta sobre «días de duelo» debe volver al apartado correcto.
- Mides con preguntas reales de empleados y ajustas talla donde la respuesta llega incompleta.
¿Para qué sirve en la realidad?
Todo despliegue serio de RAG —manuales industriales, bases legales, documentación médica— empieza aquí: la diferencia entre un asistente útil y uno que responde a medias suele estar en el troceado, no en el modelo.
El solapamiento entre trozos consecutivos sirve principalmente para:
Trocear siempre por tamaño fijo de tokens es la estrategia que mejor preserva la estructura semántica del documento.
Troceado
Toca una tarjeta para ver la respuesta.
Ordena la preparación de una base para RAG:
Arrastra cada ficha a su categoría (o tócala y luego toca la categoría). También puedes usar el teclado.
Indexar y mantenerIdea de indexar contenido para su recuperación ordenada.
Une cada decisión de troceado con su consecuencia.
Trocear bien es recuperar bien
- Chunking y indexación
- Trocear
- por tamaño
- por tamaño
- estructural
- Trocear
- con solape
- pequeña precisa
- vector más texto
- reindexar solo lo cambiado
Índice de búsquedaLa estructura que permite encontrar contenido en milisegundos sin recorrer todo el corpus.
Tu RAG recupera fragmentos que cortan una definición a la mitad. ¿Ajustarías talla, solapamiento o método de troceado? Razona cuál atacaría mejor el problema.
Tu texto se guarda sólo en este dispositivo.
Comentarios
Inicia sesión para comentar.
Todavía no hay comentarios. Sé la primera persona en opinar.