Bolsa de palabras y TF-IDF
La idea de la bolsa
Se construye un vocabulario con todos los términos del corpus y cada documento se representa por cuántas veces contiene cada uno. El orden y la gramática se descartan; queda un perfil de frecuencias.
Vectores dispersos
- Cada documento es un vector con tantas dimensiones como términos del vocabulario.
- La mayoría de entradas son cero: solo aparecen unas pocas palabras.
- Se almacenan de forma dispersa para no malgastar memoria.
El problema del recuento bruto
Contar favorece documentos largos y las palabras vacías —artículos, preposiciones— dominan. Sin normalizar, un texto extenso parece más «interesante» solo por tamaño.
Frecuencia en el documento (TF)
TF mide cuánto aparece un término en un documento, a menudo normalizado por su longitud. Sube la voz de lo repetido dentro del texto.
Frecuencia inversa en el corpus (IDF)
IDF castiga los términos que salen en casi todos los documentos, pues apenas discriminan. Un término raro y presente pesa más: es informativo.
Multiplicar TF por IDF
TF-IDF combina ambas: puntúa alto lo que abunda en un documento pero escasea en el resto. Es la relevancia léxica clásica para búsqueda y representación.
Más allá del orden
La bolsa pierde «perro muerde hombre» frente a «hombre muerde perro». Los n-gramos recuperan algo de contexto al contar secuencias cortas de términos.
Usos y límites
TF-IDF sigue siendo potente en recuperación y clasificación lineal, y es barato e interpretable. Pero no capta sinonimia: «coche» y «automóvil» son dimensiones sin relación.
Errores frecuentes
- No normalizar por longitud y que los documentos largos parezcan más relevantes solo por tamaño.
- Dejar que las palabras vacías —artículos y preposiciones— dominen el vector en lugar de los términos útiles.
- Esperar que la bolsa capture sinonimia: «coche» y «automóvil» quedan como dimensiones sin relación.
Ejemplo resuelto: puntuar un término con TF-IDF
Quieres que tu buscador ordene documentos por relevancia y aplicas TF-IDF:
- Cuentas cuántas veces aparece el término en el documento (TF).
- Normalizas por la longitud para no premiar textos largos.
- Calculas en cuántos documentos aparece el término (IDF).
- Multiplicas TF por IDF para ponderar su relevancia.
- Ordenas los documentos por la puntuación resultante.
¿Para qué sirve en la realidad?
TF-IDF sigue detrás de muchos motores de búsqueda y clasificadores ligeros: es barato, interpretable y eficaz cuando no hace falta entender el orden ni la sinonimia.
En TF-IDF, el factor IDF sirve principalmente para:
La representación de bolsa de palabras conserva el orden exacto de los términos en el documento.
Bolsa
Toca una tarjeta para ver la respuesta.
Ordena la lógica de TF-IDF para puntuar un término:
Arrastra cada ficha a su categoría (o tócala y luego toca la categoría). También puedes usar el teclado.
TF-IDFPonderación de términos para recuperación de información.
Une cada pieza de la bolsa de palabras con su papel.
Contar bien es representar
- Bolsa de palabras y TF-IDF
- Bolsa
- ignora el orden
- ignora el orden
- perfil de frecuencias
- Bolsa
- abundancia local
- rareza global
- sin sinonimia
TfidfVectorizerImplementación de la bolsa y TF-IDF en scikit-learn.
Tu buscador de documentos prioriza «de», «la» y «que». ¿Qué parte de TF-IDF está fallando y por qué la normalización por IDF ayuda?
Tu texto se guarda sólo en este dispositivo.
Comentarios
Inicia sesión para comentar.
Todavía no hay comentarios. Sé la primera persona en opinar.