Codificación de texto y categorías

De categorías a números

Casi todos los algoritmos exigen entradas numéricas, pero una categoría es nominal: no ordenada ni medible. La codificación convierte etiquetas en columnas numéricas que el modelo pueda digerir sin imponer una estructura falsa.

One-hot

La codificación uno activo crea una columna binaria por categoría, sin jerarquías ni distancias inventadas. Perfecta para pocas categorías y modelos lineales, pero revienta la dimensionalidad si hay muchas, y dispersa la información en columnas raras.

El problema de alta cardinalidad

Con miles de ciudades o códigos de producto, uno activo genera miles de columnas casi vacías que desestabilizan el modelo y lo hacen lentísimo. Ahí convienen codificaciones que comprimen: objetivo, de frecuencia, o agrupar las categorías minoritarias.

Codificación objetivo

Sustituye cada categoría por la media del objetivo en esa categoría: «ciudad» pasa a valer su tasa media de impago. Potentísima, pero peligrosísima: si calculas la media con los mismos datos que validas, filtrar la respuesta. Exige suavizado y cálculo fuera del pliegue.

Codificación de frecuencia

Reemplaza la categoría por cuántas veces aparece, comprimiendo cardinalidad e indicando qué tan típica es. No usa el objetivo, así que no filtra, pero puede confundir rareza con irrelevancia y aplasta categorías distintas de igual frecuencia.

Ordinal: cuando sí hay orden

Si las categorías tienen un orden natural —tallas, niveles de satisfacción—, una codización ordinal que preserve ese rango es más informativa que uno activo. Pero reservar el orden para cuando existe de verdad; imponerlo donde no hay es el error clásico.

Hashing

La técnica de dispersion asigna categorías a un número fijo de columnas mediante una función hash, acotando la dimensionalidad y aceptando colisiones. Útil en streaming o vocabularios enormes, donde enumerar todas las categorías es inviable.

Texto: bolsa de palabras

Para texto libre, la bolsa de palabras convierte documentos en vectores de recuento de términos, ignorando el orden. Con tf-idf se pondera la rareza del término. Es la puerta de entrada al procesado del lenguaje, antes de empaquetamientos más ricos.

Errores frecuentes

• Codificar de forma ordinal categorías nominales sin orden real.
• Calcular la codificación objetivo con los mismos datos de validación y filtrar la respuesta.
• Usar uno activo sobre variables de cardinalidad enorme y disparar la dimensionalidad.

Ejemplo resuelto: codificar la ciudad de un cliente

Un modelo de impago recibe una columna «ciudad» con muchos valores y hay que volverla numérica sin mentir. El protocolo:

1. Mirar la cardinalidad: si son pocas ciudades, uno activo basta; si son miles, conviene comprimir.
2. Descartar un orden numérico falso: las ciudades son nominales, no ordinales.
3. Elegir el método: uno activo para pocas, o codificación de frecuencia u objetivo para muchas.
4. Si se usa la media del objetivo, calcularla solo con el entrenamiento y suavizar categorías raras.
5. Verificar que ninguna categoría de validación desconocida rompe el vector.

¿Para qué sirve en la realidad?

Casi todo conjunto de datos real trae categorías —producto, zona, segmento, dispositivo—: codificarlas bien desbloquea su señal sin engañar al modelo, y elegir según cardinalidad y riesgo de fuga decide buena parte del resultado.

Fuga en la codificación objetivo

El brillo peligroso de la codificación objetivo es que puede leer la respuesta. Se controla calculando cada media solo con el entrenamiento del pliegue y suavizándola hacia el global cuando la categoría tiene pocos casos. Bien hecha gana; mal hecha engaña.

# Codificación de categorías
## One-hot
### pocas categorías
### sin orden falso
## Objetivo
### potente
### riesgo de fuga
## Frecuencia
### comprime
### sin mirar objetivo
## Hashing
### acota dimensiones
### admite colisiones

Variables categóricas en la práctica
Guía breve sobre uno activo y cómo tratar categorías con el modelo.