Selección de características

Por qué seleccionar

Reducir dimensiones acelera el entrenamiento, simplifica la interpretación y, sobre todo, recorta la varianza: menos grados de libertad para ajustarse al ruido. La maldición de la dimensionalidad hace que, con pocas muestras, muchas variables empeoren en vez de mejorar.

Métodos de filtro

Los filtros puntúan cada variable de forma independiente con una estadística —correlación con el objetivo, chi cuadrado, información mutua— y descartan las peores. Baratos y rápidos, no miran al modelo, así que no capturan interacciones, pero son un primer tamiz excelente.

Relevancia y redundancia

No basta con que una variable sea relevante; conviene que no repita a otra ya seleccionada. El equilibrio busca el subconjunto de alta relevancia y baja redundancia entre sí, porque columnas casi idénticas solo aportan ruido y desestabilizan.

Métodos envoltorio

Los envoltorios evalúan subconjuntos probando el modelo real: añaden o quitan variables según mejore la validación. Más fieles al rendimiento final, pero carísimos y propensos a sobreajustar la validación si no se cuidan con un bucle anidado.

Importancia del modelo

Muchos modelos dicen qué variables usaron: coeficientes en lineales, reducción de impureza o aumento de error al permutar en bosques. Esta importancia guía la poda, aunque ojo: correlacionadas se reparten el mérito y ninguna destaca.

Regularización como selección

Lasso, con su pena l1, selecciona por sí solo al anular coeficientes irrelevantes. A veces la mejor poda no es un paso previo explícito sino dejar que el modelo regularizado decida qué merece sobrevivir, integrado en el pipeline.

Cuidado con la fuga al seleccionar

Si eliges variables mirando todo el conjunto, incluida la validación, filtras información hacia el entrenamiento y la métrica se infla. La selección debe repetirse dentro de cada pliegue de validación cruzada, como cualquier paso que aprenda de los datos.

Errores frecuentes

• Seleccionar antes de la validación cruzada con datos completos, contaminando la estimación.
• Quedarse solo con la correlación marginal e ignorar redundancias e interacciones.
• Confundir baja importancia con irrelevancia causal.

Ejemplo resuelto: reducir quinientas columnas a un conjunto útil

Un modelo parte de muchísimas variables candidatas y hay que podar sin engañar la validación. El protocolo:

1. Reunir las candidatas y eliminar de entrada columnas vacías o casi constantes.
2. Filtrar por relevancia marginal con correlación, chi cuadrado o información mutua.
3. Refinar quitando redundancias: entre variables muy correlacionadas quedarse con una.
4. Confirmar con la importancia del modelo —coeficientes o aumento de error al permutar— y con lasso.
5. Repetir toda la selección dentro de cada pliegue de validación cruzada para no filtrar información.

¿Para qué sirve en la realidad?

En genómica, marketing o riesgo, donde abundan las columnas, seleccionar abarata el cómputo, aclara la lectura del modelo y, sobre todo, recorta la varianza: un subconjunto justo de variables generaliza mejor que un listado enorme cargado de ruido.

Validación anidada

Cuando la selección forma parte del ajuste, lo correcto es anidar: una validación interna elige qué variables e hiperparámetros, y una externa estima el rendimiento honesto del proceso completo. Así la puntuación ya no presume de información que el modelo no tendrá.

scikit-learn: selección de características
Catálogo oficial de filtros, envoltorios e importância por permutación.

# Selección de características
## Filtros
### rápidos
### no ven interacciones
## Envoltorios
### fieles al modelo
### caros
## Importancia
### coeficientes
### permutación
## Cautela
### seleccionar por pliegue
### evitar fuga

Selección de características en scikit-learn
Referencia oficial de filtros, envoltorios e importancia por permutación.