Selección de características
Por qué seleccionar
Reducir dimensiones acelera el entrenamiento, simplifica la interpretación y, sobre todo, recorta la varianza: menos grados de libertad para ajustarse al ruido. La maldición de la dimensionalidad hace que, con pocas muestras, muchas variables empeoren en vez de mejorar.
Métodos de filtro
Los filtros puntúan cada variable de forma independiente con una estadística —correlación con el objetivo, chi cuadrado, información mutua— y descartan las peores. Baratos y rápidos, no miran al modelo, así que no capturan interacciones, pero son un primer tamiz excelente.
Relevancia y redundancia
No basta con que una variable sea relevante; conviene que no repita a otra ya seleccionada. El equilibrio busca el subconjunto de alta relevancia y baja redundancia entre sí, porque columnas casi idénticas solo aportan ruido y desestabilizan.
Métodos envoltorio
Los envoltorios evalúan subconjuntos probando el modelo real: añaden o quitan variables según mejore la validación. Más fieles al rendimiento final, pero carísimos y propensos a sobreajustar la validación si no se cuidan con un bucle anidado.
Importancia del modelo
Muchos modelos dicen qué variables usaron: coeficientes en lineales, reducción de impureza o aumento de error al permutar en bosques. Esta importancia guía la poda, aunque ojo: correlacionadas se reparten el mérito y ninguna destaca.
Regularización como selección
Lasso, con su pena l1, selecciona por sí solo al anular coeficientes irrelevantes. A veces la mejor poda no es un paso previo explícito sino dejar que el modelo regularizado decida qué merece sobrevivir, integrado en el pipeline.
Cuidado con la fuga al seleccionar
Si eliges variables mirando todo el conjunto, incluida la validación, filtras información hacia el entrenamiento y la métrica se infla. La selección debe repetirse dentro de cada pliegue de validación cruzada, como cualquier paso que aprenda de los datos.
Errores frecuentes
- Seleccionar antes de la validación cruzada con datos completos, contaminando la estimación.
- Quedarse solo con la correlación marginal e ignorar redundancias e interacciones.
- Confundir baja importancia con irrelevancia causal.
Ejemplo resuelto: reducir quinientas columnas a un conjunto útil
Un modelo parte de muchísimas variables candidatas y hay que podar sin engañar la validación. El protocolo:
- Reunir las candidatas y eliminar de entrada columnas vacías o casi constantes.
- Filtrar por relevancia marginal con correlación, chi cuadrado o información mutua.
- Refinar quitando redundancias: entre variables muy correlacionadas quedarse con una.
- Confirmar con la importancia del modelo —coeficientes o aumento de error al permutar— y con lasso.
- Repetir toda la selección dentro de cada pliegue de validación cruzada para no filtrar información.
¿Para qué sirve en la realidad?
En genómica, marketing o riesgo, donde abundan las columnas, seleccionar abarata el cómputo, aclara la lectura del modelo y, sobre todo, recorta la varianza: un subconjunto justo de variables generaliza mejor que un listado enorme cargado de ruido.
¿Cuál es el riesgo principal de seleccionar características usando todo el conjunto de datos antes de la validación cruzada?
Los métodos de filtro tienen en cuenta las interacciones entre variables al puntuarlas.
Validación anidada
Cuando la selección forma parte del ajuste, lo correcto es anidar: una validación interna elige qué variables e hiperparámetros, y una externa estima el rendimiento honesto del proceso completo. Así la puntuación ya no presume de información que el modelo no tendrá.
Selección
Toca una tarjeta para ver la respuesta.
Ordena las fases de una selección de características honesta:
Arrastra cada ficha a su categoría (o tócala y luego toca la categoría). También puedes usar el teclado.
scikit-learn: selección de característicasCatálogo oficial de filtros, envoltorios e importância por permutación.
Une cada método de selección con cómo decide.
Menos variables, mejor generalización
- Selección de características
- Filtros
- rápidos
- rápidos
- no ven interacciones
- Filtros
- fieles al modelo
- coeficientes
- seleccionar por pliegue
Selección de características en scikit-learnReferencia oficial de filtros, envoltorios e importancia por permutación.
Tu lista de quinientas columnas baja a veinte por relevancia marginal, pero el modelo sigue mal. ¿Qué podría estar pasando con las interacciones y cómo lo comprobarías?
Tu texto se guarda sólo en este dispositivo.
Comentarios
Inicia sesión para comentar.
Todavía no hay comentarios. Sé la primera persona en opinar.