Bagging y Random Forest
El problema del árbol único
Ya vimos que el árbol es inestable: pequeños cambios en los datos reorganizan por completo sus cortes. Esa alta varianza significa que su predicción depende demasiado de qué ejemplos concretos vio. El bagging ataca justo ese defecto.
Bootstrap: remuestrear con reposición
Para fabricar varios conjuntos de entrenamiento distintos, se muestrea el dataset original con reposición, extrayendo tantas filas como hay. Cada muestra omite unos ejemplos y repite otros, generando árboles que ven versiones ligeramente diferentes de la realidad.
Promediar para reducir varianza
Se entrena un árbol por cada muestra bootstrap y se combinan sus predicciones: por mayoría en clasificación, por media en regresión. Los errores individuales, no correlacionados, tienden a cancelarse, y el promedio es mucho más estable que cualquier miembro.
La descorrelación es la clave
El truco no es tener muchos árboles, sino árboles poco correlacionados. Si todos aprendieran lo mismo, promediar no reduciría nada. A mayor descorrelación entre miembros, mayor la caída de varianza del conjunto.
Qué añade el Random Forest
Además del bootstrap, en cada nodo el bosque elige el mejor corte solo entre un subconjunto aleatorio de características. Esto rompe la dominación de las variables más fuertes y descorrelaciona aún más los árboles que el simple bagging, mejorando la generalización.
Importancia de características
Contar cuánto contribuye cada variable a reducir la impureza a lo largo de todos los árboles da una medida de importancia útil para explorar datos. Conviene tomarla como brújula, no como veredicto: sesga hacia variables de muchas categorías.
Fuera de bolsa y robustez
Cada árbol deja de ver cerca de un tercio de los ejemplos por el bootstrap. Esos casos fuera de bolsa sirven de validación interna gratis, y el bosque, al promediar, es notablemente resistente al ruido y a la falta de escalado.
Errores frecuentes
- Pocos árboles: el bosque necesita cientos para que el promedio estabilice la varianza.
- Leer la importancia de características como relación causal y no como correlación.
- Sobreinterpretar su precisión creyendo que no puede sobreajustar: con árboles muy profundos sí puede.
Ejemplo resuelto: un bosque para priorizar llamadas
Un centro de atención quiere predecir qué clientes llamarán para quejarse. El montaje:
- Partir del árbol inestable: un solo árbol cambia mucho según qué datos ve; hay que estabilizarlo.
- Remuestrear: generar cientos de muestras bootstrap, cada una con su árbol profundo.
- Descorrelacionar: en cada nodo elegir solo un subconjunto aleatorio de variables.
- Votar: promediar las probabilidades de todos los árboles en la predicción final.
- Explorar: usar la importancia de características como brújula, no como prueba causal.
¿Para qué sirve en la realidad?
El bosque es el por defecto honesto de la ciencia de datos tabular: apenas hay que afinar, tolera variables sin escalar, mezcla tipos y resiste el ruido. Si no le ganas con algo más complejo, no complica.
¿Qué defecto del árbol de decisión corrige principalmente el bagging?
En el Random Forest, cada nodo busca el mejor corte solo entre un subconjunto aleatorio de características.
Cuándo conviene el bosque
Como caballo de batalla: poco que afinar, tolera escalas y tipos mixtos, maneja no linealidades y da una línea base fuerte sin preparación elaborate. Si un bosque simple no supera a tu modelo, desconfía de la complejidad añadida.
Bosques
Ordena la construcción de un Random Forest:
Muestra
Arbol
Variables
Voto
Une cada término del bosque con su definición.
Muchos árboles
# Random Forest ## Base ### árbol inestable ### alta varianza ## Bagging ### bootstrap ### promediar ## Extra ### variables al azar por nodo ## Ventajas ### poca afinación ### resiste ruido ### fuera de bolsa
¿Qué es el Random Forest?
Explicación de referencia en español del random forest y sus usos.
Tu bosque de un solo árbol funciona regular; al subir a quinientos mejora mucho y luego se estanca. ¿Qué está pasando y por qué no explota el sobreajuste?