Árboles de decisión
Dividir para reinar
El árbol parte los datos con un corte sobre una característica —«¿edad mayor que treinta?»— y luego subdivide cada mitad con otro corte. Repite recursivamente hasta que los grupos son puros o se agota el presupuesto de profundidad. Cada división reduce el espacio a trozos más manejables.
La pureza como criterio
¿Qué corte elegir entre los infinitos posibles? El que deje los hijos más puros: con casos de una sola clase. La pureza se mide con funciones de impureza, y el algoritmo busca en cada nodo el corte que más la reduce.
Gini frente a entropía
El índice de gini castiga la mezcla de clases de forma cuadrática; la entropía, heredada de la teoría de la información, la mide en bits. En la práctica dan árboles casi idénticos: la entropía penaliza un poco más el desorden, pero la diferencia rara vez importa.
La ganancia de información
Lo que guía el reparto es la reducción de impureza que logra un corte, ponderada por el tamaño de cada hijo. El árbol glotón elige en cada paso el corte de mayor ganancia, una estrategia voraz que no garantiza el óptimo global pero funciona sorprendentemente bien.
Cuándo parar de dividir
Si el árbol creciera sin freno, seguiría particionando hasta dejar un solo ejemplo por hoja: memorizaría el entrenamiento. Por eso hay criterios de parada: profundidad máxima, mínimo de muestras por hoja o ganancia mínima exigida.
Leer un árbol
De la raíz a una hoja se recorre una regla: «si edad mayor que treinta y ingresos menores que cuarenta, entonces sí». Cada camino es una conjunción de condiciones, y el conjunto de hojas, una región rectangular del espacio. Esa legibilidad es su gran activo.
El precio: sobreajuste
Los árboles profundos son de las máquinas de sobreajustar más eficaces que existen: recortan el ruido como si fuera señal. Un único árbol suele ser malo en generalización; su fortaleza real aparece cuando se combina con otros en bosques.
Inestabilidad
Cambiar unos pocos datos o el orden de las filas puede producir un árbol radicalmente distinto. Los cortes voraces de la raíz se propagan de forma caótica. Esa inestabilidad, no la falta de potencia, es lo que motivó el bagging.
Errores frecuentes
- Dejar el árbol crecer sin límite y celebrar el cero error en entrenamiento.
- Confiar en un único árbol para generalizar, ignorando su inestabilidad.
- Asumir que, por interpretable, el árbol refleja el mecanismo real del fenómeno.
Ejemplo resuelto: decidir quién cancela el servicio
Un operador quiere un árbol legible que explique las bajas. El proceso:
- Elegir el criterio: gini por defecto, rápido y casi idéntico a entropía en resultados.
- Dejar crecer: construir el árbol completo para ver qué cortes ganan más en cada nodo.
- Podar: exigir mínimo de muestras por hoja y profundidad máxima para no memorizar.
- Leer los caminos: traducir las ramas principales en reglas comprensibles para negocio.
- Comparar la base: verificar que el árbol le gana a predecir siempre la clase mayoritaria.
¿Para qué sirve en la realidad?
Donde hay que explicar la decisión —denegaciones, triaje, segmentación—, el árbol es lenguaje directo: cada rama es una pregunta que un humano puede revisar y discutir. Y como pieza de los bosques, es el motor de casi todo modelo tabular moderno.
¿Qué mide una función de impureza como gini o entropía en un nodo del árbol?
Un árbol de decisión muy profundo tiende a sobreajustar los datos de entrenamiento.
No linealidad gratis
A diferencia de la logística, el árbol no exige que las relaciones sean rectas: los cortes paralelos a los ejes aproximan fronteras de cualquier forma. Paga por esa flexibilidad con fragmentación del espacio y bordes escalonados.
Árboles
Ordena el proceso de construcción de un árbol:
Nodo
Corte
Ganancia
Hoja
MLU Explain: árboles de decisión
Explicación visual interactiva del reparto recursivo y la pureza.
Une cada término del árbol con su definición.
Dividir y preguntar
# Árboles de decisión ## Construcción ### cortes voraces ### mayor ganancia ## Pureza ### gini ### entropía ## Frenos ### profundidad ### mínimo por hoja ### poda ## Riesgos ### sobreajuste ### inestabilidad
¿Qué es un árbol de decisión?
Explicación de referencia en español del método y sus aplicaciones.
Tu árbol clasifica perfecto el entrenamiento pero irregular el futuro. ¿Qué dos o tres parámetros de parada ajustarías primero y por qué?