Análisis de componentes principales

Para qué reducir

La reducción dimensional persigue varias metas: quitar redundancia y multicolinealidad, abaratar el cómputo, permitir visualizar en dos o tres ejes, y atacar la maldición de la dimensionalidad que diluye la señal cuando hay demasiadas variables por observación.

La intuición geométrica

Una nube de puntos en muchas dimensiones suele estar aplastada: se extiende mucho en ciertas direcciones y poco en otras. El PCA gira los ejes para alinearlos con esas direcciones de máxima extensión, de modo que el primer eje capture la mayor varianza posible.

Componentes principales

Cada componente principal es una combinación lineal de las variables originales, de varianza máxima y ortogonal a los anteriores. El primero explica lo más posible; el segundo, lo máximo restante cumpliendo ser perpendicular al primero; y así sucesivamente.

Ortogonalidad

Los componentes son ortogonales entre sí, luego no comparten información: su covarianza es nula. Esta independencia lineal es una ventaja para modelos sensibles a la colinealidad, aunque puede chocar con la interpretabilidad, porque los ejes ya no son variables del mundo.

Autovalores y varianza explicada

Los autovalores de la matriz de covarianza indican cuánta varianza deposita cada componente. Normalizados por la traza, dan la proporción de variabilidad total que captura cada eje: la «varianza explicada» que guía cuántos componentes conservar.

El scree y el codo

Al ordenar las varianzas explicadas, las primeras caen deprisa y luego se aplanan: el «codo» del gráfico sugiere cuántos componentes retener antes de entrar en el territorio del ruido. Es una heurística visual, no una ley.

Cargas de variables

Cada componente es una mezcla de las variables originales con pesos llamados cargas. Mirar las cargas grandes permite bautizar el componente: si agrupa ingresos, gasto y ahorro, quizá sea un factor de «nivel socioeconómico».

Estandarizar o no

Si las variables tienen escalas muy distintas, conviene trabajar sobre la matriz de correlaciones (tipificando) para que una variable de unidades grandes no domine por escala y no por relevancia. Sobre covarianzas solo cuando las unidades ya son comparables.

Pocos componentes, casi todo

Suele bastar un puñado de componentes para acumular el noventa por ciento de la varianza. Esa compresión es asombrosa cuando funciona, y revela que los datos tenían intrínsecamente menos grados de libertad de los que aparentaban sus columnas.

Pérdida de información

Retener solo los componentes principales descarta la varianza de los ejes menores. Si lo que importa está en esas direcciones pequeñas, el PCA lo tira: es óptimo para conservar varianza, no para preservar señal predictiva de una etiqueta.

PCA no supervisa la respuesta

El PCA busca direcciones de máxima variabilidad de las X, ignorando por completo la Y. La dirección más variable no es necesariamente la más predictiva. Para reducir con la respuesta en mente existen métodos supervisados.

Usos del PCA

• Preprocesado para eliminar colinealidad antes de una regresión.
• Visualización de datos de alta dimensión en dos o tres ejes.
• Compresión de variables redundantes y detección de anomalías por residuo.

Visualización y detección

Proyectar sobre los dos primeros componentes permite dibujar en un plano una nube de mil dimensiones, revelando grupos, outliers y estructuras. Los puntos lejos del centro en las direcciones retenidas o con residuo alto son candidatos a anomalías.

Interpretar con cautela

Un componente es una abstracción matemática, no siempre una cantidad con nombre. Forzarle un significado cuando las cargas están repartidas o los signos son arbitrarios produce narrativas inventadas. A veces un eje es solo una combinación, nada más.

Errores frecuentes

• Aplicar PCA sin estandarizar variables de escalas incomparables.
• Elegir el número de componentes sin justificación, por capricho.

Blanqueado y escalado

Tras PCA, las componentes quedan incorreladas y ordenadas por varianza. Conviene decidir si se escalan: retener la magnitud (varianza) o normalizar cambia cómo los verá un modelo posterior. El preprocesado no termina en la proyección.

Relación con la covarianza

El PCA es, literalmente, la diagonalización de la matriz de covarianza: sus autovectores son los componentes y sus autovalores las varianzas. Quien entendió la matriz de covarianza de la lección anterior ya tiene a medio camino el fundamento del PCA.

PCA explained visually
Intuición geométrica interactiva del análisis de componentes principales.