Descomposicion en valores singulares: SVD, la navaja de la algebra numerica

La auto-diagonalizacion solo funciona con matrices cuadradas y simetricas; la SVD funciona con CUALQUIER matriz, rectangular, mal condicionada y hasta llena de ceros. Es la herramienta detras de PCA en scikit-learn, de los sistemas de recomendacion por filtrado colaborativo y del compresor de imagenes mas elegante que conoceras. Este objeto la construye desde la intuicion geometrica hasta la aproximacion de rango k con las manos.

Circulo unitario transformado por SVD en elipse con rotaciones U y V y escala Sigma. — Toda transformacion lineal es: girar, estirar por los ejes, y volver a girar. Eso es exactamente SVD.

La promesa de SVD Toda matriz A de m por n se escribe A = U·Σ·Vᵀ con U ortogonal m×m, V ortogonal n×n y Σ diagonal rectangular con valores singulares σ1 mayor o igual σ2 mayor o igual ... mayores o iguales 0. Sin condiciones: A puede ser cualquier cosa. Los sigma son las raices de los autovalores de AᵀA.

Intuicion geometrica primero

Aplica A a todos los vectores unitarios del plano: la imagen del circulo es una ELIPSE. La SVD factoriza esa elipse en tres movimientos: Vᵀ rota el circulo para alinear sus ejes con los de la elipse; Σ estira cada eje por su factor sigma; U rota el resultado hacia su posicion final. Los ejes de la elipse son los vectores singulares; su longitud, los valores singulares.

Ejemplo rango 1: la SVD mas pequena del mundo

Tomemos A = [[2, 4], [1, 2]]. Sus filas son proporcionales: rango 1. Toda la informacion cabe en un vector de filas u = (2,1)/√5 y uno de columnas v = (1,2)/√5.
Prueba el producto exterior: σ·u·vᵀ con σ = √5·√5 = 5 da 5·(2/√5)·(1/√5) = 2 en (1,1); 5·(2/√5)(2/√5) = 4; 5·(1/√5)(1/√5) = 1; 5·(1/√5)(2/√5)=2. Recupera A EXACTA.
Verifica con AᵀA = [[5,10],[10,20]]: autovalores 25 y 0 → σ = √25 = 5 y √0 = 0: un unico valor singular no nulo confirma rango 1.
Leccion: una matriz rango k es k matrices rango 1 sumadas. Ese es TODO el secreto de la aproximacion de bajo rango y del factorizado de recomendadores.

La mejor aproximacion de rango bajo: Eckart-Young

Guarda las k primeras componentes: A_k = suma de σᵢ uᵢ vᵢᵀ para i de 1 a k. El teorema de Eckart-Young promete que es la MEJOR aproximacion de rango k posible (en norma de Frobenius y espectral): truncar la SVD no es un atajo, es el optimo. Los valores singulares decaen rapido cuando los datos tienen estructura: esa curva de decaimiento es la que justifica reducir dimensiones.

Compresion de imagen a mano

Una imagen es una matriz de brillo. SVD sobre A (digamos 100x100, valores singulares desde 30 hasta casi 0).
k=1: toda la imagen por 100+100+1 numeros en vez de 10.000: se ve un borrón de contraste bajisimo. La energia retenida es σ1²/Σσ².
k=10: usualmente el 80-95% de la energia: retrato irreconocible pero con estructura. k=30: casi indistinguible. El umbral de energia (95% por ejemplo) decide k, no el gusto.
En scikit-learn y numpy: U, s, Vt = np.linalg.svd(A); A_k = U[:, :k] @ np.diag(s[:k]) @ Vt[:k, :]. La misma cuenta, con el optimo garantizado.

SVD en tus futuras bibliotecas

PCA en scikit-learn: por dentro usa SVD sobre la matriz centrada; los autovalores de la covarianza son sigma²/(n−1).
Pseudo-inversion: A⁺ = V·Σ⁺·Uᵀ invirtiendo solo los sigma mayores que un epsilon: la solucion estable de minimimos cuadrados cuando A no tiene inversa o esta mal condicionada (recuerda metn problema 7).
Recomendadores: matriz usuario-item incompleta → factorizacion de rango bajo (SVD truncada o ALS) predice items que el usuario no vio.
Numeros: en problemas de rango y nullspace, SVD da base ortonormal de los cuatro subespacios fundamentales con estabilidad numerica total.

Para que uso SVD

Autoexamen cronometrado (15 minutos)

¿Cual es la VENTAJA de SVD frente a diagonalizacion de autovalores?

Los valores singulares de A son las raices de los autovalores de AᵀA.

Para A diagonal [[3, 0], [0, 2]], sus valores singulares son 3 y 2. ¿Cual es sigma1?

En el ejemplo rango 1, AᵀA tuvo autovalores 25 y 0. ¿Cuantos valores singulares NO nulos tiene A?

Truncar la SVD a k componentes es la mejor aproximacion de rango k gracias al teorema de Eckart-.

Empareja factor con su papel geometrico.

Video de repaso

Para profundizar

3Blue1Brown: algebra lineal
La serie geometrica que hace VER las transformaciones; capitulo 15 y siguientes tocan factorizaciones.

Setosa: autovalores ilustrados
Interactivo del capitulo anterior; su hermano de SVD es la mejor puerta intuitiva.

La compresion por rango bajo presume que la matriz "realmente" tiene rango cerca de k. Piensa en una matriz de interacciones usuario-pelicula o en genes x pacientes: ¿por que un rango 50 captaria millones de datos? Escribe la hipotesis estructural que hace plausible la factorizacion.