Mínimos cuadrados
Mapa conceptual
Sistemas sobredeterminados
Si tienes más ecuaciones que incógnitas (más puntos que parámetros), en general no existe x que cumpla A por x igual b exactamente: los datos «no caen en el modelo». El sistema es incompatible. Pero casi siempre hay una x que lo satisface lo mejor posible.
La idea del ajuste
En vez de exigir cero error, se minimiza el total de errores. Elevarlos al cuadrado penaliza los grandes y hace sumables los de distinto signo (que si no se cancelarían). Minimizar la suma de errores al cuadrado es el criterio de mínimos cuadrados.
Proyección: la lectura geométrica
A por x recorre la imagen de A: todos los vectores alcanzables. Como b puede estar fuera de la imagen, buscamos el punto de la imagen más cercano a b. Ese punto es la proyección de b sobre la imagen, y la x que lo produce es la solución de mínimos cuadrados. El residuo es perpendicular a la imagen.
La ecuación normal
Impuesto que el error b menos A por x sea perpendicular a la imagen (ortogonal a cada columna de A), se llega a la ecuación normal: transpuesta de A por A por x igual a transpuesta de A por b. Resolviendo ese sistema cuadrado se obtiene el óptimo.
Por qué se llama «normal»
Porque impone que el residuo sea normal (perpendicular) a la imagen de A. La palabra «normal» significa aquí «ortogonal», y conecta esta técnica con el producto punto y la proyección de la lección anterior.
Regresión lineal
Ajustar una recta a puntos es un caso de mínimos cuadrados: A son las columnas de la variable independiente (y un uno para la intersección), b los valores observados, x los coeficientes buscados. La famosa regresión lineal múltiple es exactamente la ecuación normal.
Condición de optimalidad
- El residuo (lo que queda) es ortogonal a todas las columnas de A.
- Ningún pequeño cambio en x reduce más la suma de cuadrados.
- Si A tiene rango completo, la transpuesta por A es invertible y la solución es única.
El costo de invertir
La solución formal usa la inversa de transpuesta por A, pero calcularla es numéricamente delicado si la matriz está mal condicionada. En la práctica se resuelve con métodos estables (factorización QR o descomposición de valores singulares) que no forman la inversa explícitamente.
| Método | Qué hace | Cuándo |
|---|---|---|
| Ecuación normal | resuelve transpuesta A por A x igual transpuesta A por b | rango completo, bien condicionado |
| QR | factoriza A y resuelve de forma numéricamente más estable | uso general |
| SVD | descomposición robusta, maneja rango deficiente | matrices problemáticas |
| Regularización | añade penalización para estabilizar | cuando sobreajusta o es singular |
En un sistema sobredeterminado A por x igual b con más filas que columnas, ¿qué hace mínimos cuadrados?
Cuando no hay inversa
Si A tiene columnas dependientes, transpuesta por A es singular y la solución no es única. Ahí la regularización o una seudoinversa (vía SVD) seleccionan la solución de norma mínima. Es un problema común en regresión con rasgos correlacionados.
Bondad del ajuste
La suma de cuadrados residuales mide qué tan bien pega el modelo. Comparada con la varianza total de b, da el R cuadrado: la fracción de variación explicada. Cuanto más cerca de uno, más captura el ajuste.
Proyección e imagen ortogonal
Todo se apoya en descomponer el espacio en la imagen de A y su complemento ortogonal (el núcleo de la transpuesta). b se parte en una componente ajustable (en la imagen) y un residuo (ortogonal). Mínimos cuadrados es geometría de proyección hecha estadística.
Errores frecuentes
- Aplicar la ecuación normal con una A mal condicionada y obtener coeficientes basura.
- Olvidar centrar o escalar, inflando el error de un rasgo dominante.
- Interpretar un R cuadrado alto como causalidad, cuando solo mide ajuste.
La solución de mínimos cuadrados existe y es única cuando A tiene rango de columnas completo.
De la recta a la red
Casi todo modelo paramétrico que se entrena minimizando un error cuadrático está haciendo mínimos cuadrados por capas. Entender el caso lineal —la ecuación normal, la proyección— es entender el fundamento sobre el que se apoya el ajuste de modelos mucho más complejos.
Ordena la lógica de mínimos cuadrados:
Plantear
Proyectar
Normal
Resolver
Tienes cuatro puntos y quieres la recta que mejor los ajuste. Explica por qué es un sistema sobredeterminado y cómo la idea de «proyectar sobre la imagen» conduce a la ecuación normal.
3Blue1Brown: Linear Algebra
Serie Essence of Linear Algebra con intuicion geometrica.