Modelos de difusión
La intuición del ir y volver
Se define un proceso directo que añade ruido gaussiano a un dato hasta destruirlo. El modelo aprende el proceso inverso: dado un punto ruidoso, dar un pequeño paso hacia una muestra limpia.
Proceso directo (corrupción)
- Se añade ruido gaussiano en muchos pasos crecientes.
- Cada paso corrompe un poco más la muestra.
- Al final, el dato es indistinguible de ruido puro.
Proceso inverso (generación)
Comenzando de ruido puro, la red predice y resta ruido iteradamente. Cada iteración afina la imagen hasta obtener una muestra verosímil del dominio aprendido.
Entrenar prediciendo ruido
En vez de modelar la imagen limpia, la red se entrena para predecir el ruido añadido en un paso escogido al azar. Es una tarea de regresión simple y estable.
La pérdida simple
La función de coste mide cuánto se equivoca la red al estimar el ruido. Sorprendentemente, esta pérdida tan llana bastó para superar a las GAN en calidad.
Pasos de muestreo
La calidad sube con más pasos del proceso inverso, pero encarece la generación. Se usan solucionadores y aceleraciones para reducir el número de iteraciones.
Latente: difundir en espacio comprimido
Difundir en píxeles es caro. Los modelos latentes difunden en un espacio comprimido por un codificador, abaratando enormemente el proceso.
Condiciones: texto a imagen
- Se guía la generación con una condición, como un prompt de texto.
- La condición modula los pasos de desruido hacia el contenido pedido.
- Así nacen los generadores de imagen desde descripción.
Ventajas frente a otras familias
Entrenamiento más estable que las GAN, sin el pulso adversario, y una variedad de muestras amplia. A cambio, generan despacio por sus múltiples pasos.
Despejar, no alzar
Si una GAN intenta producir la imagen entera de un golpe y falla en el equilibrio, la difusión pule poco a poco: cada paso es fácil, y la suma es asombrosa.
Errores frecuentes
- Confundir el proceso directo con el inverso: el primero solo añade ruido y no aprende nada; el modelo entrena el segundo.
- Esperar que la imagen salga de un solo salto: la calidad llega tras decenas de iteraciones de desruido.
- Difundir directamente en píxeles de alta resolución sin espacio latente, haciendo la generación prohibitivamente cara.
Ejemplo resuelto: generar un logo con el texto «zorro geométrico»
Un generador de imágenes por prompt es una difusión condicionada: el texto guía cada paso de desruido hacia el contenido pedido.
- Codificas el prompt con un modelo de lenguaje y obtienes su vector de condición.
- Partes de ruido gaussiano puro en el espacio latente comprimido.
- En cada paso, la red predice el ruido de ese estado condicionada por el texto.
- Restas el ruido estimado y avanzas al siguiente paso del proceso inverso.
- Al terminar las iteraciones, un decodificador transforma el latente limpio en la imagen final.
¿Para qué sirve en la realidad?
Stable Diffusion, DALL-E o Midjourney generan ilustración publicitaria, concept art y prototipos de diseño en segundos; la medicina usa difusión para sintetizar imágenes médicas escasas, y el cine explora su versión para vídeo.
En un modelo de difusión, la red se entrena típicamente para:
La generación con difusión requiere múltiples pasos iterativos de desruido, lo que la hace más lenta por muestra que una única pasada de una GAN.
Difusión
Toca una tarjeta para ver la respuesta.
Ordena el ciclo de una imagen generada por difusión:
Arrastra cada ficha a su categoría (o tócala y luego toca la categoría). También puedes usar el teclado.
Modelo de difusiónFamilia de modelos generativos por desruido iterativo.
Une cada pieza de la difusión con su papel.
Esculpir quitando ruido
- Modelos de difusión
- Directo
- ruido gaussiano
- ruido gaussiano
- muchos pasos
- Directo
- dato destruido
- aprendido
- regresión simple
- espacio latente
Stable DiffusionEl modelo latente de difusión que popularizó la generación de imagen desde texto.
¿Por qué la difusión evita el problema de inestabilidad del entrenamiento adversario de una GAN? Razona sobre la simplicidad de predecir ruido.
Tu texto se guarda sólo en este dispositivo.
Comentarios
Inicia sesión para comentar.
Todavía no hay comentarios. Sé la primera persona en opinar.