Transferencia de aprendizaje
Por qué funciona
Las capas iniciales de una CNN aprenden características genéricas y transferibles. Esas representaciones sirven para muchas tareas, así que basta reorientar las capas finales al nuevo dominio.
El modelo donante
- Un gran conjunto y una arquitectura profunda producen pesos de calidad.
- Ese modelo preentrenado se publica y reutiliza como punto de partida.
- Ahorra tiempo, datos y evita mínimos malos por arranque aleatorio.
Congelar el extractor
Se bloquean las capas base para que no cambien y solo se entrena una cabecera nueva sobre sus características. Es barato y estable cuando los datos nuevos son escasos.
Ajuste fino
Con más muestras o un dominio algo distinto, se descongela parte de la red y se entrena con una tasa muy baja, afinando pesos sin borrar lo aprendido. El equilibrio entre adaptar y olvidar es delicado.
Olvido catastrófico
Si se reajusta con tasa alta toda la red, borra el conocimiento previo y se sobreajusta a lo nuevo. Por eso el fine-tuning va con tasas pequeñas y, a menudo, capas superiores primero.
Cuánto transferir
Si el dominio de origen se parece al destino, conviene reutilizar más capas, incluso las específicas. Si difieren mucho, quizá solo sirvan las más bajas, y quedarse con el extractor genérico es más seguro.
Distancias de dominio
La transferencia rinde más cuando las tareas emparentan: fotos naturales a fotos naturales. Entre dominios lejanos, como natural a médico, el beneficio se estrecha y hay que validar con cuidado.
Más allá de la visión
En lenguaje, modelos de lenguaje grandes se afinan para tareas concretas con pocas muestras. La receta —preentrenar en general, afinar en específico— se repite por todo el aprendizaje profundo.
Errores frecuentes
- Afinar toda la red con una tasa alta y provocar olvido catastrófico, borrando el conocimiento previo útil.
- Congelar siempre todas las capas aunque el dominio destino sea muy distinto, desaprovechando un ajuste fino que sí ayudaría.
- Asumir que la transferencia funciona igual entre dominios lejanos, cuando el beneficio se estrecha y hay que validar con cuidado.
Ejemplo resuelto: clasificar 500 imágenes médicas
Nos dan quinientas radiografías en dos clases, muy pocas para entrenar una CNN desde cero. Decidimos la estrategia:
- Evaluar el parecido entre el dominio de origen del modelo donante y las imágenes médicas.
- Cargar una CNN preentrenada en un gran conjunto y congelar sus capas de características.
- Sustituir la cabecera por una capa densa con dos salidas para nuestras clases.
- Entrenar solo la cabecera y, si hay margen, afinar capas altas con tasa muy baja.
- Validar que generaliza sin borrar el conocimiento previo ni sobreajustar a las quinientas muestras.
¿Para qué sirve en la realidad?
La transferencia democratiza el deep learning: permite modelos potentes con pocos datos y sin el coste de entrenar desde cero, y es la base de afinar grandes modelos de lenguaje para tareas concretas.
El fine-tuning suele emplear una tasa de aprendizaje muy baja principalmente para:
En la transferencia, congelar las capas iniciales tiene sentido porque aprenden características genéricas transferibles.
Transferencia
Ordena el razonamiento para adaptar una CNN preentrenada a un dominio pequeño:
Evaluar
Congelar
Ajustar
Validar
Transferencia de aprendizaje
Reutilizar conocimiento de un modelo a otro.
Une cada término con su idea.
No empezar de cero
# Transferencia de aprendizaje ## Donante ### gran conjunto ### pesos de calidad ## Congelar ### capas genéricas ### cabecera nueva ## Afinar ### tasa muy baja ### capas superiores ## Riesgo ### olvido catastrófico ### dominios lejanos
Qué es el transfer learning
Definición, ventajas y aplicaciones del aprendizaje por transferencia.
Dispones de solo quinientas imágenes de una especie de planta. ¿Entrenarías una CNN desde cero, usarías una preentrenada congelada o harías fine-tuning? Razona por datos y dominio.