Transferencia y aprendizaje auto-supervisado en visión

Las primeras capas de una red convolucional profunda aprenden bordes, texturas y partes; las últimas, semántica de la tarea fuente. Ese conocimiento visual transfiere a tareas nuevas con pocas etiquetas. Cuando ni siquiera hay etiquetas suficientes para el pretraining propio, entra el aprendizaje auto-supervisado: construir la señal de supervisión de las propias imágenes sin anotar.

Por qué la extracción manual de rasgos perdió

• SIFT y HOG codifican hipótesis fijas sobre qué importa en una imagen.
• Un dataset grande permite que la red aprenda sus propios rasgos para la tarea.
• La transferencia funciona porque los rasgos bajos son compartidos entre dominios visuales.

Las tres recetas de transferencia

• Extractor congelado: features del backbone + clasificador lineal encima.
• Ajuste fino (fine-tuning): desplegar el backbone completo con tasa de aprendizaje pequeña.
• Ajuste parcial: congelar bloques bajos, entrenar los altos junto con la cabecera.

Auto-supervisión: un profesor sin etiquetas

Las tareas pretextos engañan a la red para que aprenda estructura: predicción de rompecabezas, modelo de relleno (inpainting) o, en la familia MAE, enmascarar parches de la imagen y reconstruirlos. La línea contrastiva —SimCLR, MoCo— aprende de dos vistas aumentadas de la misma imagen: cerca en el espacio latente lo que coincide, lejos lo que no. DINO y su segundo acto produjeron atenciones que ya segmentan objetos sin una sola caja.

CLIP: el puente con el lenguaje

Al entrenar una imagen y su descripción para que se encuentren en un espacio común, CLIP hereda una capacidad inesperada: clasificar por lenguaje. Se le puede pedir "foto de un refractómetro industrial" sin haber visto nunca esa clase: clasificación cero-shot con la lista de etiquetas como prompt.

Elegir la receta: presupuesto de datos

• Cero etiquetas en la tarea: backbone auto-supervisado más prototipos o CLIP.
• Decenas por clase: extractor congelado con regularización fuerte.
• Cientos por clase: fine-tuning parcial con aumentos agresivos.
• Miles y dominio lejano: fine-tuning completo y validación que imite al despliegue.

Errores frecuentes

• Entrenar desde cero con 2 mil imágenes: sobreajuste garantizado.
• Normalizar con la media del entrenamiento y sorprenderse del dominio real (brecha de dominio).
• Aumentar con transformaciones que destruyen la etiqueta (giro de 90 grados en un histograma médico).
• Usar el conjunto de validación para elegir la tasa de aprendizaje del fine-tuning: fuga silenciosa.

Ejemplo resuelto: detección de defectos con 800 imágenes etiquetadas

1. Backbone auto-supervisado (DINO o MAE) en las 40 mil imágenes sin etiqueta de la planta.
2. Cabecera de detección ligera sobre bloques altos, con los bloques bajos congelados.
3. Aumentos que respetan la física: brillo, oclusión parcial, corte y rotaciones pequeñas.
4. Validación con el lote del turno nocturno para medir brecha real.
5. Iterar el etiquetado activo donde la incertidumbre del ensemble sea alta.

¿Para qué sirve en la realidad?

Inspección industrial, diagnóstico asistido, agro y sensores remotos comparten el mismo retrato: datos sobran, etiquetas escasean. La transferencia y la auto-supervisión son la razón por la que una startup con un smartphone compite en visión con quien tenía un dataset de millones.

# Transferencia y auto-supervisión
## Por qué
### rasgos compartidos
### costo de etiquetas
## Recetas
### congelar backbone
### ajuste fino
### parcial
## Auto-supervisado
### MAE
### contrastivo
### DINO
## CLIP
### cero-shot
### por lenguaje

Aprendizaje auto-supervisado (Wikipedia)
Construir la señal de supervisión a partir de los propios datos sin anotar.

Aprendizaje contrastivo (Wikipedia)
Acercar vistas positivas y alejar negativas: la familia de SimCLR.