Segmentación semántica

Clasificar cada píxel

En vez de una etiqueta por imagen, se emite un mapa de etiquetas del mismo tamaño que la entrada. Cada píxel recibe su clase, trazando contornos precisos de cada región.

Pérdida de resolución

• Las pooling y strides iniciales encogen el mapa de características.
• Hay que recuperar tamaño espacial para asignar clase a cada píxel.
• Los saltos entre capas finas y gruesas devuelven el detalle perdido.

Red totalmente convolucional

Sustituir las capas densas por convoluciones permite procesar imágenes de cualquier tamaño y producir un mapa denso de predicciones. Es la base de casi todo segmentador moderno.

Recuperar el detalle

El upsampling devuelve el mapa a la resolución original; técnicas como la convolución transpuesta y los saltos tipo U-Net combinan semántica gruesa con localización fina.

Contexto y campo receptivo

Saber si un píxel es hierba o cielo depende de su entorno. Atraer el contexto con pirámides o atrous conviene para decidir regiones grandes y coherentes.

Semántica frente a instancial

La semántica pinta todos los coches con el mismo color. La instancial separa cada coche como objeto distinto. Son problemas relacionados pero con salidas y métricas diferentes.

Segmentación panóptica

La panóptica unifica ambas: clasifica y a la vez distingue instancias, tratando cosas contables y amontonables por separado. Es el marco más completo.

Métricas de solapamiento

Se evalúa con IoU medio por clase y, para lo panóptica, con PQ, que premia detectar y segmentar bien cada instancia. Un recuadro ya no basta para juzgar.

Coste y aplicaciones

Etiquetar píxeles es carísimo, y predecir a esa resolución pesa. Aun así, la segmentación es central en conducción autónoma, medicina y teledetección.

Errores frecuentes

• Perder el detalle fino por bajar demasiado la resolución y no recuperarlo con saltos o upsampling.
• Confundir segmentación semántica con instancial y no poder contar objetos individuales del mismo tipo.
• Ignorar el contexto y clasificar bien un píxel aislado pero mal la región a la que pertenece.

Ejemplo resuelto: segmentar una imagen médica

Debes delimitar órganos en una resonancia y montas un segmentador:

1. Etiquetas cada píxel de un conjunto de imágenes con sus máscaras.
2. Eliges una U-Net, que baja y vuelve a subir con saltos.
3. Entrenas con una pérdida que penaliza el desajuste de las regiones.
4. Recuperas la resolución original para pintar el mapa denso.
5. Mides con IoU medio por clase y revisas los bordes mal trazados.

¿Para qué sirve en la realidad?

Segmentar al píxel permite delimitar lesiones médicas, carriles y aceras para un coche autónomo, o cultivos desde satélite; ahí una caja ya no basta y el contorno preciso es el producto.

Segmentación de imágenes
Segmentación semántica, instancial y panóptica.

# Segmentación semántica
## Codificar
### bajar resolución
### perder detalle
## Decodificar
### subir resolución
### convolución transpuesta
## Saltos
### U-Net
### recuperan bordes
## Salidas
### semantica
### instancial
### panoptica

Segmentación semántica
Asignar una clase a cada píxel de la imagen.