BERT y modelos enmascarados

Modelo de lenguaje enmascarado

Se corrompe la frase sustituyendo algunos tokens por un marcador [MASK] y se entrena para predecirlos. Al usar contexto de ambos lados, la representación resultante es bidireccional.

Por qué enmascarar y no predecir el siguiente

• Predecir solo el siguiente obliga a leer de izquierda a derecha.
• Enmascarar deja mirar el contexto completo alrededor del hueco.
• Eso favorece tareas de comprensión, no solo de generación.

Bidireccionalidad

Cada token ve a los que le preceden y a los que le siguen. Captar ambas direcciones enriquece la representación para clasificar, extraer entidades o responder preguntas.

El marcador [CLS]

Se añade un token especial al principio cuya representación final resume la secuencia entera. Se usa para tareas de clasificación de frase o par.

Predecir los tokens ocultos

No siempre se reemplaza por [MASK]: parte se troca por una palabra aleatoria y parte se deja intacta. Así el modelo no aprende a ignorar el marcador y debe confiar en el contexto.

Autosupervisión a escala

El entrenamiento no necesita anotación humana: basta un corpus enorme. La señal sale del propio texto, lo que permite escalar a miles de millones de palabras.

Ajuste fino por tareas

Sobre el modelo preentrenado se añade una cabecita ligera y se entrena con pocos datos etiquetados. Una misma base sirve para sentimiento, preguntas o similitud.

Coste del ajuste

• Sintonizar todas las capas es caro; a veces solo se ajustan las altas.
• Congelar gran parte del modelo ahorra cómputo y evita olvidar.
• Técnicas de ajuste eficiente afinan unos pocos parámetros.

De BERT a variantes

ROBERTA lo mejoró con más datos y menos ruido; otros lo condensaron o lo especializaron en dominios. La receta del lenguaje enmascarado se volvió estándar.

Limitaciones para generar

Al enmascarar al azar, el modelo nunca aprendió a producir texto coherente token a token. Para generar sirven mejor los autorregresivos; BERT brilla entendiendo.

Interpretación y sesgo

Las representaciones codifican regularidades del corpus, incluidos sus sesgos. Reutilizarlo acríticamente propaga estereotipos aprendidos del dato.

Errores frecuentes

• Intentar generar texto con BERT: nació para entender, no para producir secuencias coherentes token a token.
• Reentrenar desde cero con pocas etiquetas cuando basta afinar una base preentrenada en minutos.
• Olvidar que el modelo hereda los sesgos de su corpus y publicarlo como si fuera neutral.

Ejemplo resuelto: clasificar reseñas con 500 etiquetas

Entrenar un clasificador desde cero con solo 500 reseñas aboca a sobreajustar; partir de BERT cambia el panorama.

1. Añades el token [CLS] al principio de cada reseña y tokenizas el texto.
2. El codificador preentrenado produce una representación contextual por token, incluida la de [CLS].
3. Enganchas una capa lineal sobre [CLS] que devuelve probabilidad de positiva o negativa.
4. Afinas solo las capas altas con tus 500 ejemplos, congelando el grueso del modelo para no olvidar.
5. Validas con reseñas reservadas: si la precisión se estanca, afinas un poco más abajo en el modelo o ajustas la tasa.

¿Para qué sirve en la realidad?

Detección de spam, análisis de sentimiento en encuestas, respuesta de preguntas y búsqueda semántica en catálogos usan hoy codificadores tipo BERT afinados con cientos de ejemplos: la comprensión del lenguaje dejó de exigir grandes etiquetados.

Modelo de lenguaje
Modelos que asignan probabilidad a secuencias de texto.

# BERT y preentrenamiento
## Preentrenar
### lenguaje enmascarado
### corpus sin anotar
## Representar
### bidireccional
### token cls resumidor
## Afinar
### cabecera ligera
### pocos etiquetas
### congelar capas
## Encaja
### clasificar
### extraer entidades
### no generar

BERT (modelo de lenguaje)
Ficha del modelo que popularizó el preentrenamiento por enmascarado.