BERT y modelos enmascarados

BERT: embeddings sensibles al contexto

Vídeo en español que explica cómo BERT aprende representaciones bidireccionales tapando palabras.

Modelo de lenguaje enmascarado

Se corrompe la frase sustituyendo algunos tokens por un marcador [MASK] y se entrena para predecirlos. Al usar contexto de ambos lados, la representación resultante es bidireccional.

Por qué enmascarar y no predecir el siguiente

Predecir solo el siguiente obliga a leer de izquierda a derecha.
Enmascarar deja mirar el contexto completo alrededor del hueco.
Eso favorece tareas de comprensión, no solo de generación.

Una fila de fichas teal con una ficha central coral tachada por un hueco; desde la izquierda y desde la derecha convergen dos flechas que señalan ese hueco. — Al tapar una palabra, el modelo debe adivinarla mirando a ambos lados: así se entrena la bidireccionalidad.

Bidireccionalidad

Cada token ve a los que le preceden y a los que le siguen. Captar ambas direcciones enriquece la representación para clasificar, extraer entidades o responder preguntas.

El marcador [CLS]

Se añade un token especial al principio cuya representación final resume la secuencia entera. Se usa para tareas de clasificación de frase o par.

Predecir los tokens ocultos

No siempre se reemplaza por [MASK]: parte se troca por una palabra aleatoria y parte se deja intacta. Así el modelo no aprende a ignorar el marcador y debe confiar en el contexto.

Autosupervisión a escala

El entrenamiento no necesita anotación humana: basta un corpus enorme. La señal sale del propio texto, lo que permite escalar a miles de millones de palabras.

Ajuste fino por tareas

Sobre el modelo preentrenado se añade una cabecita ligera y se entrena con pocos datos etiquetados. Una misma base sirve para sentimiento, preguntas o similitud.

Coste del ajuste

Sintonizar todas las capas es caro; a veces solo se ajustan las altas.
Congelar gran parte del modelo ahorra cómputo y evita olvidar.
Técnicas de ajuste eficiente afinan unos pocos parámetros.

De BERT a variantes

ROBERTA lo mejoró con más datos y menos ruido; otros lo condensaron o lo especializaron en dominios. La receta del lenguaje enmascarado se volvió estándar.

Limitaciones para generar

Al enmascarar al azar, el modelo nunca aprendió a producir texto coherente token a token. Para generar sirven mejor los autorregresivos; BERT brilla entendiendo.

Interpretación y sesgo

Las representaciones codifican regularidades del corpus, incluidos sus sesgos. Reutilizarlo acríticamente propaga estereotipos aprendidos del dato.

Errores frecuentes

Intentar generar texto con BERT: nació para entender, no para producir secuencias coherentes token a token.
Reentrenar desde cero con pocas etiquetas cuando basta afinar una base preentrenada en minutos.
Olvidar que el modelo hereda los sesgos de su corpus y publicarlo como si fuera neutral.

Ejemplo resuelto: clasificar reseñas con 500 etiquetas

Entrenar un clasificador desde cero con solo 500 reseñas aboca a sobreajustar; partir de BERT cambia el panorama.

Añades el token [CLS] al principio de cada reseña y tokenizas el texto.
El codificador preentrenado produce una representación contextual por token, incluida la de [CLS].
Enganchas una capa lineal sobre [CLS] que devuelve probabilidad de positiva o negativa.
Afinas solo las capas altas con tus 500 ejemplos, congelando el grueso del modelo para no olvidar.
Validas con reseñas reservadas: si la precisión se estanca, afinas un poco más abajo en el modelo o ajustas la tasa.

¿Para qué sirve en la realidad?

Detección de spam, análisis de sentimiento en encuestas, respuesta de preguntas y búsqueda semántica en catálogos usan hoy codificadores tipo BERT afinados con cientos de ejemplos: la comprensión del lenguaje dejó de exigir grandes etiquetados.

BERT se entrena con lenguaje enmascarado en lugar de predecir el siguiente token porque así:

El preentrenamiento de BERT requiere grandes volúmenes de texto con etiquetas anotadas a mano.

BERT

Objetivo de predecir tokens tapados

lenguaje enmascarado

Token cuyo estado resume la frase

cls

Ventaja de mirar a los dos lados

bidireccional

Entrenar sin etiquetas a partir del texto

autosupervision

Adaptar el modelo base con una cabecita

ajuste fino

Toca una tarjeta para ver la respuesta.

Ordena el ciclo de vida de un modelo tipo BERT:

Arrastra cada ficha a su categoría (o tócala y luego toca la categoría). También puedes usar el teclado.

Modelo de lenguajeModelos que asignan probabilidad a secuencias de texto.

Une cada idea de BERT con su consecuencia práctica.

Entender una vez, afinar muchas

BERT y preentrenamiento
- Preentrenar
  - lenguaje enmascarado
  - corpus sin anotar
- Representar
  - bidireccional
  - token cls resumidor
- Afinar
  - cabecera ligera
  - pocos etiquetas
  - congelar capas
- Encaja
  - clasificar
  - extraer entidades
  - no generar

BERT (modelo de lenguaje)Ficha del modelo que popularizó el preentrenamiento por enmascarado.

Necesitas detectar spam con solo 500 ejemplos etiquetados. ¿Por qué partir de un codificador preentrenado encaja mejor que entrenar una red desde cero? Razona.

Tu texto se guarda sólo en este dispositivo.

BERT y modelos enmascarados

Herramientas de la lección

Sobre este contenido

Ir a