GPT y modelos autorregresivos
Modelado autorregresivo
El modelo factoriza la probabilidad de una secuencia como producto de condicionales: cada token depende de los anteriores. Entrenar es maximizar la verosimilitud de esa cadena.
Solo decodificador, con máscara causal
- GPT apila capas de decodificador con autoatención enmascarada.
- La máscara impide mirar el futuro: solo ve el prefijo.
- Eso lo hace apto para generar de izquierda a derecha.
Entrenamiento paralelo
Aunque genera token a token, el entrenamiento es paralelo: con docencia forzada se predicen todas las posiciones a la vez sobre la secuencia objetivo desplazada.
Preentrenar y afinar
Primero se preentrena con enormes corpus para aprender la lengua; después se afina o alinea para seguir instrucciones y reducir toxicidad.
De la probabilidad al texto: decodificar
El modelo devuelve una distribución sobre el vocabulario. Elegir cuál token emitir es la decodificación, y define el carácter del texto generado.
Voraz (greedy)
Toma siempre el token más probable. Es determinista y barato, pero se repite y deriva en texto repetitivo o sin gracia.
Haz (beam search)
Explora las varias secuencias más prometedoras a la vez y elige la mejor al final. Mejora la plausibilidad, pero puede sonar genérica.
Muestreo y temperatura
- Muestrear según la probabilidad introduce variedad.
- La temperatura aplana o afila la distribución: alta, más creativa; baja, más conservadora.
- Temperatura cero equivale a decodificación voraz.
Muestreo por núcleo (top-p)
En vez de fijar los k más probables, se muestrea del menor conjunto de tokens cuya probabilidad acumulada supera p. Se adapta a la incertidumbre de cada paso.
Penalizar repeticiones
Se pueden penalizar tokens ya usados para reducir bucles. Es un parche útil, aunque no sustituye a un modelo bien entrenado.
Coste de la generación
Generar es secuencial: cada token exige una pasada completa, y la memoria de atención crece con la longitud. Por eso la inferencia es el gasto dominante.
Alucinación y límites
Al optimizar verosimilitud del siguiente token, el modelo suena fluido sin garantizar verdad. La generación competente no equivale a conocimiento fiable.
Errores frecuentes
- Confundir temperatura alta con creatividad infinita: pasarse produce texto incoherente y fuera de tema.
- Dar por cierto lo que suena fluido: el modelo optimiza verosimilitud del siguiente token, no verdad.
- Ignorar el coste secuencial de la generación y dimensionar la infraestructura como si fuera paralela.
Ejemplo resuelto: ajustar temperatura y top-p para un chatbot
Un asistente de soporte responde plano y repetitivo con decodificación voraz; la solución está en calibrar el muestreo.
- Mides primero con temperatura cero para tener una línea base determinista y comparable.
- Subes la temperatura a 0,7 y observas si gana naturalidad sin perder precisión técnica.
- Activas top-p en 0,9 para recortar la cola de tokens disparatados que la temperatura alta admite.
- Añades penalización de repeticiones leve para romper los bucles frecuentes en respuestas largas.
- Evalúas con conversaciones reales: si aparecen datos inventados, bajas temperatura y añades verificación de fuentes.
¿Para qué sirve en la realidad?
Chatbots, copilotos de programación, generación de copy publicitario y resúmenes automáticos son modelos autorregresivos en producción; entender la decodificación es la diferencia entre un producto que encanta y uno que alucina.
En la decodificación de un modelo autorregresivo, bajar la temperatura a cero equivale a:
Un modelo autorregresivo entrenado con docencia forzada puede calcular las pérdidas de todos los tokens de una secuencia en paralelo.
GPT
Ordena el proceso de generación en un modelo tipo GPT:
Prefijo
Distribución
Decodificar
Añaden
Beam search
Búsqueda haz para decodificar secuencias probables.
Une cada estrategia de decodificación con su comportamiento.
Predecir en bucle es generar
# Modelos autorregresivos ## Modelo ### solo decodificador ### mascara causal ## Entrenar ### verosimilitud ### docencia forzada paralela ## Decodificar ### voraz y haz ### temperatura y top-p ## Riesgos ### alucinacion ### repeticion ### coste secuencial
GPT-3
El modelo que mostró el salto de escala del enfoque autorregresivo.
Tu chatbot alucina datos con total soltura. Explica por qué el objetivo de predecir el siguiente token no garantiza veracidad y qué dos medidas (decodificación, verificación) ayudarían.