Un gran modelo de lenguaje se preentrena prediciendo el siguiente token sobre un corpus enorme. El resultado es plausible pero no orientado a ayudarte: puede negarse, divagar o inventar. El camino de un modelo base a un asistente pasa por dos ajustes posteriores: fine-tuning de instrucciones y alineación con preferencias.
Del modelo base al asistente
- Preentrenamiento: aprende lenguaje y conocimiento; queda congelado.
- SFT (fine-tuning de instrucciones): aprende a responder una instrucción en el formato deseado.
- Alineación (RLHF): aprende qué respuestas prefieren los humanos.
Preentrenamiento y leyes de escala
El conocimiento del modelo se gana escalando tres cosas a la vez: datos, parámetros y cómputo. Las leyes de escala relacionan esas tres con la pérdida de predicción, y explican por qué "más grande y más datos" reduce el error de forma predecible y cara.
Fine-tuning de instrucciones (SFT)
Se afina el modelo con miles de ejemplos de la forma (instrucción, entrada, respuesta deseada). No añade tanto conocimiento nuevo como formato y rol: enseña al modelo a comportarse como un asistente que sigue instrucciones en lugar de solo continuar texto.
Alineación con preferencias (RLHF)
Humanos comparan varias respuestas y las rankean; con esos juicios se entrena un modelo de recompensa que puntúa cualquier salida, y con él se afinan los pesos mediante aprendizaje por refuerzo. El objetivo es que el modelo preferido se parezca al preferido por las personas: más útil, honesto y seguro.
Adaptación barata: PEFT y LoRA
Ajustar los miles de millones de parámetros de un modelo grande es prohibitivo. LoRA congela los pesos originales y aprende matrices de bajo rango que se suman a ellos: adapta el comportamiento con una fracción del coste y memoria, y permite varios "ajustes" por dominio sobre el mismo base.
| Etapa | Qué ajusta | Qué aporta |
|---|---|---|
| Preentrenamiento | pesos del modelo | conocimiento y competencia lingüística |
| SFT | comportamiento | seguir instrucciones y formato |
| RLHF | preferencias | utilidad, honestidad y seguridad |
| LoRA / PEFT | matrices de bajo rango | adaptar barato a un dominio |
Errores frecuentes
- Confundir capacidad con alineación: un modelo grande sin alinear sigue siendo un completador de texto.
- Sobre-ajustar el formato del SFT hasta perder generalidad.
- Asumir que RLHF "enseña datos": afina preferencias sobre lo que ya sabe.
Ejemplo resuelto: de base a asistente de dominio
- Partir de un modelo base ya preentrenado.
- Construir un set de instrucciones del dominio con respuestas deseadas.
- Aplicar SFT (o LoRA) para fijar formato y comportamiento.
- Recolectar rankings humanos y entrenar alineación por preferencias.
- Evaluar con el set de evaluación de contenido generado antes de publicar.
¿Para qué sirve en la realidad?
Casi toda la IA generativa productiva es un modelo foundation alineado. Entender estas etapas deja de lado la magia: el "chatbot bueno" es resultado de pipeline de entrenamiento deliberado, medible y auditable.
¿Qué aporta principalmente la fase RLHF a un modelo de lenguaje?
LoRA actualiza todos los parámetros del modelo base durante el fine-tuning.
El ajuste con ejemplos (instrucción, respuesta deseada) que fija el formato y el rol se llama de instrucciones.
Clasifica cada objetivo según a qué etapa del pipeline corresponde.
Arrastra cada ficha a su categoría (o tócala y luego toca la categoría). También puedes usar el teclado.
Une cada término con su idea central.
Alineación de modelos
Toca una tarjeta para ver la respuesta.
Modelos foundation y alineación
- Foundation y alineacion
- Preentrenar
- next token
- next token
- leyes de escala
- Preentrenar
- formato y rol
- RLHF ranking humano
- LoRA bajo rango
On the Opportunities and Risks of Foundation ModelsTrabajo de referencia que define qué es un modelo foundation y sus riesgos.
InstructGPT: siguiendo instrucciones con feedback humanoPaper fundacional del pipeline SFT + RLHF de alineación.
Tu empresa quiere un asistente interno a partir de un modelo open base. ¿Qué etapas de alineación necesitarías y por dónde empezaría a ser inviable si solo dispones de una GPU y un equipo pequeño de anotadores?
Tu texto se guarda sólo en este dispositivo.
Comentarios
Inicia sesión para comentar.
Todavía no hay comentarios. Sé la primera persona en opinar.