Modelos foundation, fine-tuning y alineación

Capacidad no es lo mismo que alineación Un modelo preentrenado sabe completar texto; no sabe ser útil, honesto e inofensivo. Esa segunda parte se entrena aparte, y decide si un sistema generativo es realmente usable.

Un gran modelo de lenguaje se preentrena prediciendo el siguiente token sobre un corpus enorme. El resultado es plausible pero no orientado a ayudarte: puede negarse, divagar o inventar. El camino de un modelo base a un asistente pasa por dos ajustes posteriores: fine-tuning de instrucciones y alineación con preferencias.

Del modelo base al asistente

Preentrenamiento: aprende lenguaje y conocimiento; queda congelado.
SFT (fine-tuning de instrucciones): aprende a responder una instrucción en el formato deseado.
Alineación (RLHF): aprende qué respuestas prefieren los humanos.

Diagrama de tres bandas: las etapas de entrenamiento (preentrenamiento, SFT, alineación RLHF), qué se ajusta en cada una (pesos base, formato y rol, preferencias) y el resultado (modelo base, sigue instrucciones, útil y alineado). — Cada etapa pule una capa distinta: conocimiento, obediencia a instrucciones y preferencia humana.

Preentrenamiento y leyes de escala

El conocimiento del modelo se gana escalando tres cosas a la vez: datos, parámetros y cómputo. Las leyes de escala relacionan esas tres con la pérdida de predicción, y explican por qué "más grande y más datos" reduce el error de forma predecible y cara.

Fine-tuning de instrucciones (SFT)

Se afina el modelo con miles de ejemplos de la forma (instrucción, entrada, respuesta deseada). No añade tanto conocimiento nuevo como formato y rol: enseña al modelo a comportarse como un asistente que sigue instrucciones en lugar de solo continuar texto.

Alineación con preferencias (RLHF)

Humanos comparan varias respuestas y las rankean; con esos juicios se entrena un modelo de recompensa que puntúa cualquier salida, y con él se afinan los pesos mediante aprendizaje por refuerzo. El objetivo es que el modelo preferido se parezca al preferido por las personas: más útil, honesto y seguro.

Adaptación barata: PEFT y LoRA

Ajustar los miles de millones de parámetros de un modelo grande es prohibitivo. LoRA congela los pesos originales y aprende matrices de bajo rango que se suman a ellos: adapta el comportamiento con una fracción del coste y memoria, y permite varios "ajustes" por dominio sobre el mismo base.

Cada etapa resuelve un problema distinto; ninguna sustituye a otra.
Etapa	Qué ajusta	Qué aporta
Preentrenamiento	pesos del modelo	conocimiento y competencia lingüística
SFT	comportamiento	seguir instrucciones y formato
RLHF	preferencias	utilidad, honestidad y seguridad
LoRA / PEFT	matrices de bajo rango	adaptar barato a un dominio

Errores frecuentes

Confundir capacidad con alineación: un modelo grande sin alinear sigue siendo un completador de texto.
Sobre-ajustar el formato del SFT hasta perder generalidad.
Asumir que RLHF "enseña datos": afina preferencias sobre lo que ya sabe.

Ejemplo resuelto: de base a asistente de dominio

Partir de un modelo base ya preentrenado.
Construir un set de instrucciones del dominio con respuestas deseadas.
Aplicar SFT (o LoRA) para fijar formato y comportamiento.
Recolectar rankings humanos y entrenar alineación por preferencias.
Evaluar con el set de evaluación de contenido generado antes de publicar.

¿Para qué sirve en la realidad?

Casi toda la IA generativa productiva es un modelo foundation alineado. Entender estas etapas deja de lado la magia: el "chatbot bueno" es resultado de pipeline de entrenamiento deliberado, medible y auditable.

¿Qué aporta principalmente la fase RLHF a un modelo de lenguaje?

LoRA actualiza todos los parámetros del modelo base durante el fine-tuning.

El ajuste con ejemplos (instrucción, respuesta deseada) que fija el formato y el rol se llama de instrucciones.

Clasifica cada objetivo según a qué etapa del pipeline corresponde.

Preentrenamiento

SFT

RLHF

Une cada término con su idea central.

Alineación de modelos

Entrenar prediciendo el siguiente token

preentrenamiento

Afina para responder instrucciones

SFT

Aprende preferencias humanas vía ranking

RLHF

Adaptación barata con matrices de bajo rango

LoRA

Relación entre escala y pérdida

leyes de escala

Modelos foundation y alineación

# Foundation y alineacion
## Preentrenar
### next token
### leyes de escala
## SFT
### formato y rol
## Alineacion
### RLHF ranking humano
### modelo de recompensa
## PEFT
### LoRA bajo rango
### adaptacion barata

On the Opportunities and Risks of Foundation Models
Trabajo de referencia que define qué es un modelo foundation y sus riesgos.

InstructGPT: siguiendo instrucciones con feedback humano
Paper fundacional del pipeline SFT + RLHF de alineación.

Tu empresa quiere un asistente interno a partir de un modelo open base. ¿Qué etapas de alineación necesitarías y por dónde empezaría a ser inviable si solo dispones de una GPU y un equipo pequeño de anotadores?