Del piloto al sistema: evaluar para escalar

La mayoría de innovaciones educativas mueren como pilotos exitosos: funcionan en un grupo pequeño, con un docente entusiasta, con recursos extra. Pero no escalan. ¿Por qué? Porque no se evaluaron con criterios de escalabilidad y sostenibilidad. Evaluar innovación no es solo "¿funcionó?" sino "¿puede funcionar en más contextos, con menos recursos, por más tiempo?".

El problema educativo: los pilotos se celebran y nadie decide

El ciclo de vida habitual de una innovación escolar es conocido: un grupo la prueba, sale bien, se presenta en el consejo técnico con fotos, se postula a un reconocimiento, y al año siguiente nadie la usa. No fracasó por mala: se evaluó con una sola pregunta —funcionó— y no se respondió ninguna de las dos que deciden si conviene seguir: funcionaría en otros grupos con docentes distintos, y se sostendría cuando su promotora se vaya. Un proyecto sin respuesta a esas dos preguntas consume el activo más escaso del plantel, que es la credibilidad de los docentes ante la siguiente propuesta.

Este OA enseña a evaluar para decidir. No se trata de producir un informe elegante: se trata de contestar con el diseño correcto qué efecto hubo, con qué costo por unidad de resultado, qué condiciones eran singulares y cuáles replicables, y en qué momento conviene abandonar. La pregunta por la escala se parece a la evaluación de políticas que ya trabajaste, pero cambia la unidad: allí el objeto era una política pública; aquí es un proyecto de tu escuela, con nombres, horas y un presupuesto que alguien autoriza.

Resultados verificables de este OA

• Distinguir efectividad, escalabilidad y sostenibilidad, y decir qué diseño y qué instrumento responde a cada una.
• Explicar qué es la validez externa y por qué un resultado internamente válido puede no trasladarse a otro grupo.
• Calcular el costo por estudiante y por resultado, y comparar dos alternativas con el mismo resultado.
• Clasificar las condiciones de un piloto entre estructurales —replicables— y personales —no replicables—.
• Entregar un plan de evaluación y escala de 1 000 a 1 400 palabras con criterio de abandono explícito, que se integra al proyecto de la maestría.

Tres preguntas de evaluación de innovación

Cómo se evalúa una innovación: cuatro tradiciones y sus límites

La tradición de la inferencia causal aplicada —la metodología de Shadish, Cook y Campbell sobre diseños cuasiexperimentales— enseña qué hace falta para poder atribuir un resultado al programa y no a la selección, a la maduración o a la historia del grupo. Aporta el vocabulario mínimo: comparación, grupo equivalente, validez interna. Su límite: en una escuela no se puede asignar a estudiantes al azar sin un problema ético y político, y un diseño que sacrifica la validez externa para proteger la interna produce resultados ciertos sobre un grupo que no existe en ninguna otra parte.

La tradición de la evaluación del programa (Stufflebeam y su matriz de contexto, entrada, proceso y producto; Chen y la evaluación orientada por la teoría) desplaza la pregunta de «¿funcionó?» a «¿qué ocurrió en cada eslabón y con qué calidad?». Aporta algo que los indicadores de resultado no dan: explica por qué no funcionó, que es la información que permite corregir. Su límite: consume tiempo de registro, y si nadie sostiene la bitácora se convierte en una memoria reconstruida después.

La tradición del análisis de costo-eficacia (Henry Levin y colaboradores) exige una última columna que casi ningún proyecto educativo reporta: el costo por unidad de resultado, y la comparación con la alternativa más barata que produce el mismo efecto. Aporta el argumento que un director puede llevar ante una autoridad con presupuesto: no «es bueno», sino «es la forma menos cara de lograrlo». Su límite: los resultados educativos son difíciles de valorar en dinero sin distorsionarlos, y el costo del tiempo docente casi nunca entra en la cuenta.

La tradición de la escala y el sostenimiento (Michael Fullan; los trabajos sobre mejora continua y capacidad institucional) niega que escalar sea reproducir: escalar es expandir en profundidad y en amplitud a la vez, creando condiciones para que otros produzcan variantes útiles, y sostiene que lo que se agota no es la idea sino la capacidad humana de llevarla. Aporta la pregunta decisiva: qué queda cuando se va quien empujaba. Su límite: su lenguaje de «sistematización» es fácil de pronunciar y difícil de presupuestar, y suele ser citado por quienes no asignan las horas.

Indicadores de impacto en innovación

Los indicadores de innovación no son solo calificaciones. Deben medir múltiples dimensiones:

• Aprendizaje: ¿mejoraron resultados de aprendizaje? (no solo calificaciones: competencias, habilidades, actitudes)
• Equidad: ¿la innovación benefició a todos o solo a los más aventajados? Brecha entre grupos.
• Satisfacción: ¿estudiantes y docentes valoran la innovación? Percepción de relevancia, motivación.
• Adopción: ¿cuántos docentes la usan espontáneamente? ¿Se expandió sin presión?
• Costo-efectividad: ¿el impacto justifica el costo? ¿Hay alternativas más baratas con similar resultado?
• Transferibilidad: ¿funciona en otros contextos? ¿Qué adaptaciones requiere?

Desarrollo conceptual: cuatro precisiones antes de hablar de escala

Primera: condiciones estructurales y condiciones personales. Una innovación depende de condiciones de dos tipos: las que se pueden instalar —una hora en el horario, un material, una regla de agrupamiento, un acuerdo con la autoridad— y las que no —el carisma de una docente, su conocimiento tácito del grupo, el apoyo personal del director—. El diagnóstico de escalabilidad consiste en separarlas con honestidad; si el éxito se explica por una condición personal, el proyecto no escala: se reproduce una vez por generación, cuando aparece otra persona igual.

Segunda: fidelidad de la réplica y adaptación legítima. Escalar exige decir qué es el centro y qué es la corteza, y registrar cada desviación. Si la réplica cambia el centro, ya no es la misma innovación; si no cambia nada, probablemente nadie la usó. El indicador que sirve es la bitácora de adaptaciones, no el manual de implementación perfecto.

Tercera: sostenibilidad presupuestal, institucional y pedagógica. La primera es que exista una partida; la segunda, que una instancia del plantel la haga suya con responsable y calendario; la tercera, que la práctica siga teniendo sentido para quien la aplica cuando desaparece el estímulo. Las tres se agotan por separado, y un plan que solo asegura la primera es un plan de un año con nombre de tres.

Cuarta: indicador centinela y criterio de abandono. Un buen plan no define sólo cómo se mide el éxito: define la señal que dispara una revisión y la decisión que esa revisión puede tomar, incluida la de parar. Sin esa cláusula, los proyectos educativos no se evalúan: se financian hasta que cambian de moda, y el costo lo pagan quienes los sostienen con su tiempo.

Barreras y facilitadores del escalamiento

Método: escribir el plan de evaluación y escala

Caso desarrollado

La primaria «Los Mangos» (nombre ficticio) lleva un año con un programa de escritura diaria: quince minutos al inicio de la jornada, en tercero y cuarto grado. Los grupos de la docente que lo diseñó mejoraron en la prueba interna de expresión escrita; la dirección propone extenderlo a los seis grados. El plan de evaluación devuelve tres objeciones utilizables. Primera: la comparación no existe —los dos grupos mejoraron más que los demás, pero también eran los únicos con una docente con dedicación exclusiva y la única aula con material impreso en casa—. Segunda: el costo por estudiante no está en la licencia ni en las hojas: son 45 minutos de formación por docente por ciclo y la corrección de 120 textos, que hoy hace una sola persona fuera de su horario. Tercera: la condición personal es mayor que la estructural, así que tal como está, el proyecto no escala.

La reescala del proyecto consiste en convertir condiciones personales en estructurales: material base entregado a todo el plantel, una hora de formación pagada en el consejo técnico en lugar de cuatro, una rutina de corrección con lista de cotejo que no exija leer todo, y una réplica deliberada en dos grupos de quinto con docente distinta, con registro de adaptaciones. El resultado se mide contra la línea base de cada grupo —no con un promedio escolar— y se declara qué no se puede comparar: la cohorte anterior no tiene la misma prueba. Criterio de abandono escrito: si al final del segundo periodo la diferencia entre grupos con y sin programa es menor que la mitad de la variación entre alumnos, se detiene la extensión y se conserva solo en tercero. Ninguna de esas decisiones es heroica; todas son de costo y de calendario, y por eso se deciden antes.

Actividad integradora: plan de evaluación y escala

Consigna. Sobre el proyecto que diseñaste en el OA anterior —o sobre una innovación real de tu plantel— escribe un plan de evaluación y escala de 1 000 a 1 400 palabras con las siete decisiones: (a) la pregunta que responde y por qué no responde las otras dos; (b) el diseño de comparación y lo que no puedes comparar; (c) resultado, instrumento, responsable de registro y frecuencia; (d) dos condiciones estructurales y una personal, con el plan para convertirla o renunciar a ella; (e) costo por estudiante y por resultado frente a la alternativa más barata, con la hora docente incluida; (f) réplica propuesta con adaptaciones permitidas y bitácora de desviaciones; (g) criterio de abandono con la señal y la instancia que decide. Añade dos hechos, dos interpretaciones y dos propuestas rotuladas. Se entrega con fuentes y se defiende en 12 minutos con una objeción obligatoria de un colega.

Tres criterios fuera de la rúbrica: que el plan no compare grupos distintos sin declarar la diferencia de condiciones; que ninguna réplica se apoye en horas no pagadas, y que el criterio de abandono se pueda aplicar en el plazo del ciclo y no dentro de tres años.

Errores frecuentes

• Llamar resultado al promedio de satisfacción de una encuesta aplicada por quien evalúa.
• Confundir crecimiento de cobertura con escala: más grupos con menos calidad es expansión, no escalamiento.
• Calcular el costo omitiendo la hora docente, que es el renglón recurrente.
• Evaluar la efectividad y la sostenibilidad con el mismo dato.
• Atribuir el éxito a la capacitación recibida sin medir si cambió la práctica.
• Dejar el criterio de abandono sin escribir, para no tener que usarlo.

Síntesis

Tres ideas. Primera: las tres preguntas son secuenciales y cada una tiene su propio costo metodológico; pretender responderlas con una sola medición es la razón por la que los informes terminan en conclusiones que nadie puede usar. Segunda: la escala es un problema de capacidad, no de entusiasmo: lo que se replica son condiciones instaladas, no voluntades admirables. Tercera: decidir antes el criterio de abandono protege al proyecto más que al presupuesto, porque separa la pregunta técnica de la defensa personal de quien lo promovió.

Referencias verificables

• William Shadish, Thomas Cook y Donald Campbell, Cuasiexperimentación y diseños experimentales de campo (2002).
• Daniel Stufflebeam, trabajos sobre el modelo CIPP de evaluación de programas.
• James S. Coleman y colaboradores, informe sobre igualdad de oportunidades educativas (1966).
• Michael Fullan, escritos sobre escala, profundidad y sostenimiento del cambio educativo.
• Henry M. Levin, trabajos sobre productividad y análisis de costo-eficacia en educación.
• Richard Elmore, escritos sobre mejora, escala y capacidad de las escuelas.
• Paul Berman, trabajos sobre implementación y adaptación mutua de innovaciones educativas.
• Implementation Research Center de la Universidad de Chicago, trabajos sobre los desafíos de escalar reformas educativas desde pilotos exitosos.
• Seymour Sarason, escritos sobre los mitos de la innovación educativa y las condiciones para el cambio en las escuelas.

Conexiones y prerrequisitos

Prerrequisitos: «Diseño de proyectos educativos innovadores» —de donde tomas el resultado, los indicadores y el costo— y «Tecnología e innovación», cuyo expediente aporta la evidencia interna, externa y local. Este OA entrega a «Casos de innovación educativa en México y América Latina» el criterio con el que se leen experiencias ajenas: qué función, en qué condiciones y qué era transferible. Si ya trabajaste el contrafactual en el módulo de políticas, lo que sigue es aplicarlo a tu propio proyecto.