Evaluar un programa es más que revisar si se cumplieron objetivos
La evaluación de programas educativos analiza si un programa es pertinente (responde a necesidades reales), relevante (forma profesionales que el mercado/sociedad necesita), eficiente (usa bien los recursos), efectivo (logra sus objetivos) e impactante (transforma su contexto). No es un trámite de acreditación: es una herramienta de mejora continua.
El problema educativo: el recurso que no se alinea con el resultado es ruido
Un recurso didáctico no es un adorno: es un insumo para el aprendizaje. Si el resultado de aprendizaje es «el estudiante debe calcular el volumen de agua para regar una parcela» y el recurso es un video de 30 minutos sobre la historia del agua, el recurso no sirve: el estudiante ve el video pero no aprende a calcular. Si el resultado es «el estudiante debe argumentar una posición ética» y el recurso es una lectura de una página, el recurso es insuficiente: el estudiante lee pero no tiene modelos de argumentación. El recurso no se elige por lo que el docente conoce: se elige por lo que el estudiante necesita para alcanzar el resultado.
Este OA trabaja cuatro habilidades que se pueden aprender y se miden en la práctica: seleccionar recursos didácticos alineados con los resultados de aprendizaje, evaluar medios de enseñanza con criterios de relevancia pedagógica, verificar la accesibilidad de los recursos —que el estudiante pueda usarlos—, y analizar el costo-beneficio —que el beneficio pedagógico justifique el costo en tiempo, dinero y esfuerzo—.
Resultados verificables de este OA
- Seleccionar recursos didácticos que contribuyan directamente a alcanzar los resultados de aprendizaje: no lo que el docente conoce, sino lo que el estudiante necesita.
- Evaluar medios de enseñanza con criterios de relevancia pedagógica: el recurso enseña lo que debe enseñar, no entretiene sobre otro tema.
- Verificar la accesibilidad de los recursos: el estudiante puede usarlos —tiene la tecnología, el lenguaje, el tiempo—.
- Analizar el costo-beneficio: el beneficio pedagógico justifica el costo en tiempo, dinero y esfuerzo.
Modelos de evaluación de programas
Tres modelos clásicos
¿Desde dónde se evalúa un programa? Tres perspectivas:
Ejemplo: Contexto: ¿el programa responde a demanda laboral? Insumo: ¿docentes, infraestructura? Proceso: ¿se implementa como se diseñó? Producto: ¿los egresados consiguen empleo?
Ejemplo: Reacción: ¿les gustó el curso? Aprendizaje: ¿mejoraron en examen? Comportamiento: ¿aplican en su trabajo? Resultados: ¿mejoró su institución?
Ejemplo: un programa dice "80% de egresados empleados". Scriven pregunta: ¿es 80% suficiente? ¿El estándar es adecuado?
Indicadores de calidad de un programa
| Dimensión | Indicador | Cómo se mide |
|---|---|---|
| Pertinencia | ¿Responde a necesidades del contexto? | Encuestas a empleadores, análisis de demanda laboral |
| Relevancia | ¿Forma profesionales que la sociedad necesita? | Tasas de empleo, satisfacción de egresados |
| Eficiencia | ¿Usa bien los recursos? | Costo por estudiante, tiempo de titulación, deserción |
| Efectividad | ¿Logra sus objetivos? | Competencias demostradas, resultados de aprendizaje |
| Impacto | ¿Transforma su contexto? | Contribución a problemas sociales, innovación generada |
Un programa educativo tiene 95% de satisfacción estudiantil y 90% de aprobación en exámenes. Pero solo 30% de egresados consigue empleo en su campo. ¿Qué dimensión de calidad está fallando?
Desarrollo conceptual: relevancia, accesibilidad, costo-beneficio
Primera idea: la relevancia pedagógica del recurso. El recurso es relevante cuando enseña lo que debe enseñar. No cuando entretiene, no cuando impresiona, no cuando el docente lo conoce bien. La relevancia se verifica con una pregunta: si el estudiante usa el recurso, ¿alcanza el resultado de aprendizaje? Si la respuesta es sí, el recurso es relevante. Si la respuesta es no, el recurso es ruido. Un video puede ser relevante si muestra el procedimiento que el estudiante debe aprender; puede ser ruido si muestra la historia del tema sin mostrar el procedimiento.
Segunda idea: la accesibilidad del recurso. El recurso es accesible cuando el estudiante puede usarlo. No cuando el docente puede usarlo: cuando el estudiante puede. Si el recurso requiere una licencia que el estudiante no tiene, no es accesible. Si el recurso está en un idioma que el estudiante no domina, no es accesible. Si el recurso requiere una conexión a internet que el estudiante no tiene, no es accesible. La accesibilidad no es un detalle: es una condición. Si el recurso no es accesible, no es un recurso: es una barrera.
Tercera idea: el costo-beneficio del recurso. El recurso tiene un costo: tiempo del docente para seleccionarlo, tiempo del estudiante para usarlo, dinero para adquirirlo, esfuerzo para integrarlo. El beneficio es lo que el estudiante aprende gracias al recurso. El costo-beneficio es positivo cuando el beneficio justifica el costo. Si el recurso cuesta 10 horas de preparación del docente y el estudiante aprende lo mismo con un recurso gratuito en 1 hora, el costo-beneficio es negativo. Si el recurso cuesta 100 pesos por estudiante y el estudiante aprende lo mismo con un recurso gratuito, el costo-beneficio es negativo.
| Criterio | Pregunta clave | Error frecuente |
|---|---|---|
| Relevancia pedagógica | ¿El recurso enseña lo que debe enseñar? | Elegir lo que impresiona, no lo que enseña. |
| Accesibilidad | ¿El estudiante puede usarlo? | Asumir que lo que el docente puede usar, el estudiante también. |
| Costo-beneficio | ¿El beneficio justifica el costo? | No considerar el tiempo de preparación del docente. |
| Variedad | ¿Hay recursos para distintos estilos de aprendizaje? | Usar siempre el mismo tipo de recurso. |
| Actualización | ¿El recurso está vigente? | Usar recursos desactualizados por costumbre. |
Acreditación y mejora continua
La acreditación es el proceso formal mediante el cual un organismo externo certifica que un programa cumple estándares de calidad. En México, los organismos acreditadores (CIEES, COPAES, CONAIC) evalúan programas de educación superior. La acreditación no es el fin: es el inicio de un ciclo de mejora continua.
- Estándares de acreditación: criterios mínimos que debe cumplir el programa (plantel docente, infraestructura, plan de estudios, investigación, vinculación).
- Autoevaluación: la institución analiza su propio programa antes de la evaluación externa. Identa fortalezas y áreas de mejora.
- Evaluación externa: pares evaluadores visitan la institución, verifican la autoevaluación, emiten dictamen.
- Plan de mejora: tras la acreditación, la institución implementa mejoras en las áreas identificadas. La acreditación tiene vigencia temporal (3-6 años).
- Ciclo virtuoso: acreditación → plan de mejora → implementación → nueva acreditación. La calidad no es un estado: es un proceso continuo.
Relaciona cada modelo de evaluación con su enfoque:
Verificación: Evaluación de programas
Aquí se mira lo que ya fuiste acertando. Pulsa «Comprobar» para saber si puedes seguir.
Verificación: Recursos didácticos y medios de enseñanza
Aquí se mira lo que ya fuiste acertando. Pulsa «Comprobar» para saber si puedes seguir.
Método: la selección con criterios
Siete decisiones, en el orden en que se toman
- 1. Define los resultados de aprendizaje: qué debe saber hacer el estudiante al terminar. Sin resultados claros, no puedes seleccionar recursos: no sabes qué deben enseñar.
- 2. Identifica qué debe aprender el estudiante para alcanzar cada resultado: conceptos, procedimientos, actitudes. El recurso debe enseñar eso, no otra cosa.
- 3. Busca recursos que enseñen eso: no lo que tú conoces, no lo que está de moda, no lo que la editorial te ofrece. Lo que el estudiante necesita.
- 4. Evalúa la relevancia pedagógica: si el estudiante usa el recurso, ¿alcanza el resultado? Si la respuesta es sí, el recurso es relevante. Si es no, es ruido.
- 5. Verifica la accesibilidad: ¿el estudiante puede usarlo? ¿Tiene la tecnología, el lenguaje, el tiempo? Si no puede, no es un recurso: es una barrera.
- 6. Analiza el costo-beneficio: ¿el beneficio justifica el costo? ¿En tiempo de preparación del docente? ¿En dinero para el estudiante? ¿En esfuerzo de integración?
- 7. Selecciona los recursos finales: los que pasan los cinco criterios. No los que te gustan: los que pasan los criterios.
Paso 1 de 7
Caso desarrollado
La secundaria «Justo Sierra» (nombre ficticio) tiene un programa de física donde el resultado de aprendizaje es: «el estudiante calcula el volumen de agua necesario para regar una parcela». El docente tenía tres recursos: un libro de texto de física general, un video de 30 minutos sobre la historia del agua y una simulación computacional de sistemas de riego. Los tres recursos tenían problemas.
El docente aplica los cinco criterios. Primer recurso: el libro de texto. Relevancia: el libro tiene un capítulo sobre volumen, pero usa ejemplos de prismas y cilindros, no de parcelas; el estudiante aprende a calcular volúmenes, pero no a aplicarlos a riego. Relevancia parcial. Accesibilidad: el libro cuesta 300 pesos; algunos estudiantes no pueden comprarlo. Accesibilidad parcial. Costo-beneficio: el libro cuesta 300 pesos y no enseña lo que el estudiante necesita; el costo-beneficio es negativo. Segundo recurso: el video sobre la historia del agua. Relevancia: el video es interesante, pero no enseña a calcular volúmenes; el estudiante lo ve pero no aprende a calcular. Relevancia nula. Accesibilidad: el video está en YouTube, es gratuito, es accesible. Accesibilidad total. Costo-beneficio: el video es gratuito pero no enseña lo que el estudiante necesita; el costo-beneficio es negativo (el beneficio es cero). Tercer recurso: la simulación computacional de sistemas de riego. Relevancia: la simulación permite al estudiante calcular el volumen de agua para diferentes tipos de parcelas; el estudiante aprende haciendo. Relevancia total. Accesibilidad: la simulación es gratuita, funciona en navegador, no requiere instalación; todos los estudiantes pueden usarla. Accesibilidad total. Costo-beneficio: la simulación es gratuita y enseña exactamente lo que el estudiante necesita; el costo-beneficio es positivo. El docente selecciona la simulación y complementa con un problema escrito de cálculo de volumen de parcela; el libro y el video quedan fuera.
Actividad integradora: selección de recursos con criterios
Consigna. Sobre un resultado de aprendizaje real de tu plantel —o uno simulado si no tienes acceso— escribe un informe de selección de recursos de 800 a 1 200 palabras con las siete decisiones: (a) resultado de aprendizaje: qué debe saber hacer el estudiante; (b) qué debe aprender para alcanzarlo: conceptos, procedimientos, actitudes; (c) tres recursos candidatos que encontraste; (d) evaluación de relevancia pedagógica de cada uno: ¿el recurso enseña lo que debe enseñar?; (e) verificación de accesibilidad de cada uno: ¿el estudiante puede usarlo?; (f) análisis de costo-beneficio de cada uno: ¿el beneficio justifica el costo?; (g) selección final: qué recursos elegiste y por qué. Añade dos hechos, dos interpretaciones y dos propuestas rotuladas. Se entrega con fuentes y se defiende en 10 minutos con una objeción obligatoria sobre la accesibilidad.
| Criterio | 4 · Sólido | 3 · En progreso | 2 · Inicial | 1 · Insuficiente |
|---|---|---|---|---|
| Resultado y aprendizaje | Resultado claro, aprendizaje identificado. | Resultado claro, aprendizaje parcial. | Resultado poco claro. | No define resultado. |
| Recursos candidatos | Tres recursos pertinentes. | Dos recursos pertinentes. | Un recurso pertinente. | No busca recursos. |
| Relevancia | Evalúa relevancia con evidencia. | La menciona sin evidencia. | No evalúa relevancia. | Confunde relevancia con gusto. |
| Accesibilidad | Verifica accesibilidad con criterios. | La menciona sin criterios. | No verifica accesibilidad. | Asume accesibilidad. |
| Costo-beneficio | Analiza costo-beneficio con datos. | Lo menciona sin datos. | No analiza costo-beneficio. | No considera el costo. |
Errores frecuentes
- Elegir recursos por lo que el docente conoce, no por lo que el estudiante necesita.
- Confundir relevancia con entretenimiento: el recurso que impresiona no siempre enseña.
- Asumir accesibilidad: lo que el docente puede usar, no siempre el estudiante puede.
- No considerar el costo de preparación del docente: solo el costo monetario para el estudiante.
- Usar siempre el mismo tipo de recurso: solo videos, solo lecturas, solo simulaciones.
- No actualizar los recursos: usar lo mismo hace diez años porque «funcionó».
Síntesis
Tres ideas. Primera: el recurso no se elige por lo que el docente conoce: se elige por lo que el estudiante necesita para alcanzar el resultado. Segunda: la accesibilidad no es un detalle: es una condición; si el estudiante no puede usarlo, no es un recurso, es una barrera. Tercera: el costo-beneficio no es solo dinero: es tiempo, esfuerzo, oportunidad; el beneficio debe justificar todos los costos.
Referencias verificables
- Richard Mayer, Multimedia Learning: principios de diseño de materiales multimedia.
- John Hattie, Visible Learning: síntesis de meta-análisis sobre lo que funciona en el aula.
- Robert Marzano, Classroom Instruction That Works: estrategias basadas en evidencia.
- Linda Darling-Hammond, The Flat World and Education: equidad y acceso a recursos.
- Michael Fullan, Coherence: alineación de recursos con el sistema.
- Diana Laurillard, Teaching as a Design Science: el docente como diseñador de experiencias.
- Seymour Papert, Mindstorms: el estudiante como constructor de conocimiento con tecnología.
- Paulo Freire, Pedagogía del oprimido: el recurso como instrumento de la libertad, no de la domesticación.
Conexiones y prerrequisitos
Prerrequisito: «Desarrollo de programas de estudio» —de donde tomas los resultados de aprendizaje y la secuencia didáctica que los recursos deben apoyar—. Sin él, la selección de recursos es un ejercicio de gusto, no de pedagogía. Este OA entrega al siguiente —«Evaluación de programas y materiales»— los criterios de selección como insumo: la evaluación de materiales aplica los mismos criterios que la selección, pero con evidencia de uso.
Construir un indicador válido
- ¿Qué aspecto del desempeño quiero ver?
- ¿Es observable y medible?
- ¿Los datos existen y son confiables?
- ¿Tengo un estándar contra el que comparar?
Paso 1 de 4
Elegir el modelo adecuado
- ¿Busco mejorar o rendir cuentas?
- ¿Importan los efectos no previstos?
- ¿Quién decide con estos resultados?
- ¿Qué dimensión (CIPP) necesito iluminar?
Paso 1 de 4
El modelo CIPP de Stufflebeam evalúa un programa examinando…
La evaluación «goal-free» de Scriven propone juzgar el programa por sus efectos reales, incluyendo los no previstos, más que por sus objetivos declarados.
Un buen de calidad es observable, medible, válido y confiable, y permite comparar el desempeño del programa con un estándar.
Comentarios
Inicia sesión para comentar.
Todavía no hay comentarios. Sé la primera persona en opinar.