¿Cómo saber si tu programa educacional realmente está marcando la diferencia?
Existe poca evidencia respecto al impacto que generan los programas de apoyo académico para el ingreso a educación superior. Pero la información para construirla ya existe, está disponible, y acá te enseñamos cómo hacerlo.
El Centro de Estudios del MINEDUC publica año a año datos de todos los estudiantes del sistema educacional chileno: rendimiento, asistencia, caracterización socioeconómica, ingreso a educación superior, acceso a beneficios estudiantiles, titulación, y más.
Con esa información, es posible construir una evaluación de impacto rigurosa de tu programa. Puedes saber cómo empezaron los estudiantes cuando llegaron a tu programa (por ejemplo con el SIMCE), cómo evolucionaron en el tiempo (PAES), saber si eso tuvo un cambio para ellos (matrícula en Educación Superior), y poder atribuirle el impacto a tu programa (saber lo mismo para el grupo de control).
¿Cómo diseñamos una evaluación de impacto académico para tu programa?
Acá lo importante es saber qué es lo que quieres medir, para qué quieres esa información, y sin importar cuál sea el resultado final, que esa información te ayude a tomar decisiones y comunicar lo que haces en tu programa. A continuación damos cuenta los pasos centrales para llevar una evaluación a cabo.
1. Define qué quieres medir
Antes de buscar datos, necesitas tener claro qué esperas que tu programa esté cambiando. ¿Mejora las notas? ¿Aumenta la probabilidad de rendir la PAES? ¿Incrementa el acceso a educación superior? Tener una hipótesis clara sobre el cambio que genera tu intervención es el punto de partida de cualquier evaluación seria. Sin esto, el análisis no tiene dirección.
2.Accede a la información
Chile tiene un sistema de Datos Abiertos robusto, principalmente si pensamos en datos de educación. El portal de Datos Abiertos del MINEDUC publica anualmente:
- Rendimiento académico
- Asistencia
- Puntaje PAES
- Matrícula en Educación Superior
- Titulación
- Acceso a beneficios estudiantiles
Toda la información disponible es anónima, y están asociada a un identificador único de cada estudiante (MRUN). Es necesario solicitar esta información a la Unidad de Estadística del centro de datos MINEDUC para poder cruzar la información administrativa que tengo, con la información pública.
3. Define el grupo de control
Una evaluación de impacto no pregunta solo “¿cómo les fue a mis estudiantes?” sino “¿cómo les fue comparado con quienes no tuvieron el programa?”. El grupo de control representa ese contrafactual: lo que habría ocurrido en ausencia de la intervención. Puede ser un grupo de estudiantes con características similares que no participaron, aquellos que postularon pero no quedaron seleccionados, algún colegio de características similares, etc. Definirlo bien es clave para que la comparación sea válida.
4. Balancea variables
Antes de estimar cualquier impacto, es fundamental verificar que tu grupo de beneficiarios y tu grupo de control son efectivamente comparables. Si uno tiene mejores notas de partida, o proviene mayoritariamente de colegios particulares pagados, cualquier diferencia que observes podría deberse a eso y no a tu programa. Las variables para balancear incluyen género, edad, tipo de establecimiento, nivel socioeconómico, rendimiento académico previo, entre otras. Este paso determina cuánto puedes confiar en tus resultados, y también el modelo que vas a implementar.
5. Elige y aplica el modelo
Con los grupos balanceados, es momento de definir el método estadístico más adecuado a implementar. Puede ser un modelo de diferencias simples si los grupos son comparables directamente, un matching para emparejar estudiantes con características similares, u otro modelo según la estructura de tus datos y el diseño de tu programa. No existe un modelo universalmente correcto, el mejor es el que responde de forma más honesta a tu pregunta con los datos que tienes.
6. Concluye
El análisis estadístico entrega números, pero la evaluación entrega aprendizajes. Una vez que tienes tus estimaciones, la pregunta central es: ¿qué te están diciendo los datos sobre tu programa? ¿Está funcionando como esperabas? ¿En qué dimensiones tiene más impacto? ¿Hay grupos donde el efecto es mayor? Las conclusiones deben ser honestas y orientadas a la toma de decisiones — tanto para quienes ejecutan el programa como para quienes lo financian o reportan.
Un ejemplo real: Corporación Formando Chile
En la edición anterior, les contamos del Programa EFIES de Formando Chile y les mostramos su experiencia midiendo el impacto de este en el desarrollo de Habilidades Socioemocionales (si no lo pudiste leer, lo dejamos aquí). Ahora, en esta edición, les mostraremos la evaluación de impacto del elemento central del Programa que es lo académico. Lo que encontramos fue:
- +18 puntos NEM
- +14 puntos Ranking
- +25 puntos PAES Matemática
- +21 puntos PAES Lenguaje
- +18 pp de mayor probabilidad de postular a educación superior
- +9 pp de mayor probabilidad de ingresar a educación superior
- +12pp de adjudicarse beneficios estudiantiles
El análisis estadístico nos entregó estos números, pero la evaluación nos entregó información más valiosa y aprendizajes.
Para los estudiantes
Los resultados en PAES se tradujeron en aproximadamente 20 puntos adicionales en el puntaje ponderado. Lo que significa que 1 de cada 5 estudiantes del Programa estaba por sobre 20 puntos del puntaje de corte en la carrera donde se matriculó. — lo que significa que para ellos, el programa marcó la diferencia entre entrar o no a esa carrera.
Para la organización
Poder contar con evidencia robusta y fundamentos reales le permitió a la organización vitalizar su propósito, seguridad en los pasos que están dando, poder planificar una estrategia para escalar, buscar mayor financiamiento, fortalecer su propuesta de valor, entre otros.
Por qué esta evidencia importa más allá de Formando Chile
Esta historia no es solo sobre un programa. Es sobre lo que ocurre cuando una organización decide tomarse en serio la pregunta de si lo que hace realmente funciona.
En 2019, Formando Chile, hizo una evaluación de Impacto al mismo Programa y la respuesta fue difícil, no se veía Impacto. Pero esa incomodidad fue vivida como una oportunidad tremendamente productiva: llevó a cambios reales que cinco años después se tradujeron en oportunidades concretas para jóvenes vulnerables.
Sin la primera evaluación, no habrían tenido información. Sin esa información no habrían habido cambios, y sin esos cambios, no estaríamos mostrando impacto. Y más importante aún, sin la segunda evaluación, nadie lo sabría.
Contar con evidencia no es solo un requisito para los financistas. Es una herramienta de gestión que permite mejorar, aprender, tomar decisiones con información real, y contar lo que estamos generando.
Si estás ejecutando un programa educacional y aún no tienes respuesta a la pregunta “¿está funcionando?”, ten en cuenta que esta puede ser una buena manera de evaluarlo, ¡ya tienes gran parte de los datos! Solo hay que saber construir la evidencia correctamente.
En Impacta te podemos ayudar a transitar desde lo que crees que estás generando, a la evidencia concreta del impacto que tú programa tiene.
Te dejamos un diagnóstico gratuito para evaluar donde se encuentra tú organización respecto a la gestión de impacto y te entregamos un informe completo con un plan a 6 meses para incertar mejoras. Link aquí
Publicado originalmente en el newsletter Impacta · Con sentido en LinkedIn.
