(Basado en nuestra experiencia como consultora y en el artículo “Ten Reasons Not to Measure Impact—and What to Do Instead” de Mary Kay Gugerty y Dean Karlan )
¿Está preparada mi organización y mi programa para medir impacto? ¿Qué alternativas tengo? ¿Cómo empiezo?
Últimamente hemos visto una creciente tendencia por medir impacto (sobre todo en comparación a cuando empezamos con Impacta el 2015!!). Esta moda está empujada en parte por un llamado a una mayor rendición de cuentas en el sector público y en el sector social y por exigencia de donantes o posibles clientes, que quieren tener certeza de que están entregando recursos a programas que tienen evidencia de generar impacto.
Si bien esta es una tendencia muy positiva, y nos empuja a tener programas sociales más rigurosos y efectivos, también puede tener un efecto negativo si se evalúan programas que no están listos para ser evaluados, o si se mide impacto en desmedro a información del proceso que puede ser más relevante para un programa en determinadas etapas. Dentro de los efectos negativos está el desgaste y pérdida de credibilidad de los equipos al invertir tiempo y recursos sin obtener las respuestas buscadas.
Es por esto que sólo se debe evaluar impacto en programas que lo ameriten y que estén preparados.
¿Qué programas deberían pensarlo dos veces antes de evaluarse?
A continuación, mostraré cuatro situaciones en las que no recomendamos medir impacto:
- Programa sin una Teoría de Cambio validada.
Diseñar la Teoría de Cambio (TdC) es el primer paso al pensar una estrategia de monitoreo o una evaluación. La Teoría de Cambio relaciona las actividades de un programa, lo que éstas producen y de qué forma esperamos ver que las actividades del programa cambien a nuestros participantes.
Una TdC clara permite que los ejecutores del programa tengan claridad de cómo o por qué funciona el programa, lo que disminuye la variabilidad en la ejecución. Por ejemplo, un mismo programa se podría ejecutar de distintas formas en distintas sedes y horarios dependiendo de la persona que lo ejecute (¿qué versión evaluamos?).
La Teoría de Cambios guía el correcto levantamiento de información, explicitando los datos que necesitamos para asegurar que el programa está haciendo lo que debe estar haciendo y para tener feedback sobre cómo mejorar el programa. Pero sobre todo, la Teoría de Cambio nos muestra los indicadores clave que tenemos que monitorear para asegurar los resultados del programa (y esto no requiere una evaluación de impacto).
Un programa donde no se han testado los principales supuestos de la Teoría de Cambio, no está preparado para una evaluación de impacto. Estos supuestos son los que relacionan las actividades con los productos y los resultados iniciales. Por ejemplo, un programa que enseña Mindfulness para generar mayor bienestar emocional tiene como supuesto que los participantes seguirán practicando por su cuenta una vez que completen los talleres. Si no hemos probado este supuesto, no tiene sentido salir a medir el bienestar emocional de los participantes, antes de asegurar que efectivamente los participantes mantengan la práctica fuera de los talleres. Si nos embarcamos en una evaluación de impacto, en la que encontraremos que no hay una mejora en el bienestar emocional: ¿Es que el mindfulness no funciona o es que las personas no lo están practicando con la frecuencia que se requiere?
Sugerencia: Si aún no tienen una Teoría de Cambio, parte desarrollándola, examina los supuestos y levanta información para validarlos. Validar los pasos iniciales de la Teoría de Cambio es esencial antes de pasar a una evaluación de impacto.
- Programas con una implementación débil
Si la Teoría de Cambio está bien definida y los supuestos probados, todavía puede fallar la implementación. En el programa de Mindfulness del ejemplo anterior, ¿qué pasa si algunos de los relatores no explican bien los conceptos? ¿o si hay mucha deserción en los talleres debido al horario o el lugar en que se realizan?
Si medimos el impacto de un programa con una implementación deficiente y no encontramos impacto será difícil interpretar el problema. ¿Es el resultado de una mala implementación, pero la idea del programa es buena? Cuando el programa se está adaptando y se están resolviendo los problemas de implementación, es demasiado pronto para evaluar el impacto.
Sugerencia: Asegurar primero que la calidad de la implementación es la correcta y es uniforme a lo largo del programa. Levantar información de proceso sobre la calidad de la implementación y hacer los ajustes necesarios para asegurar el nivel de calidad y funcionamiento esperado.
- Las preguntas que tenemos no requieren una evaluación de impacto
¿Podemos hacer un programa más masivo? ¿El problema que abordamos es relevante en la calidad de vida de las personas? ¿Estamos llegando a nuestra población objetivo? ¿Quedan conformes los participantes? ¿Los niños entienden lo que les estamos enseñando? ¿Cómo podemos optimizar nuestros recursos?
Estos son algunos ejemplos de preguntas muy relevantes que podemos necesitar responder. Para responderlas necesitamos levantar datos, pero no requerimos una evaluación de impacto para responderlas.
- La configuración del programa es demasiado caótica
Muchos programas que trabajan en desastres naturales son difíciles de evaluar, ya que la implementación cambia constantemente para adaptarse a las circunstancias. Forzar una estandarización del programa para poder realizar una evaluación de impacto puede comprometer la calidad del programa, y evitar que la asistencia llegue a quienes más la necesitan.
Entonces, si mi organización no está preparada, ¿qué debo hacer?
Nuestra recomendación viene de qué es lo que va a generar más valor para tu programa:
- Diseña la Teoría de Cambio.
- Identifica los principales supuestos de la Teoría de Cambio.
- Evalúa el proceso (actividades, productos y primeros resultados) y los principales supuestos.
- Y después de esto, estarás más preparado para evaluar impacto y tendrás mayor claridad sobre las preguntas a responder con esta evaluación.
Aún no tienes claro si tu proyecto está preparado? Quieres conocer los próximos pasos para la realidad de tu proyecto? Escríbenos! Para eso estamos 😉