¿Cómo medir habilidades socioemocionales sin un laboratorio?

Las organizaciones que trabajan habilidades socioemocionales y que han madurado lo suficiente como para querer medir su impacto se enfrentan, tarde o temprano, a una pregunta difícil de responder: ¿los beneficiarios realmente incorporan estas habilidades al finalizar el programa y las integran en su forma de vivir?

Solo formularla genera cierta incomodidad, porque medir habilidades socioemocionales obliga a tomar decisiones técnicas que no siempre se tienen resueltas. ¿Desde qué marco teórico trabajamos: Cassel, inteligencia emocional, los cinco grandes factores? ¿Cuál es el nivel de profundidad que tiene la teoría de cambio del programa? ¿Qué habilidades específicas se trabajan con más intensidad: conciencia social, autogestión, habilidades relacionales? ¿Con qué presupuesto contamos? ¿Tenemos capacidad técnica para seleccionar o desarrollar instrumentos válidos? ¿Podemos armar una muestra con grupo de comparación?

El caso de Formando Chile

La Corporación Formando Chile trabaja con jóvenes en situación de desigualdad educacional, apoyándolos de forma integral en su desarrollo vocacional, socioemocional y académico para el ingreso a la educación superior. Es de las pocas organizaciones en su rubro que cuenta con evaluación de impacto de su programa de mayor cobertura, demostrando cambios significativos en los beneficiarios, los cuales se traducen en aumentos en:

• Rendimiento escolar
• Puntajes PAES
• Ingreso a la educación superior
• Adjudicación de becas y beneficios

Si bien, lo medular del Programa es lo académico, también tiene un componente socioemocional, por lo que lo midieron igual, con rigor, porque entienden que el aprendizaje no ocurre en el vacío: requiere regulación emocional y un ambiente que lo haga posible.

El punto de partida, el equipo percibía que el programa generaba cambios en la confianza de los estudiantes respecto a sus propias capacidades, en la construcción de nuevas redes y en la claridad vocacional con que tomaban decisiones sobre su futuro. Con esta convicción, se hicieron una pregunta: si esas habilidades están presentes, ¿podemos estimar su magnitud y atribuirla al programa?

Para responderla -con todas las dificultades que puede traer responder esta pregunta- trabajaron profundamente en las habilidades que su programa desarrollaba, revisaron en qué actividades se reflejaban; revisaron diferentes metodologías y sesgos asociados, buscaron la mejor ecuación y lo hicieron.

El grupo tratamiento respondió los instrumentos dentro del programa. El grupo de comparación fue contactado de forma remota: encuesta enviada vía WhatsApp con seguimiento por llamada telefónica. No fue un diseño de laboratorio, fue un diseño cuasi-experimental proporcional a la escala y los recursos del programa, y técnicamente robusto para estimar atribución.

Los resultados no mostraron diferencias estadísticamente significativas en todas las habilidades medidas, y eso es precisamente lo que hace valioso el ejercicio.

Lo socioemocional no era el foco principal, era esperable que los efectos fueran moderados, y la medición permitió identificar con precisión dónde el efecto era más consistente y dónde no. Además, el 64% de los estudiantes reportó haber construido redes significativas dentro del programa. Para jóvenes que están dando el salto a la educación superior, ese dato ahora tiene respaldo metodológico, no solo percepción.

¿Cómo diseñar una evaluación de impacto socioemocional proporcional a tu organización?

Lo que hace replicable la experiencia de Formando Chile no es el tamaño del programa ni sus recursos, sino la secuencia de decisiones que tomaron. La base es siempre la misma: sin claridad sobre qué habilidad trabaja tu programa y cómo la trabaja, ningún instrumento ni diseño de comparación va a funcionar. Esa claridad es el habilitante de todo lo que sigue.

1. Define con precisión qué habilidades trabaja tu programa y cómo las trabaja

Antes de pensar en instrumentos o grupos de comparación, necesitas responder dos preguntas: ¿qué dimensiones socioemocionales específicas busca influenciar tu programa? y ¿a través de qué actividades o mecanismos concretos las trabaja? No es lo mismo decir “trabajamos autogestión” que poder describir en qué momentos del programa, con qué frecuencia y mediante qué tipo de experiencias. Esta claridad también define qué magnitud de efecto es razonable esperar, lo que evita interpretar resultados moderados como fracasos.

2. Selecciona instrumentos validados acordes a esas habilidades y a tu población

Una vez delimitadas las dimensiones, busca instrumentos que ya existen y tienen evidencia de validez para poblaciones similares a la tuya. No construyas un cuestionario desde cero si hay alternativas probadas. Aquí vale invertir tiempo en revisión de literatura o buscar asesoría técnica puntual: es el paso que más protege la credibilidad de tus resultados.

3. Diseña un grupo de comparación proporcional a tus recursos

Este es el punto donde muchas organizaciones creen que no pueden avanzar. La pregunta no es si puedes hacer un experimento aleatorio controlado, sino qué tipo de grupo de comparación puedes construir con los recursos que tienes y que es lo que lo hace imperfecto y cómo eso puede afectar las conclusiones. Algunas opciones, ordenadas de mayor a menor complejidad logística:

• Lista de espera: personas que aplicaron al programa pero aún no han ingresado. Es el grupo de comparación más limpio porque comparte motivación y perfil con el grupo tratamiento.
• Contacto remoto: personas con perfil similar contactadas vía WhatsApp o teléfono, balanceadas en variables observables como edad, género, tipo de establecimiento y trayectoria. Requiere gestión activa, pero es metodológicamente válido y no depende de acceso institucional.
• Cohorte histórica: beneficiarios de años anteriores, cuando no es posible construir un grupo contemporáneo. Tiene más limitaciones, pero puede ser útil como aproximación en contextos con mucha restricción de recursos.

Lo que hace válido cualquiera de estos diseños no es su sofisticación, sino que el grupo de comparación sea lo suficientemente similar al grupo tratamiento en las variables que podrían explicar el cambio por sí solas, o que seamos capaces de identificar el sesgo.

4. Mide antes y después en ambos grupos

Aplica los instrumentos al inicio y al final del programa tanto al grupo tratamiento como al de comparación. Esto permite usar un análisis de diferencias en diferencias: comparar el cambio dentro de cada grupo y luego contrastar ese cambio entre grupos. El resultado es una estimación del efecto que puede atribuirse al programa y no simplemente al paso del tiempo o a factores externos.

5. Interpreta los resultados con honestidad

No todas las habilidades mostrarán efectos significativos, y eso no invalida la evaluación. Un resultado moderado en una habilidad que era secundaria en tu programa es información útil: te dice dónde el diseño tiene más tracción y dónde podría reforzarse. La evaluación de impacto no es solo un instrumento de comunicación externa, es una herramienta de gestión interna.

Por otro lado, hasta las evaluaciones randomizadas presentan sesgos, por lo que se consiente de cómo es y cómo afecta tus conclusiones.

Lo que distingue a las organizaciones que dan este paso no es que tengan más recursos, sino que entienden que la evidencia no resuelve todas las preguntas, pero sí hace mejores las decisiones.

En la siguiente Newsletter abordaremos cómo evaluar el impacto académico con el ejemplo del Programa EFIES de Formando Chile, no te lo pierdas!

Publicado originalmente en el newsletter Impacta · Con sentido en LinkedIn.