Durante el año 2023, en colaboración con SUMMA, el observatorio ProFuturo ha identificado diversas tendencias y experiencias inspiradoras que reflejan la existencia de una gran variedad de programas educativos que buscan resolver desafíos prioritarios en América Latina y el Caribe. Entre ellos, el fortalecimiento y recuperación de los aprendizajes, la reducción de brechas de desempeño académico, la innovación efectiva con uso de tecnologías, o la promoción de habilidades digitales en la región.
Esta diversidad de iniciativas también se traduce en números. En el mundo Ed-Tech las soluciones educativas basadas en tecnología cambian en promedio cada 36 meses (Unesco, 2023). Asimismo, el informe del BID y la plataforma Holon IQ para América Latina y el Caribe señala que al 2021, la inversión en soluciones Ed-Tech alcanzó cerca de los 500 millones de dólares, unas seis veces más que el promedio de los años anteriores.
A medida que crece y se expande la cantidad de soluciones educativas, la necesidad de contar con datos robustos sobre su efectividad se vuelve más apremiante. En efecto, el reporte GEM 2023, sobre educación y tecnología, alerta sobre la necesidad de contar con más evidencia sobre los beneficios que las soluciones tecnológicas están aportando al sistema educativo. De esta manera, desarrollar estrategias para la evaluación de programas es una tarea de especial relevancia en la actualidad, tanto para discernir aquellas propuestas que están generando transformaciones efectivas, como también para reconocer la magnitud de dichas mejoras, su costo-efectividad y las dimensiones de las intervenciones que podrían beneficiarse de ajustes y modificaciones.
En el mundo Ed-Tech las soluciones educativas basadas en tecnología cambian en promedio cada 36 meses.
Aproximándonos a la noción de evaluación
Cuando nos referimos a un “programa” educativo hacemos alusión a un tipo particular de intervención o proyecto que ha diseñado un plan estructurado para lograr objetivos educativos específicos, como la promoción de aprendizajes en una asignatura curricular, el desarrollo de habilidades y competencias, la mejora del clima de aula, una mayor motivación estudiantil, entre otros. De acuerdo con Pérez Juste (2000), para un correcto desarrollo, el diseño de un programa debe considerar al menos:
- La definición clara de metas y objetivos, que han de perseguir fines educativos (y no otros).
- La especificación de los destinatarios, actividades, estrategias, procesos, funciones y responsabilidades que permitirán, en principio, una debida intervención.
- La definición de los medios y recursos suficientes para el desarrollo del proyecto.
- La adecuación al contexto de referencia.
- Un sistema que permita identificar el nivel de logro de los objetivos, así como las dificultades, carencias y espacios de mejora que se dan en la implementación del programa.
Precisamente, a esta última dimensión responde la tarea de evaluar. En este sentido, la evaluación de programas corresponde a un proceso sistemático que contribuye a conocer hasta qué punto se han logrado los objetivos planteados por una intervención. Para ello, se diseña una estrategia intencionada y rigurosa de recogida de información para valorar sus logros, implementación y resultados obtenidos (Pérez Juste, 2000; Castillo y Cabrerizo, 2011). Un ejemplo de ello es la herramienta SAT (School Assessment and Transformation Tool) de ProFuturo, un sistema integral que recoge información cuantitativa y cualitativa para evaluar múltiples dimensiones, previamente definidas, de las intervenciones que realiza el programa en las escuelas, analizar su nivel de apropiación y recoger su desempeño y potencial de mejora.
En este sentido, cabe destacar que, si bien los programas pueden estar sometidos a diversos requerimientos, como la rendición de cuentas o la obtención de financiamiento, el objetivo principal de la evaluación es la mejora del programa. Esto significa que el análisis ha de contribuir a optimizar la gestión de las iniciativas, su implementación y resultados, así como también motivar cambios y fundamentar los procesos de toma de decisiones que darán continuidad y pertinencia a la estrategia. La información que surge en este proceso se transforma en evidencia de los cambios generados y sirve tanto a los equipos implementadores y como a los tomadores de decisión para mejorar las prácticas educativas.
A medida que crece y se expande la cantidad de soluciones educativas, la necesidad de contar con datos robustos sobre su efectividad se vuelve más apremiante.
La evaluación ha de contribuir a optimizar la gestión de las iniciativas, su implementación y resultados, así como también motivar cambios y fundamentar los procesos de toma de decisiones que darán continuidad y pertinencia a la estrategia.
No cualquier innovación debe ser promovida
Incorporar un enfoque de evaluación en el desarrollo de nuevas soluciones y programas educativos, no solo es útil para la valoración de las iniciativas en sí, sino que también es un principio ético para garantizar que los recursos invertidos en educación (económicos y humanos) están siendo utilizados de manera eficiente, responsable, transparente y buscando asegurar el logro de los objetivos propuestos. Esta información también favorece el empoderamiento de los equipos, ya que permite identificar qué es lo que funciona y qué se está haciendo bien.
Junto a esto, reconocer los efectos no pensados que la intervención produce también debe ser un aspecto de especial atención. La investigación evaluativa se ha centrado en la identificación de los beneficios de programas y políticas educativas, mientras que sus efectos secundarios, imprevistos o negativos, no han sido suficientemente discutidos. Por ejemplo, en dimensiones como la pérdida de confianza y cambios en el nivel de motivación del estudiantado, así como también en la profundización y generación de nuevas exclusiones (Zhao, 2017). De esta manera, la evaluación debe entregarnos información de estos efectos no deseados con el fin de comprender sus alcances y tomar decisiones en beneficio de las personas que son alcanzadas por las intervenciones educativas.
¿Qué y cómo evaluar para la mejora?
En el marco de la colaboración entre SUMMA y el Education Endowment Foundation (EEF), se propone un enfoque de evaluación progresiva de las intervenciones, que busca contribuir al crecimiento de los programas, así como poner a disposición de la comunidad educativa evidencia sobre prácticas efectivas para la mejora. Para ello, el enfoque de EEF consta de dos focos de evaluación sobre los programas. Por una parte, la evaluación de proceso, que analiza la efectividad de las lógicas internas en el funcionamiento de la intervención, esto es, el grado de coherencia con la Teoría del cambio (alineación de objetivos, servicios entregados, actividades, recursos, etc.); y, por otra parte, la evaluación de impacto, que determina el cumplimento de los objetivos propuestos por el programa e identifica y cuantifica los beneficios que se han producido gracias a su implementación.
Para la generación de esta evidencia, el enfoque de evaluación progresiva de las intervenciones propone un modelo de 5 fases en función de la evolución del programa. Definir el nivel de desarrollo de la iniciativa, la existencia de una Teoría del cambio (y su evaluación), así como también la existencia de algunos resultados (promisorios o avanzados) sobre la efectividad de los resultados de l intervención, son aspectos esenciales para identificar el nivel de desarrollo y diseñar el mejor tipo de evaluación para el programa. Las fases de la evaluación se sintetizan en:
- Fase inicial: orientada al análisis para el diseño y desarrollo de nuevos programas.
- Fase piloto: busca analizar la viabilidad, evidencia promisoria y su potencial de escalabilidad (evaluación de proceso).
- Fase eficacia: busca identificar el impacto en condiciones dirigidas y altamente controladas para el proceso de evaluación (evaluación de proceso y de impacto).
- Fase efectividad: se orienta a identificar el impacto en condiciones reales de intervención en contextos de bajo control (evaluación de proceso y de impacto).
- Fase escalamiento: evaluación de la intervención en condiciones de implementación en el sistema (evaluación de proceso y de impacto en condiciones de escalamiento).
SUMMA: apoyando la evaluación de programas educativos en América Latina y el Caribe
SUMMA es una de la organizaciones que vela por aumentar la calidad equidad e inclusión de los sistemas educativos de América Latina y el Caribe, a través de la generación, síntesis y movilización de evidencias de programas y prácticas educativas de alto impacto en la región. Entre sus iniciativas se encuentran:
Fondo Impacto: el Fondo Global para el desarrollo de evaluaciones de impacto busca impulsar la generación de nueva evidencia en América Latina mediante la evaluación rigurosa de intervenciones educativas promisorias implementadas en la región para la mejora de los aprendizajes de estudiantes de nivel escolar. Para ello, identifica innovaciones con alto potencial, realiza evaluaciones de las iniciativas a través de concursos y promueve el uso de las evidencias mediante la puesta a disposición de resultados.
Plataforma de prácticas educativas efectivas: esta herramienta en línea sintetiza evidencia a nivel internacional y latinoamericano sobre la efectividad de intervenciones educativas a nivel escolar, para promover la toma de decisiones basadas en evidencia de investigación. La plataforma contiene 32 estrategias contextualizadas en la región con información sobre sus características, costos, solidez de la investigación e impacto en los resultados de aprendizaje.
Mapa de Innovaciones educativas: es una plataforma online que identifica, describe y disemina experiencias exitosas de innovación educativa, con evidencias de efectividad, desarrolladas en América Latina y el Caribe como en otras partes del mundo. Este mapa ofrece información relevante y pertinente sobre el tipo de problemáticas, las estrategias de solución y los resultados que están generando iniciativas para la mejora de los aprendizajes y la reducción de brechas educativas.
