El SAT de ProFuturo: transformando la educación digital a través de la evaluación

La mejora continua es esencial para garantizar que los programas de intervención socioeducativa sean efectivos y relevantes. En este sentido los procesos evaluativos son esenciales para medir el impacto, la eficacia y la eficiencia de las acciones implementadas. Sin embargo, estos procesos plantean retos en el seno de las organizaciones sociales,  relacionados, entre otros, con factores como la recolección de información, la dificultad de encontrar indicadores adecuados o la adaptación de las metodologías evaluativas a diversos contextos socioculturales.

La capacidad de medir el impacto, adaptarse a contextos diversos y evolucionar para abordar desafíos ha llevado a ProFuturo al desarrollo de SAT (School Assessment and Transformation Tool), una herramienta que se ha convertido en el pilar de la evaluación y la planificación de esta organización clave en el impulso de la educación digital en entornos vulnerables.

En este artículo explicaremos en qué consiste la herramienta y cómo se ha diseñado cuidadosamente para ayudar a medir el impacto de los programas implementados, mejorando así la capacidad de esta organización para transformar la educación y las oportunidades de las niñas y niños con los que trabaja.

La evaluación y la evidencia siempre en el foco

ProFuturo es un programa de alcance global, muy grande y complejo, que aborda la problemática educativa, en particular la de educación digital, de forma integral y en contextos muy diversos. En datos, estaríamos hablando de más de 5.000 escuelas, en 45 países. Desde sus inicios, el programa siempre ha buscado disponer de herramientas para conocer el avance de los centros educativos en los que opera, así como el impacto generado por el proyecto, por lo que la organización ya contaba con una importante cultura de medición y seguimiento, que se ha materializado en la elaboración de más de 20 estudios e investigaciones que han permitido mejorar procesos y enfocar cada vez más sus intervenciones.

En el año 2020, cuando la organización ya operaba en más de 20 países, se inicia el desarrollo de un sistema de monitoreo global que recolecte toda la información generada desde sus diferentes plataformas y fuentes digitales, incluyendo una encuesta anual para docentes, estudiantes, directores de escuela y coordinadores del programa.  A partir de ahí, ProFuturo desarrolló un panel dentro de su sistema analítico e inició procesos de análisis e informes cuatrimestrales de seguimiento con la participación de todos los actores implicados en el programa. El SAT fue la evolución lógica de este sistema. Un paso más. Sus puntos fuertes: la ingente cantidad de datos que ProFuturo es capaz de captar y procesar (250 millones de registros diarios) y una estudiada red de indicadores que ofrecen una visión mucho más completa de cada centro escolar y su estado dentro del proyecto.

A continuación, explicaremos con más detalle en qué consiste y cómo funciona el SAT.

SAT: un sofisticado sistema para aprender de los datos

El SAT es mucho más que una herramienta de evaluación. Es un sistema integral diseñado meticulosamente para evaluar múltiples dimensiones de la intervención socioeducativa y analizar el nivel de apropiación que las escuelas tienen del programa. También ofrece información sobre el desempeño de los centros y sobre su potencial para seguir creciendo.

Información cuantitativa y cualitativa

La herramienta se compone de 12 criterios, cada uno de los cuales aborda aspectos específicos de la implementación del programa en las escuelas. A su vez, estos criterios están integrados por 32 indicadores clave, que proporcionan un panorama detallado y matizado de la realidad educativa en cada institución.

Estos criterios son:

1. Cumplimiento de metas de beneficiarios
2. Frecuencia de uso pedagógico.
3. Motivación de los docentes participantes.
4. Compromiso del equipo directivo.
5. Cuidado y mantenimiento del equipamiento tecnológico.
6. Docentes responsables o líderes del proyecto competentes.
7. Integración de la tecnología del programa y de la innovación en las prácticas educativas.
8. Motivación de los docentes no participantes.
9. Seguridad de los recursos tecnológicos.
10. Disponibilidad de equipamiento tecnológico.
11. Formación y asesoramiento docente.
12. Disponibilidad de conectividad operativa.

Los siete primeros indicadores son criterios de diagnóstico, que sirven para medir el desempeño de las escuelas y su nivel de apropiación del programa. Los cinco últimos sirven para definir un plan de trabajo para cada escuela.

La recogida de información para SAT se lleva a cabo de dos maneras: automática y a través de una rúbrica completada por el equipo en terreno. La recopilación automática se realiza mediante los indicadores del Sistema de Monitoreo (SM) de ProFuturo, que procesa datos de sus plataformas y sistemas en tiempo real. Estos son los datos cuantitativos. Los que nos permiten segmentar a las escuelas. Por su parte, la rúbrica, completada por cada uno de los coaches  encargados del acompañamiento a la escuela, proporciona una perspectiva cualitativa y contextualizada sobre la situación de la institución educativa y nos da las claves para elaborar una plan de transformación adaptado a sus circunstancias concretas.

De esta manera, el SAT funciona a dos niveles. Por un lado proporciona una fotografía global que permite conocer la situación general de todas las escuelas del programa y, por otro, ofrece un nivel de detalle muy grande, escuela por escuela. En la primera aplicación de SAT en 2023, se diagnosticaron más de 4.600 centros, permitiendo no solo la segmentación según el nivel de apropiación, sino también un análisis más profundo basado en criterios específicos. Esta información detallada posibilita a ProFuturo centrarse en aspectos que requieren mejoras a nivel global, adaptando sus estrategias y proporcionando un enfoque más personalizado a cada escuela a través de la elaboración de planes de trabajo para cada centro educativo.

En función de los datos recabados, el sistema clasifica a las escuelas en cinco niveles de apropiación:

• Nivel inicial, en el que se ubican principalmente las escuelas que no tienen motivación docente ni compromiso de la dirección.
• Nivel básico, donde aunque encontramos una gran casuística, se engloba esencialmente a escuelas en las que, aunque puede existir motivación docente y compromiso de la dirección, aún no tienen frecuencia de uso pedagógico del Programa.
• Nivel medio. En este nivel las escuelas cumplen metas de beneficiarios y tienen frecuencia de uso. Sin embargo, en algunos casos hay que trabajar en la motivación, el compromiso o el cuidado del equipamiento.
• Nivel avanzado. Incluye escuelas que cumplen metas, tienen frecuencia de uso, están motivadas y comprometidas y cuidan el equipamiento. Sin embargo, aún les falta un docente líder competente o no han integrado pedagógicamente la tecnología.
• Nivel transformación. En este novel se sitúan escuelas que cumplen todos los criterios de diagnostico que, por lo tanto, destacan por encima del resto de escuelas en apropiación del programa.

El camino de la transformación

Como hemos mencionado, este diagnóstico conduce a la elaboración de planes prescriptivos personalizados, diseñados en función de la situación particular de cada escuela, definiendo objetivos específicos para trabajar a lo largo del ciclo escolar. El objetivo de estos planes es lograr la transformación digital de los centros de acuerdo con los siguientes componentes:

• Propuestas formativas para docentes.
• Propuestas educativas para estudiantes.
• Acompañamiento a los centros educativos para la implementación del programa.
• Desarrollo de docentes responsables o líderes. Identificación y preparación de aquellos perfiles dentro de la escuela que garantizarán la pervivencia del programa.
• Comunidades virtuales.
• Sensibilización de la comunidad escolar. Incorporar e involucrar a la comunidad educativa en el programa y en la construcción de un tejido social en escuelas y comunidades locales.
• Administración de plataformas. Para ser autónomas, las escuelas deben asumir determinadas acciones de administración de la plataforma.
• Brindar atención, reactiva y proactiva, para la resolución de incidencias, seguimiento y formación continua.
• Mantenimiento de los equipos necesarios para implementar el programa.
• Seguimiento y evaluación. Fundamentales para la consecución de los resultados previstos.

Esta metodología permite no solo abordar las necesidades inmediatas de las escuelas, sino contribuir a un impacto positivo a largo plazo en la calidad de la educación.

Aprendizajes y planes de futuro

Ahora que la herramienta ya está diseñada y se ha puesto en marcha, podemos hablar de lecciones aprendidas y próximos pasos. Con respecto a los aprendizajes, podemos resumirlos así:

• Aprender a aprender de los datos para convertirnos en una organización que mejora constantemente a partir de la experiencia. Tener una infraestructura robusta de recogida de datos y reportes de resultados, no es suficiente. En este caso, ha sido necesario diseñar una serie de mecanismos para que todos los miembros de la organización participen de procesos reflexivos en los que se analizan los resultados cuantitativos para comprender las causas, el contexto en el que se dan y sus consecuencias.
• Obtener conclusiones para cada nivel de gestión y mecanismos ágiles para tomar decisiones. Los procesos de reflexión que implica la herramienta se realizan a muchos niveles (escuelas, organizaciones aliadas públicas y privadas, equipos de gestión de ProFuturo…). Obtener conclusiones útiles para cada nivel de gestión  y actuar consensuadamente es un proceso complejo que requiere de canales de comunicación efectivos y de toma de decisiones claras y ágiles que deben estar todo el tiempo en proceso de revisión y mejora.
• Comunicar eficazmente en función de cada actor partícipe del proceso. Cada uno de los actores implicados en el programa (docentes, directores, autoridades educativas…) tiene un interés diferente con respecto a los resultados. Por esta razón, los informes se generan según las necesidades de cada actor y teniendo en cuenta el impacto que dicha comunicación genera.
• Ofrecer a cada escuela lo que necesita siendo creativos e innovadores. Con un universo de casi 5.000 escuelas en 45 países, este es uno de los retos principales. Ofrecer a cada centro un plan personalizado en función de sus necesidades, modificando así la intervención que realizan los equipos que acompañan, desde la recurrencia de sus visitas, las formaciones que ofrecen, introduciendo nuevos elementos o plataformas… es decir, siendo creativos e innovadores para poder sortear los retos que se presentan en cada centro.

Como próximos pasos, ProFuturo se plantea aumentar la frecuencia de uso de la herramienta de una a dos veces al año e ir incluyendo nuevos criterios a medida que se van disponiendo de nuevos datos. Además, se quiere incorporar a nuevos perfiles en el levantamiento de información (por ejemplo, directivos y docentes, además de coaches), lo que permitiría triangularla y ser aún más rigurosos en los resultados.

Los procesos y sistemas de evaluación de los proyectos de intervención social son fundamentales para medir el impacto y la efectividad de las iniciativas diseñadas para abordar problemas sociales y promover el cambio positivo en las comunidades. También lo son la generación, sistematización y uso de la evidencia. En este sentido el SAT va un paso más allá, al ser un sistema que facilita la toma de decisiones fundamentadas en datos y que permite trabajar con base a evidencias en un mundo donde, en algunas ocasiones, la investigación, la política y la práctica educativa parecen estar desconectadas.

Imagen de portada: rawpixel para Freepik.