Imagen de cabecera nueva identidad azul

Tecnología educativa: cómo saber si funciona

Miles de alumnos conectados. Millones de ejercicios resueltos. Un panel de resultados que mejora cada mes. Todo parece indicar que la tecnología está dando sus frutos. Pero… ¿cómo podemos saber si eso es realmente así? SUMMA y ProFuturo proponen ocho estándares para evaluar la tecnología educativa allí donde comprobar sus efectos resulta más difícil y cada inversión cuenta.

Un programa educativo puede entregar todos los dispositivos previstos y sumar miles de horas de uso. Sus responsables podrán acreditar que se ha puesto en marcha y que está llegando a las escuelas. Para conocer su impacto, queda por averiguar qué diferencia ha supuesto para los alumnos. Esa pregunta exige estudiar los cambios en su aprendizaje y determinar cuáles pueden atribuirse al programa, teniendo en cuenta lo que habría ocurrido sin él.

La tecnología educativa ha crecido con más rapidez que nuestra capacidad para responder a esa cuestión. Las decisiones sobre su expansión se toman a menudo con datos fragmentados, pocas evaluaciones independientes y resultados difíciles de comparar. Mientras tanto, las escuelas siguen utilizándola y los presupuestos siguen comprometiéndose. Esperar a disponer de condiciones ideales para evaluar tiene también un coste: prolongar la incertidumbre sobre lo que se está haciendo.

De ese problema se ocupa Measuring What Matters in EdTech Innovations, una publicación de SUMMA y ProFuturo que propone ocho estándares para evaluar programas educativos apoyados en tecnología. Su interés está en acercar las exigencias de una investigación rigurosa a las circunstancias de quienes deben encargarla y utilizarla, especialmente en sistemas con recursos y capacidad de análisis limitados.

Una evaluación debe ayudar a decidir qué hacer con un programa. Si acaba de ponerse en marcha, interesa saber qué dificultades están encontrando las escuelas y qué ajustes necesita. Antes de extenderlo a otros centros, habrá que comprobar con mayor solidez sus efectos y los recursos necesarios para conseguirlos. El marco propone que esas decisiones orienten la investigación desde el principio: que se recoja la información necesaria para responder a lo que está en juego en cada etapa.

En este artículo explicamos las principales ideas del informe y recorremos sus ocho estándares para comprender cómo se evalúa un programa de tecnología educativa, qué hace creíbles sus resultados y hasta dónde permiten sacar conclusiones.

Qué significa demostrar impacto

Imaginemos que las notas suben en las escuelas que participan en un programa. ¿Cuánto de esa mejora se debe a la intervención? ¿Y cuánto a cada parte de la intervención? Durante el mismo periodo pueden haber cambiado otras cosas: quizá se reforzó la enseñanza de una asignatura o los alumnos recibieron apoyo adicional. También es posible que parte del progreso se hubiera producido con las clases habituales. Para estimar el impacto hay que averiguar qué diferencia ha supuesto el programa respecto a lo que habría ocurrido sin él.

Ese escenario alternativo es difícil de reconstruir porque cada alumno ha vivido una sola de las dos situaciones. La evaluación necesita encontrar una comparación creíble que permita estimar el impacto. De la calidad de esa comparación depende que podamos atribuir al programa los cambios observados. Una subida de las notas adquiere un significado distinto si otros alumnos en condiciones semejantes mejoraron lo mismo, más o menos durante ese periodo.

También importa saber qué resultados se están observando. Los registros de una plataforma permiten saber cuántos estudiantes acceden, con qué frecuencia y qué actividades completan. Esa información ayuda a comprender cómo se desarrolla el programa y a detectar dificultades de uso. Para valorar sus efectos educativos, hace falta estudiar si los alumnos están aprendiendo aquello que la intervención pretende enseñar. La participación puede favorecer ese aprendizaje, pero la relación entre ambas debe comprobarse.

La misma precisión hace falta al definir qué se está evaluando. A una escuela pueden llegar dispositivos y contenidos junto con formación docente y acompañamiento durante el curso. En ese caso, los resultados de la evaluación corresponden al conjunto de la intervención. Atribuirlos exclusivamente a la tecnología dejaría fuera el trabajo y los apoyos que han hecho posible su uso. Averiguar qué aporta cada componente exige una investigación diseñada para responder a esa pregunta.

Por eso, un resultado favorable necesita ir acompañado de una explicación de qué se hizo, con quiénes y en qué condiciones. Esa información permite a otra escuela valorar si dispone de los recursos y apoyos necesarios para poner en marcha el programa. También ayuda a sus responsables a decidir qué conviene conservar y qué necesita cambiar antes de ampliarlo.

Para una fundación o una entidad que impulsa tecnología educativa, evaluar es una forma de responder ante las escuelas que le abren sus puertas y ante los alumnos cuyo tiempo de aprendizaje está en juego.

Ocho estándares para evaluar un programa en marcha

Para saber qué efecto tiene un programa, los investigadores necesitan una comparación que permita estimar qué habría ocurrido sin él. Una forma de construir esta comparación consiste en asignar por sorteo qué escuelas reciben la intervención y cuáles continúan con su actividad habitual durante el estudio. Después se compara la evolución de ambos grupos. El sorteo reduce el riesgo de que el programa llegue precisamente a las escuelas que ya tenían más posibilidades de mejorar. Así funciona una evaluación experimental.

Sin embargo, muchos programas se evalúan cuando ya llevan tiempo funcionando. Las escuelas participantes ya están elegidas y el sorteo ha dejado de ser una opción. En esos casos, se puede recurrir a una evaluación cuasiexperimental, que busca construir una comparación creíble a partir de la información disponible sobre los centros y sus alumnos.

Por ejemplo, se puede estudiar cómo evolucionan los resultados en las escuelas del programa y en otras con características y trayectorias previas semejantes. La dificultad está en comprobar hasta qué punto son comparables. Aunque partan de notas similares, unas pueden tener mejor conectividad o docentes con más experiencia digital. Esas diferencias también pueden influir en el aprendizaje.

El marco de SUMMA y ProFuturo se concentra en estas evaluaciones cuasiexperimentales. Sus ocho estándares ayudan a examinar cómo se ha construido la comparación, qué se ha medido y qué conclusiones permiten sostener los resultados.

1. Explicar qué se espera cambiar y cómo

Antes de medir resultados, hay que explicar cómo se supone que el programa mejorará la educación. Si ofrece actividades adaptadas al nivel del alumno, por ejemplo, conviene precisar cómo se espera que esa práctica favorezca el aprendizaje y qué condiciones necesita para hacerlo. Esa explicación, denominada teoría del cambio, permite decidir qué observar durante la evaluación. También exige definir el programa completo, incluidos la formación docente y los apoyos que acompañan a la tecnología.

 2. Justificar con quién se compara

Las escuelas participantes pueden disponer de mejores conexiones, mayor experiencia digital o equipos directivos más implicados que las demás. La evaluación debe explicar cómo se incorporaron al programa y por qué las escuelas elegidas para compararlas permiten estimar qué habría ocurrido sin la intervención. También debe reconocer las diferencias que siguen sin poder descartarse y cómo podrían afectar a sus conclusiones.

3. Medir resultados educativos relevantes

Los indicadores deben corresponder a lo que el programa pretende mejorar. Si busca desarrollar la comprensión lectora, habrá que evaluar esa capacidad con instrumentos adecuados y después de un tiempo suficiente para que puedan producirse cambios. El marco recomienda utilizar medidas independientes del proveedor o validadas externamente. Los registros de la plataforma ayudan a conocer su uso, pero hace falta contrastarlos con otras fuentes para estudiar su relación con el aprendizaje.

4. Documentar qué ocurrió en las aulas

La frecuencia de uso, los problemas de conexión y la intervención del profesorado pueden explicar diferencias importantes entre escuelas. La evaluación debe recoger esas condiciones, así como las modificaciones de los contenidos o de la plataforma durante el estudio. Escuchar a docentes, estudiantes y directivos permite comprender cómo se desarrolló el programa y qué convendría ajustar. Esa información también ayuda a interpretar un resultado poco favorable, que puede deberse a dificultades para poner en práctica la intervención.

5. Averiguar quién falta en los datos

Algunos alumnos pueden abandonar el programa, cambiar de escuela o faltar a la prueba final. Si quienes desaparecen de los registros son precisamente los que tenían más dificultades de acceso o aprendizaje, los resultados pueden ofrecer una imagen demasiado favorable. Por eso hay que explicar cuántos participantes faltan, qué se sabe de sus motivos y cuánto podrían cambiar las conclusiones si se dispusiera de esa información.

6. Calcular cuánto cuesta sostener los resultados

El coste incluye los dispositivos y las licencias, pero también la conectividad, el mantenimiento y la reposición de equipos. A ello se suman la formación, el acompañamiento y el tiempo del profesorado. La evaluación debe identificar quién asume esos gastos y relacionarlos con los resultados obtenidos. Esa información permite valorar si el programa puede mantenerse y qué recursos exigiría extenderlo a más escuelas.

7. Permitir que otros examinen las conclusiones

Quien lee una evaluación debe poder comprender cómo se ha llegado a sus resultados. Eso requiere explicar qué se había previsto analizar, qué decisiones cambiaron durante el estudio y qué limitaciones permanecen. También deben declararse la financiación y la participación del proveedor. Diferenciar los resultados que responden a las preguntas iniciales de los hallazgos surgidos al explorar los datos ayuda a valorar el peso de cada conclusión.

8. Precisar dónde podrían repetirse los resultados

Para valorar si un programa podría funcionar en otros centros, importa conocer las condiciones en las que se evaluó. Entre ellas están los recursos disponibles, las características del alumnado y los apoyos que recibieron los docentes. El marco propone acumular evidencia progresivamente y actualizarla cuando cambien el programa o su contexto. Cada evaluación debe ayudar a precisar qué sabemos y qué conviene comprobar antes de ampliar la intervención.

Responsabilidad y rendición de cuentas

Evaluar un programa exige estar dispuesto a revisar las decisiones que lo hicieron posible. Una organización puede haber dedicado años a desarrollar una propuesta, formar equipos y construir alianzas con las escuelas. Todo ese trabajo genera un compromiso con el proyecto que puede hacer difícil reconocer sus limitaciones. Una evaluación rigurosa permite examinar si los resultados respaldan las expectativas y qué necesita cambiar.

Para que ese conocimiento resulte útil, debe tener consecuencias. Si los beneficios se concentran en las escuelas con mejores condiciones, habrá que averiguar qué apoyos necesitan las demás. Si una mejora depende de un acompañamiento docente intenso, ese esfuerzo deberá formar parte de los planes de expansión y de sus costes. Y si los resultados son insuficientes, la organización tendrá que reconsiderar su propuesta. La voluntad de mejorar la educación adquiere credibilidad cuando puede traducirse en decisiones de este tipo.

Ahí se juega el valor de los ocho estándares. Para una fundación o una entidad que impulsa tecnología educativa, evaluar es una forma de responder ante las escuelas que le abren sus puertas y ante los alumnos cuyo tiempo de aprendizaje está en juego. Cada ampliación del programa renueva esa responsabilidad y exige razones para confiar en que lo aprendido en la evaluación se reflejará en lo que ocurra después en las aulas.

Artículos relacionados

Evaluacion IA

¿Qué debería evaluar la escuela en tiempos de inteligencia artificial?

Leer más
Turoría con IA

Tutorías con IA: qué sabemos sobre su efecto en el aprendizaje

Leer más
IA en educación

IA en la escuela: cómo pasar de la “clandestinidad” a un proyecto educativo común

Leer más