En apenas una década, la tecnología educativa ha pasado a convertirse en un componente estructural de los sistemas de enseñanza. Tablets, plataformas interactivas, inteligencia artificial y recursos digitales se han incorporado al aula como respuesta a los grandes desafíos de la educación contemporánea: ampliar el acceso, personalizar la enseñanza y reducir las desigualdades de aprendizaje. Poco a poco, su expansión se consolida, alentada por políticas públicas, inversiones privadas y la convicción de que la digitalización puede acelerar la mejora educativa. Sin embargo, el verdadero impacto de estas herramientas, el que se traduce en aprendizajes sólidos y duraderos, continúa siendo incierto.
En algunas ocasiones, la prisa por mostrar resultados tangibles ha llevado al sector de la EdTech a privilegiar indicadores inmediatos (horas de conexión, niveles de uso o velocidad de progreso en una aplicación) por encima de la comprensión profunda de lo que los estudiantes aprenden y retienen. De esta manera, la evaluación se enfrenta a una doble presión: la premura por ofrecer evidencias de éxito y la dificultad de medir procesos complejos de aprendizaje con instrumentos fiables.
En este contexto, la reconocida profesora y especialista en desarrollo infantil y tecnología educativa, Natalia Kucirkova, en su artículo “How to avoid three common pitfalls in EdTech impact evaluations” (2025), examina tres errores que distorsionan la forma en que interpretamos los resultados de la EdTech. En el Observatorio ProFuturo, hemos creído que retomar su análisis adquiere especial relevancia: los programas que integran tecnología en contextos vulnerables necesitan evidencias sólidas para asegurar que las innovaciones digitales contribuyen realmente a mejorar la calidad del aprendizaje y no se limiten a multiplicar la conectividad o el tiempo frente a la pantalla.
Primer error: la ilusión de los números grandes
Una de las confusiones más persistentes en la evaluación de la tecnología educativa es asumir que más uso equivale a más aprendizaje. En muchos informes, el éxito de un programa se mide en horas de conexión, número de actividades completadas o frecuencia de acceso a la plataforma. Sin embargo, como advierte Natalia I. Kucirkova, describe cuánto se utiliza una herramienta, pero no lo que se aprende con ella.
El problema no es menor. En un ecosistema dominado por la lógica de los datos, las cifras voluminosas se interpretan como evidencia de impacto. Pero el aprendizaje no se mide en gigabytes ni en minutos acumulados. La investigación empírica ha demostrado que el uso intensivo de una aplicación puede incluso resultar contraproducente. Kucirkova menciona el caso de Kahoot!, una herramienta ampliamente estudiada con beneficios demostrados en motivación y participación que, cuando se utiliza con excesiva frecuencia, puede generar fatiga y aumentar los niveles de estrés entre los estudiantes.
Esta advertencia resulta de especial relevancia para programas educativos en contextos de cooperación internacional, como ProFuturo, donde el acceso digital es aún limitado. En tales entornos, maximizar el tiempo frente a la pantalla no siempre es deseable. Un uso excesivo puede desplazar el acompañamiento docente o reducir el espacio para la reflexión. Lo decisivo no es la cantidad de interacción con la tecnología, sino la calidad del aprendizaje que esta facilita.
Las plataformas pueden registrar actividad, pero el aprendizaje ocurre en otro lugar: en la mente, en la conversación con el maestro, en la curiosidad que despierta una pregunta. La tecnología puede ser un buen medio, pero el aprendizaje sigue siendo, ante todo, una experiencia humana.
La evaluación del impacto de la EdTech exige un ejercicio intelectual y ético más profundo: discernir qué transformaciones son realmente educativas y cuáles solo lo parecen.
Segundo error: el espejismo de los tests automáticos
Otro de los problemas señalados por la profesora Kucirkova es la fragilidad de muchas evaluaciones integradas en las aplicaciones educativas. Buena parte de los programas de EdTech incluyen pequeños tests o cuestionarios que se presentan como pruebas de aprendizaje. Los desarrolladores tienden a interpretarlos como evidencia directa del progreso del alumnado, cuando en realidad suelen carecer de lo más básico: validación psicométrica.
De forma muy sencilla, la validación psicométrica consiste en comprobar que un instrumento mide lo que afirma medir y que lo hace de manera consistente en el tiempo y entre diferentes grupos de estudiantes. Sin esa verificación, una prueba puede ofrecer resultados engañosos.
Kucirkova ilustra este riesgo con un ejemplo muy significativo y revelador: el de una aplicación de numeración temprana en la que los niños obtenían calificaciones muy altas dentro del entorno digital, pero resultados considerablemente más bajos en las pruebas aplicadas por sus docentes. Al analizar los ítems del test, los investigadores descubrieron que muchas preguntas eran ambiguas, demasiado fáciles o medían habilidades distintas a las que se pretendían enseñar. En otras palabras, los niños aprendían a superar el test, no a comprender los conceptos matemáticos subyacentes.
Esta confusión entre retroalimentación inmediata y evaluación del aprendizaje se ha extendido ampliamente. Los datos que genera una app pueden servir para mantener la motivación o ajustar la dificultad de una actividad, pero no equivalen a una medición rigurosa del conocimiento adquirido. Cuando esas cifras se presentan como prueba de impacto, el riesgo es doble: se construye una falsa sensación de éxito y se desvían recursos hacia herramientas que no producen mejoras reales en los aprendizajes.
En el ámbito de la tecnología educativa, medir sin rigor puede ser peor que no medir: genera confianza en datos que engañan y oculta los problemas que realmente deberían resolverse.
Tercer error: cuando la pantalla no cuenta toda la historia
El tercer error identificado por Kucirkova se relaciona con la dependencia exclusiva de los datos que generan las propias plataformas digitales. En el ecosistema de la EdTech, los registros de uso (tiempos de conexión, aciertos, recorridos dentro de la aplicación) se han convertido en la principal fuente de información sobre el aprendizaje. Estos datos tienen valor, pero también son limitados: describen lo que ocurre dentro del entorno tecnológico, no lo que el estudiante comprende, retiene o aplica fuera de él.
Kucirkova subraya que incluso cuando los instrumentos internos son fiables, el aprendizaje debe verificarse con medidas externas. De lo contrario, se corre el riesgo de confundir competencia en el manejo del software con progreso educativo real. El aprendizaje no puede reducirse a lo que la tecnología registra. Los efectos de una herramienta educativa pueden ser positivos, neutros o incluso negativos, y solo una observación externa (entrevistas, cuestionarios, análisis de desempeño, revisión pedagógica) permite identificar la diferencia.
Para iniciativas como ProFuturo, que operan en contextos de desigualdad digital, esta lección es especialmente relevante. Confiar únicamente en los datos internos de una plataforma puede ofrecer una imagen parcial o incluso distorsionada del impacto. Por eso resulta imprescindible combinar las métricas tecnológicas con evidencias externas obtenidas por docentes, investigadores y comunidades educativas. Las observaciones en el aula, los testimonios de estudiantes y las percepciones de las familias aportan matices que los algoritmos no capturan.
El valor educativo de una tecnología no reside en la cantidad de datos que produce, sino en lo que esos datos permiten comprender sobre los procesos de aprendizaje. Las pantallas pueden mostrar progreso, pero solo la mirada humana puede confirmar si ese progreso es auténtico.
Hacia una cultura de evaluación integral
El análisis de Natalia Kucirkova podría resumirse en una idea central: evaluar la tecnología educativa requiere ir más allá de las métricas de uso o de los resultados inmediatos. Los datos internos de las plataformas y las evaluaciones automatizadas pueden ofrecer una primera aproximación, pero solo adquieren verdadero sentido cuando se integran en un marco más amplio de investigación y reflexión pedagógica.
Una evaluación integral debe combinar distintos tipos de evidencia. Los datos cuantitativos (tasas de participación, progresión en las actividades, frecuencia de uso) son útiles para describir patrones y comportamientos. Pero deben complementarse con información cualitativa: observaciones de aula, entrevistas con docentes y estudiantes, análisis de materiales producidos o de dinámicas de aprendizaje colaborativo. Estas fuentes permiten entender no solo si los alumnos aprenden, sino cómo lo hacen y qué tipo de aprendizaje se está promoviendo.
Kucirkova subraya además la necesidad de construir una teoría del cambio que oriente toda evaluación. No se trata únicamente de medir resultados, sino de establecer una lógica clara entre los recursos, las actividades y los efectos esperados. En el ámbito de la tecnología educativa, esa teoría debe incluir dimensiones pedagógicas, sociales y éticas: cómo se usa la tecnología, quién la utiliza, qué barreras enfrenta y qué aprendizajes fomenta.
En el caso de ProFuturo, esta perspectiva es particularmente relevante. Su trabajo en contextos vulnerables exige comprobar no solo la eficacia técnica de las herramientas digitales, sino su capacidad para reducir brechas educativas, fortalecer las competencias docentes y promover aprendizajes significativos. Incorporar evaluaciones externas, colaborar con universidades y adaptar los instrumentos de medición a las realidades culturales y lingüísticas de cada país son pasos imprescindibles para avanzar en esa dirección.
Evaluar de forma integral implica asumir que los números nunca bastan por sí solos. Las cifras deben dialogar con las historias, las experiencias y los contextos en los que se inscriben. Solo entonces la evaluación se convierte en conocimiento útil para mejorar las prácticas y orientar las decisiones educativas.
Evaluaciones honestas y rigurosas
La expansión de la tecnología educativa ha traído consigo una avalancha de datos, indicadores y métricas que pretenden capturar el aprendizaje. Pero, como recuerda el artículo, How to avoid three common pitfalls in EdTech impact evaluations, medir no equivale a comprender. La evaluación del impacto de la EdTech exige un ejercicio intelectual y ético más profundo: discernir qué transformaciones son realmente educativas y cuáles solo lo parecen.
Los tres errores que la autora identifica (confundir uso con aprendizaje, confiar en pruebas sin validación y depender exclusivamente de datos internos) reflejan una tensión estructural entre la lógica de la innovación tecnológica y la naturaleza compleja del aprendizaje humano. Las plataformas tienden a cuantificar; la educación, en cambio, requiere interpretar. Donde la primera ofrece resultados inmediatos, la segunda demanda tiempo, contexto y sentido.
Superar estas limitaciones implica construir una cultura de evaluación crítica, capaz de integrar métodos rigurosos con una mirada pedagógica. No basta con registrar interacciones: es necesario preguntarse qué tipo de conocimiento se genera, qué competencias se fortalecen y qué desigualdades persisten o se agravan.
Evaluar bien no consiste en confirmar el éxito de una iniciativa, sino en comprender los procesos que permiten mejorar. Y esto se hace con rigor y con honestidad.
