Os desafios enfrentados pelos sistemas educacionais em termos de acesso, retenção, aprendizado ou desenvolvimento de habilidades, entre outros, são grandes e numerosos. Nesse contexto, organizações públicas e privadas têm concentrado seus esforços na criação e implementação de soluções inovadoras para melhorar a qualidade da educação, resultando em uma diversidade crescente de programas e intervenções escolares. No entanto, sabe-se pouco sobre o impacto real que essas ações têm na melhoria educacional. Um dos maiores desafios para as equipes que implementam essas iniciativas é a identificação de estratégias de avaliação adequadas e pertinentes, que contribuam para reconhecer o tipo e a magnitude dos resultados alcançados.
Como saber se as inovações promovidas estão efetivamente atingindo o impacto esperado nas comunidades educacionais? Popularizada nos anos 90, a Teoria da Mudança (TdM) surge como uma ferramenta fundamental para representar graficamente os processos de intervenção e avaliação de programas, projetos e políticas. Seu foco está na exploração detalhada dos diversos componentes que compõem uma intervenção, com o objetivo de entender como funcionam e quais relações causais levam à conquista dos resultados esperados. No entanto, seu uso ainda é limitado entre as organizações que aspiram à transformação educacional.
Na SUMMA, o Laboratório de Pesquisa e Inovação em Educação para a América Latina e o Caribe, apoiamos os programas na construção e avaliação de sua Teoria da Mudança. Nesta publicação, compartilhamos algumas orientações para entender essa ferramenta, com base em nossa colaboração com o ProFuturo durante 2023.
Conceituando a Teoria da Mudança
A Teoria da Mudança é um modelo lógico que descreve o processo pelo qual um programa é estruturado e busca alcançar seus resultados. Para isso, apresenta de maneira clara e esquemática o caminho que a intervenção deve seguir para alcançar o impacto desejado. Para cumprir esse objetivo, a teoria deve identificar e descrever adequadamente:
- A necessidade que o programa busca atender na população (por exemplo, baixo desempenho acadêmico entre estudantes de escolas socioeconomicamente vulneráveis).
Os recursos necessários para realizar as atividades (por exemplo, novos materiais pedagógicos e dispositivos tecnológicos para desenvolver um ensino mais estimulante para os estudantes). - As ações e atividades que serão realizadas durante a intervenção (por exemplo, formação de professores no uso de novas pedagogias ou capacitação no uso de novas plataformas de aprendizagem).
- As mudanças que o programa pretende alcançar a curto e médio prazo (por exemplo: comunidades educacionais motivadas no uso dos novos recursos ou professores implementando novas práticas pedagógicas em sala de aula).
- As mudanças que o programa espera alcançar a longo prazo, também conhecidas como hipótese de mudança (por exemplo, estudantes melhoram seu desempenho acadêmico graças ao desenvolvimento de novos conhecimentos e habilidades).
Assim, uma boa Teoria da Mudança explica como um programa funciona, detalhando toda a sequência da intervenção e as relações causais que sustentam a transformação esperada. A figura a seguir descreve seus principais componentes.
Fuente: elaboración propiaComo metodologia, a Teoria da Mudança oferece benefícios nos processos de planejamento e avaliação de programas educacionais. Esses benefícios incluem a identificação de atividades chave e secundárias, a determinação dos principais atores para impulsionar a mudança, a organização e programação das atividades no tempo, entre outros aspectos. Essa ferramenta não só contribui para definir com precisão os objetivos de uma intervenção e os resultados esperados, mas também promove o alinhamento e a coerência dos diversos recursos e atividades que compõem uma intervenção. Além disso, permite visualizar e entender de maneira explícita as relações de causalidade entre as atividades realizadas e os resultados esperados.
Além disso, a Teoria da Mudança proporciona uma justificativa consistente do quê, como e porquê dos programas. É uma ferramenta de grande utilidade para construir o relato estratégico de uma intervenção e obter uma compreensão profunda da mesma, o que facilita a realização de ajustes e mudanças sem desvirtuar o objetivo central dos programas.
No que diz respeito à sua utilidade para o desenvolvimento de uma avaliação de impacto, este modelo lógico facilita os processos de medição do “sucesso” de uma intervenção ao estabelecer indicadores claros e mensuráveis em cada etapa do processo. Com isso, ajuda a explicar, através da priorização de ações, os mecanismos causais, o acompanhamento de produtos e resultados esperados e as condições sob as quais as mudanças esperadas são alcançadas ou não.
“Não há melhor prática do que uma boa teoria”
Durante o ano de 2023, a SUMMA e o ProFuturo estabeleceram uma aliança estratégica para identificar áreas de melhoria do programa, a fim de maximizar seu impacto na América Latina. Para alcançar esse objetivo, trabalhou-se com o modelo de Teoria da Mudança e foram investigadas as experiências de diversos países da região. Além disso, em dezembro de 2023, a SUMMA liderou um workshop com a equipe global do ProFuturo, onde se refletiu colaborativamente sobre a Teoria da Mudança do programa e se identificaram os aprendizados, fortalezas e fraquezas das ações realizadas.
Valentina Ríos, gerente da área de estratégia e avaliação do ProFuturo, compartilhou sua perspectiva sobre a experiência, “muito enriquecedora para nossa equipe, pois nos permitiu analisar os modelos que colocamos em prática e o alinhamento que têm as atividades que desenvolvemos nos países. Também nos detivemos a pensar e avaliar se estamos caminhando na direção certa para alcançar a transformação educacional que buscamos.”
Por sua vez, Dante Castillo-Canales, diretor de políticas e práticas inovadoras da SUMMA, refletiu sobre essa colaboração entre a SUMMA e o ProFuturo, destacando a importância de trabalhar com a Teoria da Mudança: “Trabalhar com a Teoria da Mudança implica um processo permanente e sistemático de análise daquelas ações que priorizamos e os mecanismos que são fundamentais para alcançar os resultados que esperamos. Nosso trabalho com o ProFuturo contribuiu para investigar os componentes essenciais de seu modelo e retroalimentar seu relato estratégico, como um programa que aprende com suas intervenções e busca a melhoria para impactar as comunidades educacionais.”
As descobertas obtidas nesse processo permitiram reconhecer a diversidade de situações, desafios e acertos que enfrenta a implementação de um programa educacional mediado por tecnologias e de alcance global, como o ProFuturo. Isso se traduz na necessidade de reconhecer as adaptações da Teoria da Mudança que são executadas nos países, sem perder de vista seus ingredientes e componentes principais. Por isso, a TdM, como ferramenta para programas educacionais, deve ser uma ferramenta em constante revisão e atualização, de acordo com os resultados fornecidos pelos processos de avaliação dos programas. Essa complexidade sublinha a necessidade de interação e retroalimentação constante entre teoria e prática, como já apontava o psicólogo social Kurt Levin, em meados do século XX, com sua ideia de que não há melhor prática do que uma boa teoria, que nos convidava a pensar na sempre necessária articulação entre os modelos teóricos que guiam e orientam as ações sociais e as práticas concretas que testam essas orientações e as submetem ao teste da realidade e suas possibilidades.
Para aprofundar nesse tema, convidamos você a explorar os seguintes recursos:
- “A Teoria da Mudança” (Rogers, 2014). Parte da coleção de Síntese Metodológica do Centro de Pesquisa da UNICEF.
- “Como projetar metas e indicadores para o monitoramento e avaliação de políticas públicas?” (Aquilino et al., 2019) Guia Metodológico do Centro de Implementação de Políticas Públicas para a Equidade e Crescimento da Argentina.