Oficina de impacto socioambiental aborda problemas de medição

Por Jorge Ikawa*

O Insper Metricis realizou recentemente a 28ª Oficina de Impacto Socioambiental. O evento teve como tema “problemas com medição” e contou com a apresentação de Cristine Campos de Xavier Pinto, professora e pesquisadora associada ao Insper, e de Fernando Deodato Domingos, pesquisador em pós-doutorado no Government Outcomes Lab (GO Lab), da Blavatnik School of Government, Universidade de Oxford. Você pode conferir o workshop completo aqui.

Durante a exposição, Fernando apresentou um caso de medição de impacto realizado no programa Jovem de Futuro, lançado em 2007 com o objetivo de melhorar a aprendizagem de alunos do Ensino Médio por intermédio de aprimoramentos nas práticas de gestão. Como parte do projeto avaliado, 224 escolas foram selecionadas para receber práticas gerenciais e outras 150 para participar do grupo de controle, todas elas alocadas entre os dois grupos de maneira aleatória.

Fernando contou que durante a avaliação de impacto se deparou com um fato que, embora pudesse fazer com que os efeitos sobre a aprendizagem dos alunos fossem superiores aos esperados inicialmente, causaria problemas de medição. “O gestor que está supervisionando unidades tratadas e de controle, ele não só é um gestor que está mais capacitado agora, como ele tem incentivo em focar em quem não recebeu a prática”, ressalta.

Como resultados do trabalho, Fernando encontrou que as melhorias relacionadas ao projeto avaliado tiveram um efeito equivalente a um ano adicional de estudo, isso tanto em matemática quanto em português. Além disso, os resultados apontaram que os gestores com a capacidade de difundir o conhecimento também para as unidades de controle foram capazes de quase equalizar totalmente o efeito do tratamento, fazendo com que os alunos das escolas não contempladas pelo projeto tivessem um desempenho praticamente tão bom quanto os das unidades participantes.

Já Cristine falou sobre outro projeto na área de educação, o programa Compasso de aprendizado socioemocional, implementado no Brasil a partir do programa americano Second Step, por intermédio da ONG Vila Educação. Ao todo, 94 escolas do município do Rio de Janeiro foram selecionadas para fazer parte dos grupos de tratamento e controle, definidas de maneira aleatória. A iniciativa contou com dois anos de avaliação, 2017 e 2018.

“No final do primeiro ano, a gente achou um efeito zero. O programa não teve efeito significativo em nenhuma das medidas dos alunos”, comenta. “E a gente foi investigar isso mais a fundo antes de começar 2018. A gente fez uma pesquisa qualitativa com todos os professores que tinham recebido o conteúdo e descobrimos várias coisas interessantes”, complementa. Entre os achados, Cristine listou, entre outros fatores, o fato de que a implementação do projeto não foi completa na maioria das escolas, algumas unidades terem ficado fechadas boa parte do ano em virtude da violência no entorno e alguns professores não estarem convencidos da importância de ensinar habilidades socioemocionais.

Para o segundo ano do projeto, foi feita uma segunda intervenção. Para além do programa, foram encaminhadas mensagens por meio do WhatsApp para os professores sobre a importância do desenvolvimento de habilidades socioemocionais. Os professores das escolas participantes (sejam do tratamento ou do controle) também foram divididos em grupos tratado, que receberam essas mensagens, e controle, para o qual foram encaminhadas mensagens de conteúdo mais genérico sobre educação. “Uma coisa que a gente aprendeu na raça nessa avaliação é que a gente tem de prestar atenção a outros fatores que estão acontecendo na escola”, finaliza.

*Jorge Ikawa é doutor em Economia dos Negócios pelo Insper, bacharel em Economia pela FEARP-USP e formado em Jornalismo pela ECA-USP.