Por que avaliação de impacto requer um grupo de comparação?

Com o objetivo de discutir a importância do grupo de controle para a avaliação de impacto, o Insper Metricis realizou recentemente a 21ª Oficina sobre Indicadores Socioambientais. O evento contou com a presença de Ricardo Paes de Barros, professor titular da Cátedra Instituto Ayrton Senna no Insper, e de Haroldo Torres, empreendedor social. O vídeo completo do evento online você encontra aqui.

Durante a oficina, Ricardo Paes de Barros ressaltou que a avaliação de impacto necessita de um grupo de comparação. “A questão da avaliação de impacto é como eu isolo a minha contribuição para a melhoria nesse resultado de interesse, tirando da conta aquilo que na verdade veio de outros fatores. Em boa medida, por causa disso é que você precisa de um grupo de comparação”, comenta o professor.

“O impacto do programa é o que aconteceu com quem participou menos o que teria acontecido com quem participou se ele não tivesse participado. É o mesmo grupo. Como os indivíduos participaram e, portanto, eu não sei o que teria acontecido com eles se não participassem, eu uso a experiência de um outro grupo que não participou para me indicar o que seria da vida de quem participou caso ele não tivesse participado”, explica Paes de Barros sobre a importância do grupo de controle.

O professor ainda ressaltou porque o uso da aleatorização fornece uma ferramenta para mensurar o impacto de um programa. “O fato de esses dois grupos serem escolhidos por sorteio garante que estatisticamente os dois caminharam juntos”, aponta.

Haroldo Torres trouxe um exemplo de avaliação de impacto realizado nas Escolas Técnicas Estaduais (Etecs) do Centro Paula Souza, ressaltando a importância da escolha da variável a ser mensurada e a incorporação do tempo necessário até que a política pública tenha efeito. “A gente já tinha mais de 70% dos homens, sobretudo, que estavam cursando os cursos das Etecs empregados. Eu corria o risco de fazer uma avaliação das Etecs totalmente injusta com o programa, escolhendo uma variável que tem uma sensibilidade relativamente baixa”, exemplifica.

“No fim, foi muito interessante porque a avaliação mostrou um impacto positivo, especialmente para mulheres, porque a taxa de ocupação das mulheres é mais baixa. Então, com isso, a gente conseguiu observar uma variação importante”, finalizou Torres.