Níveis de medição III: como medir de maneira efetiva o impacto causado?

Já vimos que há três níveis de medição para verificação de adicionalidade em um projeto. O primeiro[1] utiliza dados agregados locais ou regionais e, o segundo[2], usa métodos estatísticos para criar um grupo comparável.

E o terceiro? Bem, o terceiro é muito parecido ao que se faz na medicina quando se quer testar a eficácia de um medicamento ou de uma vacina: a pessoa participa de um sorteio que define se ela receberá ou não o tratamento e, após um determinado período, comparam-se os resultados entre os grupos.

As técnicas do nível 3 de medição são chamadas de experimentais e a alocação das observações entre grupos tratado e controle é feita de maneira aleatória. Esse processo, se bem conduzido, garante que não existam diferenças observáveis e não observáveis entre os dois grupos, de modo que nada sistemático, além do tratamento, poderia gerar os resultados após a intervenção.

Dada essa característica, metodologias do nível 3 geralmente não necessitam de medições anteriores ao tratamento. Um exemplo do uso desse método você encontra aqui[3].

Mas por que o uso de um sorteio para determinar o grupo participante e não participante é tão importante? Para ilustrar, vamos a um exemplo. Imagine que se queira medir o efeito de aulas obrigatórias de reforço escolar sobre as notas dos alunos. Suponha que somente algumas escolas serão escolhidas para a iniciativa.

Caso a seleção das unidades participantes não seja feita por meio de um sorteio, provavelmente as aulas de reforço serão introduzidas em escolas em que o diretor é mais atuante ou que os pais sejam mais interessados na educação dos filhos. Estes fatores, por si só, deveriam gerar alunos com notas maiores mesmo sem a introdução das aulas extras.

Dessa forma, a comparação dos estudantes com e sem reforço escolar captaria, além do efeito das aulas extras, estas características que diferenciam escolas selecionadas e não participantes. O sorteio faria com que a distribuição de unidades com diretores atuantes e pais interessados, entre outras características mensuráveis ou não, fosse feita de modo balanceado entre os dois grupos, eliminando esse tipo de problema na mensuração do real impacto das aulas extras.

Aqui, nas técnicas experimentais, um ponto de atenção diz respeito ao tamanho da amostra. Um número maior de observações reduz as chances de não se encontrar um efeito quando este de fato existe. Além disso, experimentos conduzidos dessa forma podem estar sujeitos a “efeitos cruzados” entre participantes e não participantes, bem como atrito não aleatório. Por fim, em muitos casos, questões éticas impossibilitam a aleatorização do tratamento.

O quadro abaixo, retirado do Guia de Avaliação de Impacto Socioambiental[4] do Insper Metricis, sintetiza as vantagens e desvantagens dos três níveis de medição.