Níveis de medição II: como medir de maneira efetiva o impacto causado?

Medir o impacto de um projeto não é tarefa fácil. Conforme apontado aqui, a simples comparação entre dados antes e depois da intervenção no grupo beneficiado pode levar a conclusões equivocadas. Uma das alternativas seria utilizar dados agregados locais ou regionais de participantes e não participantes para conseguir medir, ao menos de modo aproximado, quanto benefício um dado programa gerou, no que chamamos de nível 1 de medição.

Uma segunda alternativa, já no nível 2 de medição para verificação de adicionalidade e mais robusta que o nível 1, emprega técnicas estatísticas para construir o grupo de comparação. Trata-se de uma tentativa de fazer com que os indivíduos tratados e não tratados sejam mais semelhantes (ou que apresentem uma trajetória muito parecida ao longo do tempo).

Uma das técnicas neste sentido usualmente utilizada é o método de diferenças-em-diferenças. A ideia dessa metodologia é comparar os indivíduos tratados com um grupo que antes do tratamento apresentava a mesma trajetória nos resultados. Dessa forma, desvios de tendência poderiam ser atribuídos à intervenção.

Outra técnica recorrente, chamada de pareamento, consiste em buscar entre indivíduos não tratados aqueles com características observáveis muito parecidas aos beneficiados. Por exemplo, caso se queira medir o impacto de um programa de distribuição de renda para pessoas carentes, seria possível encontrar entre os não participantes pessoas do mesmo sexo, idade, nível de escolaridade, moradores da mesma região, entre outras características. Este grupo iria compor nosso contrafactual. Um exemplo do uso dessa metodologia você encontra aqui.

Muitas intervenções possuem um critério de elegibilidade arbitrário, como, por exemplo, a renda familiar per capita deve ser de no máximo meio salário mínimo. Um método usual utiliza-se dessa descontinuidade para comparar indivíduos imediatamente acima e abaixo desse corte para medir o impacto da política. Neste exemplo, famílias com renda per capita um pouco abaixo de meio salário mínimo seriam elegíveis ao programa, enquanto aquelas com a renda um pouco acima desse corte não seriam beneficiadas. Embora muito parecidas, o fato de a regra permitir que somente um dos grupos participe da iniciativa faz com que tenhamos um bom grupo de comparação para famílias muito próximas da regra de corte.

Há casos ainda em que a intervenção é específica a uma organização ou localidade. Para essas situações, é possível construir um contrafactual de modo sintético, combinando casos que se aproximem da unidade tratada.

Ficou interessado em como tornar os grupos tratado e controle mais similares? No Guia de Avaliação de Impacto Socioambiental do Insper Metricis você encontra outros exemplos e informações mais detalhadas. Abordaremos ainda o nível 3 de medição para verificação de adicionalidade. Não perca!