O menu de medição de impacto: como escolher?

Por Sérgio Lazzarini, Leandro Nardi e Sandro Cabral

Qual a melhor forma de mensurar impacto socioambiental? Pode ser feito por meio de ratings ESG? Painéis de métricas customizados? Avaliações com grupo de controle?

Essas perguntas são muito comuns no campo de investimentos sociais e públicos. Muitas vezes, os gestores e apoiadores de projetos buscam “a” melhor forma de medir impacto. A verdade é que não há resposta única. Todas as abordagens apresentam prós e contras, que devem ser cuidadosamente analisados. E os gestores devem escolher a abordagem que melhor se encaixe nos propósitos de cada organização.

Em um recente artigo, a partir de estudos realizados no Insper Metricis, revisamos as principais abordagens de medição e argumentamos que elas podem ter quatro propósitos distintos: sinalizar intenção de gerar impacto; monitorar indicadores e metas socioambientais; estabelecer atribuição causal (isto é, se as mudanças detectadas realmente não ocorreriam sem o projeto); ou comparar intervenções em áreas distintas, usualmente por meio de monetização dos impactos como forma de estabelecer uma régua comum de medição.

As organizações devem ter clareza sobre o propósito da medição para evitar conclusões que não se sustentem pela abordagem escolhida. Por exemplo, muitas organizações monitoram indicadores dos seus beneficiários, o que é útil e essencial para saber como eles evoluíram. Porém, deve-se tomar cuidado para não dizer que o projeto causou melhorias nos indicadores, uma vez que eles podem ter sido afetados por vários fatores externos. Para atribuir causalidade, será preciso adotar técnicas específicas examinando o que teria acontecido com a população-alvo sem o projeto. Não há problema, entretanto, se a organização disser que o objetivo do seu painel de indicadores é simplesmente monitorar os seus beneficiários, sem alegar que o seu projeto causou os resultados medidos.

No artigo, também argumentamos que nenhuma abordagem atual combina precisão, comparabilidade e baixo custo. Por exemplo, muitas empresas e investidores têm utilizado ratings ESG, que permitem comparar empresas sem a necessidade de custosos estudos customizados. Porém, a precisão desses ratings tem se mostrado baixa, havendo enormes discrepâncias entre ratings propostospor agências de classificação distintas. No fim das contas, não é possível garantir que uma empresa com alto rating ESG está efetivamente causando transformações positivas.

De outra parte, avaliações experimentais e quase-experimentais permitem identificar efeitos causais por meio de um grupo de controle de indivíduos que mostram o que provavelmente teria acontecido sem a intervenção. Porém, são mais custosas e menos comparáveis entre si, particularmente nos casos em que os impactos são medidos em áreas distintas (por exemplo, um projeto em educação comparado a outro em saúde). Uma forma de gerar mais comparabilidade é tentar monetizar os impactos. Entretanto, esse esforço pode aumentar os custos e reduzir precisão, uma vez que nem todo resultado é facilmente monetizável. Além disso, o processo de monetização requer hipóteses e suposições fortes, as quais são por vezes consideradas implausíveis, e pode esbarrar em dilemas éticos, como transformar o valor de uma vida em montantes financeiros, por exemplo.

Dado esse menu complexo de abordagens, o caminho é escolher tendo total clareza sobre os benefícios e custos de cada opção, bem como os objetivos da organização. E, de posse dos dados e análises, evitar tecer conclusões que vão muito além do que a abordagem consegue responder. Trata-se de uma escolha estratégica que deve ser feita e discutida de maneira informada e muito transparente.

Por Sérgio Lazzarini, Leandro Nardi e Sandro Cabral

Qual a melhor forma de mensurar impacto socioambiental? Pode ser feito por meio de ratings ESG? Painéis de métricas customizados? Avaliações com grupo de controle?

Essas perguntas são muito comuns no campo de investimentos sociais e públicos. Muitas vezes, os gestores e apoiadores de projetos buscam “a” melhor forma de medir impacto. A verdade é que não há resposta única. Todas as abordagens apresentam prós e contras, que devem ser cuidadosamente analisados. E os gestores devem escolher a abordagem que melhor se encaixe nos propósitos de cada organização.

Em um recente artigo, a partir de estudos realizados no Insper Metricis, revisamos as principais abordagens de medição e argumentamos que elas podem ter quatro propósitos distintos: sinalizar intenção de gerar impacto; monitorar indicadores e metas socioambientais; estabelecer atribuição causal (isto é, se as mudanças detectadas realmente não ocorreriam sem o projeto); ou comparar intervenções em áreas distintas, usualmente por meio de monetização dos impactos como forma de estabelecer uma régua comum de medição.

As organizações devem ter clareza sobre o propósito da medição para evitar conclusões que não se sustentem pela abordagem escolhida. Por exemplo, muitas organizações monitoram indicadores dos seus beneficiários, o que é útil e essencial para saber como eles evoluíram. Porém, deve-se tomar cuidado para não dizer que o projeto causou melhorias nos indicadores, uma vez que eles podem ter sido afetados por vários fatores externos. Para atribuir causalidade, será preciso adotar técnicas específicas examinando o que teria acontecido com a população-alvo sem o projeto. Não há problema, entretanto, se a organização disser que o objetivo do seu painel de indicadores é simplesmente monitorar os seus beneficiários, sem alegar que o seu projeto causou os resultados medidos.

No artigo, também argumentamos que nenhuma abordagem atual combina precisão, comparabilidade e baixo custo. Por exemplo, muitas empresas e investidores têm utilizado ratings ESG, que permitem comparar empresas sem a necessidade de custosos estudos customizados. Porém, a precisão desses ratings tem se mostrado baixa, havendo enormes discrepâncias entre ratings propostospor agências de classificação distintas. No fim das contas, não é possível garantir que uma empresa com alto rating ESG está efetivamente causando transformações positivas.

De outra parte, avaliações experimentais e quase-experimentais permitem identificar efeitos causais por meio de um grupo de controle de indivíduos que mostram o que provavelmente teria acontecido sem a intervenção. Porém, são mais custosas e menos comparáveis entre si, particularmente nos casos em que os impactos são medidos em áreas distintas (por exemplo, um projeto em educação comparado a outro em saúde). Uma forma de gerar mais comparabilidade é tentar monetizar os impactos. Entretanto, esse esforço pode aumentar os custos e reduzir precisão, uma vez que nem todo resultado é facilmente monetizável. Além disso, o processo de monetização requer hipóteses e suposições fortes, as quais são por vezes consideradas implausíveis, e pode esbarrar em dilemas éticos, como transformar o valor de uma vida em montantes financeiros, por exemplo.

Dado esse menu complexo de abordagens, o caminho é escolher tendo total clareza sobre os benefícios e custos de cada opção, bem como os objetivos da organização. E, de posse dos dados e análises, evitar tecer conclusões que vão muito além do que a abordagem consegue responder. Trata-se de uma escolha estratégica que deve ser feita e discutida de maneira informada e muito transparente.