Avaliação de impacto: útil para entender quem é útil

Você não dirigiria o seu carro sem o painel de controle, não é? Do mesmo jeito, não se deveria dirigir um programa social sem entender se ele melhora a vida dos seus beneficiários. E, para isso, não é suficiente medir o que se fez. É necessário mensurar o quanto o projeto gera de impacto na população atendida.

Aventura de Construir (AdC) é uma ONG que auxilia microempreendedores de baixa renda das periferias de São Paulo. Quando iniciamos nossa jornada, em 2011, imaginávamos que deveríamos focar na provisão de microcrédito. No entanto, com o intuito de não combater o problema errado, entrevistamos 200 empreendedores para entender melhor as demandas desse grupo. Para nossa surpresa, mais do que crédito, eles necessitavam de formação e acompanhamento. E, assim, mudamos o foco para capacitação e assessoria gratuita.

Depois de alguns anos de atividade, em 2015, achamos que o programa era consolidado e podíamos medir o impacto de nossa atividade. Definimos o programa de avaliação com a ajuda da Kellogg’s School da Notre Dame University, da ALTIS da Universidade Católica de Milão e da especialista Anna Maria Medeiros Peliano. Buscávamos ser o mais objetivo possível em nossa avaliação, sem, no entanto, utilizar muitos recursos, uma vez que nosso objetivo principal é auxiliar microempreendedores.

A cada 6 meses (agora a cada ano), entrevistamos um grupo que recebe o nosso apoio e um grupo de controle, que não participa de nossas atividades, mas que apresenta características similares aos beneficiados: operar nos mesmos bairros e nos mesmos setores de atividade, possuir empresas de porte parecido em termos de faturamento e número de funcionários e, se for possível, com maturidade comparável em anos de atividade. O questionário é fixo e breve: 7 perguntas que cobrem controle financeiro, resultados econômicos e iniciativas pelo meio ambiente.

Ter o segundo grupo como referência foi uma das dicas mais importantes que recebemos dos centros universitários que nos ajudaram. Ao se comparar os resultados dos apoiados pela nossa iniciativa e o grupo de controle, foi possível constatar que ao longo do tempo os impactados tinham maiores receitas (mais que R$ 6.000 por mês contra R$ 3.000, na última média) e lucro, mas, sobretudo, tinham maior controle financeiro do negócio: 94% sabiam o faturamento e o lucro do mês anterior, contra menos do 80% do controle. Em outros aspectos, como formalização e aceitação de cartões, o nível era alto nos dois grupos.

Entre os anos de 2016 a 2018, no entanto, foi quando ficou evidente o valor do grupo de controle. Os empreendedores acompanhados pela AdC tiveram receitas e lucros em queda. Estávamos preocupados com nossa atuação, até constatar que o declínio era ainda mais acentuado no grupo de controle. O vilão era a crise econômica que estava começando a preocupar todos os setores da economia brasileira. Sem essa referência, o risco era gastar muito tempo e esforço em redefinir atividades que estavam dando certo.

Até o 2018 trabalhamos em alguns bairros específicos e com ações contínuas com os assistidos. Agora passamos a trabalhar com projetos de duração mais breve e o desafio é aumentar a sensibilidade do sistema de avaliação para perceber as mudanças iniciais que são inevitavelmente menores. Sem abandonar as medidas quantitativas, estamos experimentando testes de atitudes, como autoestima e atividade/passividade, integrando-os com avaliações qualitativas. Essas últimas são importantes em situações pouco conhecidas ou mutáveis porque não congelam a observação da realidade em esquemas rígidos e predefinidos. Tentar medir as atitudes, embora seja difícil, reflete a evidência que todas as mudanças começam do íntimo da pessoa.

Era uma das nossas hipóteses de trabalho fundamentais, que foi sempre confirmada. O nosso lema - “acompanhando protagonistas” - a reflete. Pode ser frágil e precisar de suporte, mas nada pode substituir a iniciativa do “eu”.

Você não dirigiria o seu carro sem o painel de controle, não é? Do mesmo jeito, não se deveria dirigir um programa social sem entender se ele melhora a vida dos seus beneficiários. E, para isso, não é suficiente medir o que se fez. É necessário mensurar o quanto o projeto gera de impacto na população atendida.

Aventura de Construir (AdC) é uma ONG que auxilia microempreendedores de baixa renda das periferias de São Paulo. Quando iniciamos nossa jornada, em 2011, imaginávamos que deveríamos focar na provisão de microcrédito. No entanto, com o intuito de não combater o problema errado, entrevistamos 200 empreendedores para entender melhor as demandas desse grupo. Para nossa surpresa, mais do que crédito, eles necessitavam de formação e acompanhamento. E, assim, mudamos o foco para capacitação e assessoria gratuita.

Depois de alguns anos de atividade, em 2015, achamos que o programa era consolidado e podíamos medir o impacto de nossa atividade. Definimos o programa de avaliação com a ajuda da Kellogg’s School da Notre Dame University, da ALTIS da Universidade Católica de Milão e da especialista Anna Maria Medeiros Peliano. Buscávamos ser o mais objetivo possível em nossa avaliação, sem, no entanto, utilizar muitos recursos, uma vez que nosso objetivo principal é auxiliar microempreendedores.

A cada 6 meses (agora a cada ano), entrevistamos um grupo que recebe o nosso apoio e um grupo de controle, que não participa de nossas atividades, mas que apresenta características similares aos beneficiados: operar nos mesmos bairros e nos mesmos setores de atividade, possuir empresas de porte parecido em termos de faturamento e número de funcionários e, se for possível, com maturidade comparável em anos de atividade. O questionário é fixo e breve: 7 perguntas que cobrem controle financeiro, resultados econômicos e iniciativas pelo meio ambiente.

Ter o segundo grupo como referência foi uma das dicas mais importantes que recebemos dos centros universitários que nos ajudaram. Ao se comparar os resultados dos apoiados pela nossa iniciativa e o grupo de controle, foi possível constatar que ao longo do tempo os impactados tinham maiores receitas (mais que R$ 6.000 por mês contra R$ 3.000, na última média) e lucro, mas, sobretudo, tinham maior controle financeiro do negócio: 94% sabiam o faturamento e o lucro do mês anterior, contra menos do 80% do controle. Em outros aspectos, como formalização e aceitação de cartões, o nível era alto nos dois grupos.

Entre os anos de 2016 a 2018, no entanto, foi quando ficou evidente o valor do grupo de controle. Os empreendedores acompanhados pela AdC tiveram receitas e lucros em queda. Estávamos preocupados com nossa atuação, até constatar que o declínio era ainda mais acentuado no grupo de controle. O vilão era a crise econômica que estava começando a preocupar todos os setores da economia brasileira. Sem essa referência, o risco era gastar muito tempo e esforço em redefinir atividades que estavam dando certo.

Até o 2018 trabalhamos em alguns bairros específicos e com ações contínuas com os assistidos. Agora passamos a trabalhar com projetos de duração mais breve e o desafio é aumentar a sensibilidade do sistema de avaliação para perceber as mudanças iniciais que são inevitavelmente menores. Sem abandonar as medidas quantitativas, estamos experimentando testes de atitudes, como autoestima e atividade/passividade, integrando-os com avaliações qualitativas. Essas últimas são importantes em situações pouco conhecidas ou mutáveis porque não congelam a observação da realidade em esquemas rígidos e predefinidos. Tentar medir as atitudes, embora seja difícil, reflete a evidência que todas as mudanças começam do íntimo da pessoa.

Era uma das nossas hipóteses de trabalho fundamentais, que foi sempre confirmada. O nosso lema - “acompanhando protagonistas” - a reflete. Pode ser frágil e precisar de suporte, mas nada pode substituir a iniciativa do “eu”.