"Há uma distância entre a intenção da política pública e o resultado"

O blog Impacto Social entrevistou Marcos Lisboa, presidente do Insper, que, entre outras funções, foi diretor-executivo do Itaú Unibanco de 2006 a 2009 e secretário de Política Econômica do Ministério da Fazenda de 2003 a 2005, sobre a necessidade do uso de ferramentas de avaliação de impacto por parte dos gestores públicos.

Em artigo recente, você escreve que “muito pode ser feito para melhorar a eficácia da política social, reduzir a pobreza e desestimular a informalidade”. Você colocaria a avaliação de impacto, feita de maneira adequada, como uma das medidas mais importantes nesta direção? Por quê?

Certamente sim e isso vale para toda política pública. Existe uma distância muito grande entre a intenção da política pública e o resultado. E a única maneira de saber se a política está atendendo os objetivos pretendidos é por avaliação de impacto. A população-alvo a quem essa medida se destina de fato é o grupo beneficiado? Existem erros de um tipo ou de outro? Isto é, a política acabou beneficiando a quem era destinada ou deixou de beneficiar o grupo pretendido? A política é eficaz?

Por outro lado, há um manancial de maneiras diferentes de se tratar do mesmo problema. Qual é a mais eficiente? Qual gera resultados melhores? Esses temas passam necessariamente por avaliação de impacto, o que raramente acontece na política pública brasileira e, quando há, geralmente não é bem-feita.

A avaliação de impacto é importante não apenas em projetos sociais, mas para os gastos públicos de maneira geral. Quais outras áreas da gestão pública você avalia que se beneficiariam mais com a introdução de métodos de avaliação com base em evidência?

Na minha opinião, avaliação de impacto deveria ser a norma para toda política pública. Há um documento, que fizemos quando eu estava no governo, em 2004, sobre reformas institucionais e crescimento econômico.

Uma das propostas apresentadas era ter uma agência independente de avaliação das políticas públicas. Seria uma agência que não teria nenhuma função executiva, a não ser avaliar impacto, eficácia e eficiência de cada uma das políticas. A ideia era inspirada no modelo australiano, da Productivity Commission, que posteriormente foi adotado na Nova Zelândia.

Então, a proposta seria avaliar todas as políticas públicas. Por exemplo, o crédito subsidiado concedido pelo BNDES e as políticas de apoio setorial precisam que ser avaliadas. Não basta dizer que uma política foi boa porque ela gerou determinado número de empregos. Foram considerados todos os impactos indiretos? Qual era o custo de oportunidade dessa ação? O que poderia ser realizado se o dinheiro fosse gasto de outra forma? Infelizmente, a política pública brasileira passa ao largo dessas questões.

Você costuma falar dos possíveis efeitos colaterais inesperados de um aumento da tributação. Na sua opinião, por que, em muitos casos, os gestores públicos brasileiros tomam decisões com base em “boas intenções” em vez de utilizar métodos de avaliação de impacto?

Primeiro, eu acho que as pessoas nem conhecem a avaliação de impacto. Quando você começa uma conversa em vários órgãos públicos e fala em conduzir uma política pública com base em uma amostra aleatória, isso gera incômodo. Às vezes, os argumentos contrários são superficiais e vão na linha do “é um absurdo aleatorizar, precisamos beneficiar todo mundo”. No entanto, como beneficiar todo mundo se nem sabemos se a política funciona?

Imagine se a adoção de novos medicamentos fosse feita dessa forma. Aliás, temos um exemplo recente. Você se lembra da pílula contra o câncer? Quanto foi gasto com um medicamento que não seguiu os protocolos de avaliação de impacto e que não funcionava?

Imagine se valesse o “não podemos aleatorizar, devemos prescrever o medicamento para todo mundo”. Você não saberia a eficácia do tratamento, uma vez que não foi testado adequadamente. Essa analogia da área da saúde vale para políticas de educação, subsídios concedidos pelo BNDES e outros gastos públicos.

Além disso, avaliar gera incômodo. Imagine se você faz a avaliação e descobre que o programa não funciona?

Qual o caminho para que os gestores públicos brasileiros passem a tomar decisões cada vez mais com base em métodos de avaliação de impacto em substituição às “boas intenções”?

Você precisa ter uma governança adequada ou não vai funcionar. É necessário ter um protocolo claro. Em primeiro lugar, quais são os dados e evidências mostrando que temos um problema? Segundo, como o resto do mundo trata esse tema? Terceiro, o que a pesquisa acadêmica com dados controlados aponta sobre o assunto?

As pesquisas podem nos dizer quais políticas são eficazes e quais não são, que resultados são esperados, fornecer uma análise custo-benefício e possíveis alternativas. Quarto, quais são as especificidades do caso brasileiro? Ou seja, o que o Brasil tem de diferente e quais os ajustes finos que o programa precisa ter? Quinto, quais são as metas e objetivos da política?

Além de ter todo esse protocolo para desenhar e implementar a política, os microdados deveriam ser abertos obrigatoriamente ou deveria existir uma agência independente, ou os dois, para avaliar impacto.

A disponibilidade dos dados tem por objetivo permitir que a sociedade possa avaliar o impacto com cuidado e refletir se “a política fracassou, a política deu parcialmente certo, é possível promover melhorias, é melhor interromper, ou deveria trocar esse programa por outro”. Não fazemos nada disso no Brasil e não é à toa que temos um Estado tão grande, mas tão ineficiente.

Como era a medicina até ter todo esse rigor de protocolos e testes controlados para desenvolver e recomendar novas drogas? A medicina, às vezes, matava mais do que salvava vidas. Pois é, na política pública pode ser igual.

Colaborou Vinícius Kronfly da Mata

O blog Impacto Social entrevistou Marcos Lisboa, presidente do Insper, que, entre outras funções, foi diretor-executivo do Itaú Unibanco de 2006 a 2009 e secretário de Política Econômica do Ministério da Fazenda de 2003 a 2005, sobre a necessidade do uso de ferramentas de avaliação de impacto por parte dos gestores públicos.

Em artigo recente, você escreve que “muito pode ser feito para melhorar a eficácia da política social, reduzir a pobreza e desestimular a informalidade”. Você colocaria a avaliação de impacto, feita de maneira adequada, como uma das medidas mais importantes nesta direção? Por quê?

Certamente sim e isso vale para toda política pública. Existe uma distância muito grande entre a intenção da política pública e o resultado. E a única maneira de saber se a política está atendendo os objetivos pretendidos é por avaliação de impacto. A população-alvo a quem essa medida se destina de fato é o grupo beneficiado? Existem erros de um tipo ou de outro? Isto é, a política acabou beneficiando a quem era destinada ou deixou de beneficiar o grupo pretendido? A política é eficaz?

Por outro lado, há um manancial de maneiras diferentes de se tratar do mesmo problema. Qual é a mais eficiente? Qual gera resultados melhores? Esses temas passam necessariamente por avaliação de impacto, o que raramente acontece na política pública brasileira e, quando há, geralmente não é bem-feita.

A avaliação de impacto é importante não apenas em projetos sociais, mas para os gastos públicos de maneira geral. Quais outras áreas da gestão pública você avalia que se beneficiariam mais com a introdução de métodos de avaliação com base em evidência?

Na minha opinião, avaliação de impacto deveria ser a norma para toda política pública. Há um documento, que fizemos quando eu estava no governo, em 2004, sobre reformas institucionais e crescimento econômico.

Uma das propostas apresentadas era ter uma agência independente de avaliação das políticas públicas. Seria uma agência que não teria nenhuma função executiva, a não ser avaliar impacto, eficácia e eficiência de cada uma das políticas. A ideia era inspirada no modelo australiano, da Productivity Commission, que posteriormente foi adotado na Nova Zelândia.

Então, a proposta seria avaliar todas as políticas públicas. Por exemplo, o crédito subsidiado concedido pelo BNDES e as políticas de apoio setorial precisam que ser avaliadas. Não basta dizer que uma política foi boa porque ela gerou determinado número de empregos. Foram considerados todos os impactos indiretos? Qual era o custo de oportunidade dessa ação? O que poderia ser realizado se o dinheiro fosse gasto de outra forma? Infelizmente, a política pública brasileira passa ao largo dessas questões.

Você costuma falar dos possíveis efeitos colaterais inesperados de um aumento da tributação. Na sua opinião, por que, em muitos casos, os gestores públicos brasileiros tomam decisões com base em “boas intenções” em vez de utilizar métodos de avaliação de impacto?

Primeiro, eu acho que as pessoas nem conhecem a avaliação de impacto. Quando você começa uma conversa em vários órgãos públicos e fala em conduzir uma política pública com base em uma amostra aleatória, isso gera incômodo. Às vezes, os argumentos contrários são superficiais e vão na linha do “é um absurdo aleatorizar, precisamos beneficiar todo mundo”. No entanto, como beneficiar todo mundo se nem sabemos se a política funciona?

Imagine se a adoção de novos medicamentos fosse feita dessa forma. Aliás, temos um exemplo recente. Você se lembra da pílula contra o câncer? Quanto foi gasto com um medicamento que não seguiu os protocolos de avaliação de impacto e que não funcionava?

Imagine se valesse o “não podemos aleatorizar, devemos prescrever o medicamento para todo mundo”. Você não saberia a eficácia do tratamento, uma vez que não foi testado adequadamente. Essa analogia da área da saúde vale para políticas de educação, subsídios concedidos pelo BNDES e outros gastos públicos.

Além disso, avaliar gera incômodo. Imagine se você faz a avaliação e descobre que o programa não funciona?

Qual o caminho para que os gestores públicos brasileiros passem a tomar decisões cada vez mais com base em métodos de avaliação de impacto em substituição às “boas intenções”?

Você precisa ter uma governança adequada ou não vai funcionar. É necessário ter um protocolo claro. Em primeiro lugar, quais são os dados e evidências mostrando que temos um problema? Segundo, como o resto do mundo trata esse tema? Terceiro, o que a pesquisa acadêmica com dados controlados aponta sobre o assunto?

As pesquisas podem nos dizer quais políticas são eficazes e quais não são, que resultados são esperados, fornecer uma análise custo-benefício e possíveis alternativas. Quarto, quais são as especificidades do caso brasileiro? Ou seja, o que o Brasil tem de diferente e quais os ajustes finos que o programa precisa ter? Quinto, quais são as metas e objetivos da política?

Além de ter todo esse protocolo para desenhar e implementar a política, os microdados deveriam ser abertos obrigatoriamente ou deveria existir uma agência independente, ou os dois, para avaliar impacto.

A disponibilidade dos dados tem por objetivo permitir que a sociedade possa avaliar o impacto com cuidado e refletir se “a política fracassou, a política deu parcialmente certo, é possível promover melhorias, é melhor interromper, ou deveria trocar esse programa por outro”. Não fazemos nada disso no Brasil e não é à toa que temos um Estado tão grande, mas tão ineficiente.

Como era a medicina até ter todo esse rigor de protocolos e testes controlados para desenvolver e recomendar novas drogas? A medicina, às vezes, matava mais do que salvava vidas. Pois é, na política pública pode ser igual.

Colaborou Vinícius Kronfly da Mata