É possível medir impacto através de survey?

Por Gustavo M. Tavares*

Com o advento das redes sociais, levantar informações por meio de surveys – método de pesquisa que se caracteriza pela coleta de dados diretamente junto às pessoas com uso de perguntas estruturadas – nunca foi tão fácil e barato. Quem nunca recebeu o pedido de colegas para responder a um questionário, cujos dados serão usados no seu TCC ou dissertação? Empresas lançam pesquisas para entender as preferências de seus clientes, influencers querem saber a opinião de seus seguidores e o Congresso Nacional lança mão de enquetes para viabilizar a participação dos cidadãos. Apesar de estarem em todo lugar, é difícil encontrar quem saiba desenhar surveys adequadamente, que entenda suas potencialidades, limitações e que crie instrumentos válidos, capazes de realmente mensurar o que se pretende medir.

Surveys podem medir muitos tipos de variáveis: demográficas (sexo, idade, profissão e renda, por exemplo), preferências e intenções (como a intenção de voto), comportamentos (se é ou não fumante, entre outros), percepções (como a qualidade percebida de um serviço público, por exemplo), bem como estados psicológicos mais subjetivos, como atitudes, emoções, ansiedade, estresse, etc. Quanto mais subjetiva a variável, mais complexa é a sua medição.

Surveys podem ser ferramentas poderosas no ciclo de políticas públicas, especialmente quando se busca identificar e diagnosticar um problema, e nas fases finais, para medição de impacto. Imagine que se pretenda desenhar uma política de incentivos para professores de escolas públicas. Uma survey pode ser utilizada para entender melhor a realidade dos professores, suas percepções e atitudes e, em conjunto com o conhecimento teórico acumulado, buscar identificar fatores associados ao desempenho deles e dos alunos. Caso se implementasse um desenho experimental, no qual algumas escolas estariam sujeitas ao incentivo (grupo tratamento) e outras não (grupo controle), poderia ser identificado, por exemplo, como o incentivo afeta a motivação, engajamento e percepção de clareza de metas dos professores. Por fim, surveys poderiam medir a satisfação dos pais com o serviço prestado pela escola e o desenvolvimento de certas competências pelos alunos, correlacionando essas variáveis com o uso da política de incentivos.

Porém, para que os objetivos sejam atendidos, há boas práticas que precisam ser observadas em relação a amostragem, desenho de questionário e validação das medidas de caráter mais subjetivo. Por isso, nos dias 19 e 20 de maio, realizamos no Insper, com discentes do Mestrado Profissional em Políticas Públicas, uma oficina sobre survey e validação de medidas psicométricas. Nesta oficina, alunas e alunos puderam desenvolver e validar, na prática, uma medida de ‘atitudes em relação aos comportamentos de prevenção da covid-19’. Além do exercício para construção de instrumentos de coleta e para execução de análises robustas, foi possível identificar com alto grau de confiança estatística, por exemplo, que pessoas com diferentes posicionamentos político-ideológicos apresentam atitudes diferentes em relação ao uso de máscara, distanciamento social, vacina e uso de medicamentos de forma preventiva, reforçando ainda mais o papel de surveys bem executadas para o estudo de problemas públicos.

* Gustavo M. Tavares é professor do Insper na área de comportamento organizacional e liderança. Tem especial interesse sobre temas comportamentais aplicados ao setor público.

Por Gustavo M. Tavares*

Com o advento das redes sociais, levantar informações por meio de surveys – método de pesquisa que se caracteriza pela coleta de dados diretamente junto às pessoas com uso de perguntas estruturadas – nunca foi tão fácil e barato. Quem nunca recebeu o pedido de colegas para responder a um questionário, cujos dados serão usados no seu TCC ou dissertação? Empresas lançam pesquisas para entender as preferências de seus clientes, influencers querem saber a opinião de seus seguidores e o Congresso Nacional lança mão de enquetes para viabilizar a participação dos cidadãos. Apesar de estarem em todo lugar, é difícil encontrar quem saiba desenhar surveys adequadamente, que entenda suas potencialidades, limitações e que crie instrumentos válidos, capazes de realmente mensurar o que se pretende medir.

Surveys podem medir muitos tipos de variáveis: demográficas (sexo, idade, profissão e renda, por exemplo), preferências e intenções (como a intenção de voto), comportamentos (se é ou não fumante, entre outros), percepções (como a qualidade percebida de um serviço público, por exemplo), bem como estados psicológicos mais subjetivos, como atitudes, emoções, ansiedade, estresse, etc. Quanto mais subjetiva a variável, mais complexa é a sua medição.

Surveys podem ser ferramentas poderosas no ciclo de políticas públicas, especialmente quando se busca identificar e diagnosticar um problema, e nas fases finais, para medição de impacto. Imagine que se pretenda desenhar uma política de incentivos para professores de escolas públicas. Uma survey pode ser utilizada para entender melhor a realidade dos professores, suas percepções e atitudes e, em conjunto com o conhecimento teórico acumulado, buscar identificar fatores associados ao desempenho deles e dos alunos. Caso se implementasse um desenho experimental, no qual algumas escolas estariam sujeitas ao incentivo (grupo tratamento) e outras não (grupo controle), poderia ser identificado, por exemplo, como o incentivo afeta a motivação, engajamento e percepção de clareza de metas dos professores. Por fim, surveys poderiam medir a satisfação dos pais com o serviço prestado pela escola e o desenvolvimento de certas competências pelos alunos, correlacionando essas variáveis com o uso da política de incentivos.

Porém, para que os objetivos sejam atendidos, há boas práticas que precisam ser observadas em relação a amostragem, desenho de questionário e validação das medidas de caráter mais subjetivo. Por isso, nos dias 19 e 20 de maio, realizamos no Insper, com discentes do Mestrado Profissional em Políticas Públicas, uma oficina sobre survey e validação de medidas psicométricas. Nesta oficina, alunas e alunos puderam desenvolver e validar, na prática, uma medida de ‘atitudes em relação aos comportamentos de prevenção da covid-19’. Além do exercício para construção de instrumentos de coleta e para execução de análises robustas, foi possível identificar com alto grau de confiança estatística, por exemplo, que pessoas com diferentes posicionamentos político-ideológicos apresentam atitudes diferentes em relação ao uso de máscara, distanciamento social, vacina e uso de medicamentos de forma preventiva, reforçando ainda mais o papel de surveys bem executadas para o estudo de problemas públicos.

* Gustavo M. Tavares é professor do Insper na área de comportamento organizacional e liderança. Tem especial interesse sobre temas comportamentais aplicados ao setor público.