Autores
David Evans, Economista Chefe do Escritório do Banco Mundial para a região africana
Bruce Wydick, Professor de Economia da Universidade de San Francisco

Data da publicação
03 de fevereiro de 2016

Artigo original (em inglês)
https://blogs.worldbank.org/impactevaluations/my-ngo-having-positive-impact

Tradução
Tássia Kleine
tkleine@oeditorial.com.br

Revisão Técnica
Profa. Dra. Raquel Guimarães
Coordenadora do Nits/UFPR
raquel.guimaraes@ufpr.br

Também publicado em português no Blog do Banco Mundial
http://blogs.worldbank.org/voices/pt/minha-ong-est-trazendo-um-impacto-positivo

 

Uma questão desanimadora enfrentada por muitas organizações não-governamentais (ONGs) envolvidas em trabalho com a pobreza – após todo o levantamento de fundos, o trabalho logístico, o trabalho direto com os pobres e a contabilidade de tudo que foi feito – vem quando nos perguntamos: a minha ONG está trazendo um impacto positivo? Com efeito, um artigo recente do The Guardian sublinhou: “Se o setor [ONG] deseja atender adequadamente as populações locais, ele precisa melhorar o seu modo de coleta de evidências”. Os doadores também estão exigindo cada vez mais evidências do impacto das ONGs; não mais apenas os grandes financiadores, como também os pequenos doadores individuais.

O post de hoje no blog é destinado a praticantes do desenvolvimento, especialmente aqueles dentre vocês que não passaram por uma sobrecarga de treinamento formal em economia ou estatística, mas que querem realizar estudos de impacto simples, porém válidos sobre o seu trabalho. Existem livros inteiros sobre o assunto, é claro, mas aqui você encontrará alguns princípios para começar.

A maior parte das ONGs são boas em mensurar os resultados para os seus beneficiários.  É um passo na direção correta. Mas para mensurar realmente o impacto, precisamos de algo além dos resultados para os beneficiários.  A chave para executar um estudo válido de impacto é a geração de uma situação contrafactual, ou o que teria acontecido com os seus beneficiários caso o seu programa não tivesse existido e eles não tivessem se beneficiado dele (como se espera que tenham). Em essência, estudos válidos de impacto tratam da geração de situações contrafactuais válidas.
Vamos pensar em dois modos comuns como as ONGs tentam estimar o impacto dos programas.

Antes e Depois. Uma maneira é tomar os dados sobre os beneficiários do programa quando de seu início e coletar mais dados sobre eles após a intervenção. A presunção sobre a situação contrafactual em um estudo antes-e-depois é a de que, sem o programa, os beneficiários teriam continuado no mesmo nível da situação inicial. O problema é que as mudanças criadas pelo programa frequentemente se confundem com mudanças que teriam afetado o beneficiário do programa com o passar tempo de todo modo. Por exemplo, o clima econômico geral pode ter melhorado desde o estudo sobre a situação inicial. Então, muito do que você atribuiria ao impacto pode ser apenas uma maré boa, que melhoraria igualmente a situação de todos. Foi esse o caso em relação a uma avaliação recente a propósito do fornecimento de transferências de dinheiro na Tanzânia. As pessoas que recebiam transferências aumentaram significativamente o seu consumo de alimentos (viva!). Mas acontece que os outros, que não estavam recebendo as transferências, tinham visto o seu nível de consumo de alimentos aumentar na mesma razão. Neste caso, o estudo antes-e-depois superestimou o impacto do trabalho da organização.
Na Tanzânia, a comparação do consumo dos lares que recebiam apoio em dinheiro antes e depois do programa foi equivocada, uma vez que os lares que não estavam no programa também viram o seu consumo aumentado.

Inversamente, as coisas podem ter piorado muito no geral, caso em que você estaria subestimando o seu programa. Em Nicarágua, um programa de transferência de dinheiro ocorreu durante um momento de turbulência econômica: o consumo dos participantes aumentou, ao passo que o consumo dos demais caía. A simples comparação do aumento modesto dos participantes desde a situação inicial do programa teria subestimado enormemente o impacto total do programa.
Além disso, às vezes as pessoas escolhem se envolver em uma ONG ao deparar certas oportunidades, como quando um momento de oportunidade econômica leva alguém a fazer um empréstimo de microcrédito. Nessa situação, o tomador estaria em situação um pouco melhor, quer a organização sem fins lucrativos estivesse lá para lhe prestar assistência, quer não estivesse. Com efeito, uma pesquisa recente descobriu que cerca de três quartos do impacto aparente dos microcréditos são uma ilusão de ótica provocada por observações antes-e-depois. Em resumo, estudos antes-e-depois não geram uma situação contrafactual válida, e, portanto, não geram mensurações válidas do impacto de um programa.
Beneficiários e não beneficiários. Outras ONGs às vezes medem o seu impacto comparando os beneficiários do projeto aos não beneficiários. A presunção aqui é de que a condição de alguém que não é afetado pelo programa representa uma situação contrafactual para um beneficiário do programa. Mas os dados dos não beneficiários tampouco estabelecem uma situação contrafactual válida. Os não beneficiários podem não ter as qualidades ocultas que levam um beneficiário a participar do programa. Essas qualidades ocultas podem estar positivamente correlacionadas com a autosseleção, caso em que você estaria superestimando o impacto do programa. Elas também podem estar negativamente correlacionadas com a autosseleção, tal como quando alguém aborda uma ONG para obter ajuda em um período de crise, caso em que você estaria subestimando o impacto. Seja como for, é provável que você “avalie errado” o impacto ao tentar fazer essas comparações. É provável que estimar o impacto do seu programa comparando beneficiários a não beneficiários produza resultados bastante equivocados.

Com efeito, tudo que podemos observar — diferenças antes-e-depois ou diferenças entre beneficiários e não beneficiários — consiste no verdadeiro impacto e no viés da nossa observação. Podemos observá-lo facilmente tanto subtraindo quanto adicionando a situação contrafactual a essa diferença, conforme se verifica no diagrama abaixo.

A diferença que observamos, portanto, é:

Fazendo do jeito certo. Então como gerar situações contrafactuais válidas? Esse é o truque por trás de todos os bons estudos de impacto.

O princípio geral por trás da geração de situações contrafactuais válidas para o trabalho da sua ONG é tentar reproduzir as qualidades dos seus beneficiários (tanto observados quanto não observados) a fim de criar um grupo de pessoas que reproduzam estatisticamente o seu grupo de beneficiários, mas que não tenham recebido a sua intervenção. Algumas boas maneiras de se fazer isso são: (A) Incorporar um experimento randomizado no escopo relativamente normal do seu trabalho; (B) Usar um ponto de corte de elegibilidade arbitrário que você possa empregar para escolher os beneficiários a fim de criar situações contrafactuais em torno desse ponto de corte; (C) Usar uma combinação de antes-e-depois e beneficiários vs. não beneficiários, o que chamamos de uma “diferença entre diferenças”. Forneceremos aqui alguns exemplos de cada.

(A) incorporar um experimento randomizado ao seu trabalho. Suponhamos que a sua organização forneça taxas escolares para crianças de famílias de baixa renda na Tanzânia. Você tem uma quantia X de recursos de doações, e com X, por mais que você quisesse muito, não tem como ajudar todas as crianças da Tanzânia. Algumas escolhas difíceis têm de ser feitas. Um modo de fazê-las é por meio de uma espécie de “avaliação + triagem + sorteio.”

Primeiro, analise as condições básicas de cada uma das crianças da sua área de operação as quais você vai levar em conta para o seu programa. Considere medidas simples de pobreza doméstica, condições de saúde, condição de risco e assim por diante. Baseado nessas medidas, ordene as crianças em um espectro de quão provável seria uma decisão de frequentar a escola dependendo do recebimento de um subsídio de auxílio escolar. Divida então as crianças em três grupos: 1) Aquele para quem a decisão de frequentar a escola dependeria quase com certeza do subsídio escolar; 2) Aquele que pode ser que seja influenciado a frequentar a escola pelo subsídio; 3) Aquele que provavelmente não seria beneficiado pelo subsídio (seja porque frequentaria a escola mesmo que não recebesse o subsídio, seja porque não frequentaria a escola mesmo que recebesse o subsídio). A propósito, esta abordagem não o ajudará apenas a mensurar o impacto: é também muito provável que o ajude a aumentá-lo.

Suponhamos que você tenha recursos suficientes para crianças da categoria 1 e mais alguma coisa para outras crianças, mas não o suficiente para todas as crianças da categoria 2. Então, após eliminar as crianças da categoria 3 das considerações, você fornece o subsídio a todas as crianças da categoria 1. Então você anuncia que, a fim de dar a todas as crianças da categoria 2 “uma chance justa e igualitária” para receber um subsídio escolar, você faz um sorteio público para a alocação desses espaços. Suponhamos que 40% das crianças da categoria 2 sejam escolhidas por meio do sorteio. A fim de mensurar o seu impacto, você mensuraria então os resultados (talvez em diferentes pontos no tempo) entre os 40% das crianças da categoria 2 que foram escolhidas e um número igual de crianças da categoria 2 escolhidas aleatoriamente que não tenham sido escolhidas pelo sorteio. Ao longo das medidas de impacto escolhidas (frequência escolar, redução do trabalho infantil, aprendizagem etc.), a diferença entre elas é a sua medida do impacto médio. Dividindo-se essa diferença pelo erro padrão da sua estimativa, obtém-se uma estatística t que, se for maior que 1,96, indica um significado estatístico de 5% de nível de confiança, que é o pico estatístico para a indicação de um nível razoavelmente alto de certeza de que o resultado não é apenas aleatório.
Outro tipo de experimento. Mesmo que todos tenham a oportunidade de participar, outro tipo de experimento que pode ser feito com esse tipo de programa seria aquele em que determinados lares escolhidos a partir de uma amostra maior de lares elegíveis recebam aleatoriamente um convite à participação de suas crianças. Suponha que a sua taxa de resposta entre os lares convidados seja m, e que, dentre os lares não convidados, seja n. (Caso você tenha feito uma boa promoção, m deve ser muito maior que n, o que deve se verificar para que isso funcione.) Então, após algum tempo, você faz uma pesquisa sobre as suas medidas de impacto sobre todos os membros de ambos os grupos, os convidados aleatoriamente e os não convidados. Caso chamemos de M o resultado médio dentre todos do grupo convidado e de N o impacto médio dentre todos do grupo não convidado, (M – N)/(m – n) dará uma estimativa do impacto do programa. Mais uma vez, divida essa estimativa por um erro padrão para ter certeza de que a diferença observada não se dá só por acaso.
(B) Use um Ponto de Corte de Elegibilidade. Suponhamos que você não tenha vontade de conduzir um experimento, mas atribui benefícios do seu programa com base em algum indicador. Por exemplo, você administra

• um projeto de agricultura que fornece sementes a qualquer fazendeiro com menos de 0,5 quilômetros quadrados de terra, mas não a nenhum fazendeiro com mais que isso; ou
• um projeto educativo que fornece uniformes escolares a todos os estudantes com pelo menos 80% da nota do exame de final de ano do ano passado; ou
• um projeto de alívio da pobreza que reúna indicadores sobre 10 bens de lares em cada vilarejo e forneça um pacote de apoio a lares que tenham 5 ou menos desses bens.

Neste caso, você pode usar o que é comumente chamado de “método de regressão de descontinuidade”. Considere o primeiro exemplo, em que você fornece sementes para fazendeiros com menos de 1,5 quilômetros quadrados de terra. É claro que, ao compararem-se fazendeiros com quase nenhuma terra, digamos, 0,1 km², com fazendeiros com muita terra (digamos, 50 km²), encontraríamos o mesmo problema colocado acima em relação a beneficiários e não beneficiários. Eles são tão diferentes, mesmo antes do programa, que nenhuma diferença no rendimento agrícola após o programa poderia ser atribuída de fato ao programa.

Mas pense sobre o fazendeiro com 0,4 km² (que recebe as sementes) e o fazendeiro com 0,6 km² (que não recebe). Esses fazendeiros são muito parecidos antes do seu programa de sementes. Eles continuam sendo pequenos fazendeiros: só por acaso um fica abaixo do seu ponto de corte e outro fica acima. Mesmo avaliando o seu programa apenas pela comparação desses fazendeiros que estão acima do ponto de corte (mas próximos a ele!) e não se beneficiam do seu programa com aqueles que estão abaixo do ponto de corte (mas próximos dele!), você conseguirá uma estimativa muito melhor do impacto do que simplesmente comparando beneficiários e não beneficiários em geral.

Isso posto, esses dois fazendeiros ainda não são idênticos, mesmo antes da distribuição das sementes. O fazendeiro com 0,6 km² pode ser um pouco mais empreendedor que o fazendeiro com 0,4 km² (afinal de contas, talvez seja por isso que ela tenha 0,2 km² a mais). Portanto, a melhor maneira de fazer isso seria executar uma análise de regressão simples, que lhe permita controlar a quantia de terra que cada fazendeiro tem (e talvez outras variáveis) ao fazer a comparação em qualquer um dos lados da sua regra de elegibilidade.
Para que esse método funcione, você precisa realmente de um bom número de beneficiários próximos ao ponto de corte. Mantenha em mente que tudo o que esse método lhe diz é quão eficaz o seu programa é para as pessoas que se encontram próximas ao ponto de corte. Portanto, ele não diz necessariamente quão bem o programa funciona para fazendeiros com microterrenos de 0,1 km². Mas os fazendeiros próximos ao ponto de corte podem ser muito importantes: caso você esteja pensando em expandir o programa a fazendeiros que tenham menos que 0,6 km², compreender quão bem funciona o programa na proximidade dessa faixa é a melhor informação que você pode ter.

(C) Combine antes/depois e beneficiários/não beneficiários. Embora os estudos baseados em “antes e depois” e “beneficiários vs. não beneficiários” contenham, cada um deles, suas próprias fraquezas, ocorre que, quando combinados, eles podem produzir resultados substancialmente mais confiáveis. Suponha que você controle um programa que fornece galinhas (para a alimentação, procriação e venda) aos lares mais pobres de uma comunidade. Você quer saber se os lares beneficiados têm uma renda mais alta após receber essas galinhas. Você não pode apenas compará-los antes e depois de receber as galinhas. Caso o faça, você estará pressupondo que a renda teria permanecido exatamente a mesma sem as galinhas, quando na verdade a renda das pessoas pode flutuar por diversos motivos. Você não pode simplesmente compará-los a outros membros de comunidades que não recebem as galinhas, uma vez que aqueles que recebem as galinhas ainda podem estar entre os mais pobres, mesmo que as galinhas aumentem sua renda.

O método da “diferença em diferenças” melhora a comparação antes/depois e beneficiário/não beneficiário usando ambos de uma vez só. Você vê os beneficiários antes e depois; digamos que sua renda suba de 100 pesos a 200 pesos mensais. Você também vê os não beneficiários antes e depois. Imagine que sua renda também suba, mas apenas porque a comunidade recebe uma boa quantidade de chuvas, de 300 para 350 pesos. Então, veremos uma alteração na renda dos beneficiários (100 pesos, de 100 a 200). Mas veremos também uma alteração na renda dos beneficiários (50 pesos, de 300 a 350). Supõe-se, neste caso, que a alteração para os não beneficiários é o que teria sido alterado para os beneficiários sem o programa.
O efeito do programa seria de 100 (a mudança real para beneficiários) menos 50 (o que pensamos teria acontecido a beneficiários sem o programa, conforme julgado por não beneficiários) ou uma melhoria – devido ao programa – de 50 pesos mensais. O método é chamado de “diferença em diferenças” porque mensuramos a diferença entre duas diferenças (a mudança ao longo do tempo entre beneficiários versus a mudança entre não beneficiários).

Este método dá uma dimensão precisa do impacto apenas caso você tenha um bom motivo para crer que a renda dos beneficiários e dos não beneficiários seria crescente na mesma razão na ausência do programa. O melhor modo de verificar se isso é provável é ver a rapidez com que o consumo cresce para ambos os grupos antes da introdução do programa.

Para levar. Esta é apenas uma amostra desses métodos; o objetivo aqui é mostrar que é mesmo possível avaliar os seus programas, e você não precisa ter um PhD para implementar métodos simples de avaliação. Caso deseje aprender mais, aqui vão alguns recursos para você. 

• O Banco Mundial tem um livro gratuito e não técnico sobre a avaliação de impacto, de autoria de Paul Gertler et al., disponível em português aqui. Ele está também disponível em francês, inglês e espanhol.
• O Banco Mundial também publicou um livro útil que pressupõe conhecimentos básicos sobre análise de regressão, The Handbook of Impact Evaluation, de Sahidur Hkandker, Gayatri Koolwal e Hussain Samad, disponível gratuitamente em PDF aqui.
• Rachel Glennerster e Kudzai Takavarasha têm um ótimo livro chamado Running Randomized Evaluations, um ótimo recurso para a realização de experimentos randomizados. Acompanhe o blog da autora Glennerster sobre o livro aqui.
• O Centro de Avaliação de Impacto do Banco Interamericano de Desenvolvimento tem mais informações sobre métodos, bem como listas de verificação e modelos para cada etapa de uma avaliação de impacto.

Data de publicação: 7 de novembro de 2017