Maria Cecília Prates é economista e mestre em economia pela UFMG, e doutora em administração pela FGV /Ebape. Pesquisadora na FGV / IBRE na área social por muitos anos, e depois tem feito monitorias, consultorias, pesquisas em avaliação de projetos sociais e RSC.
Dez motivos para não medir impacto – e o que fazer no lugar?
14 de março de 2024
É comum ouvirmos que programas ou projetos sociais que fazem avaliação de impacto têm muito mais chances de obter financiamentos. Porém, no caso das organizações do terceiro setor, raramente, ou quase nunca, a avaliação de impacto é o método adequado. Avaliações de impacto exigem procedimentos estatísticos complexos (pesquisa experimental), nada amigável aos não-iniciados no método, além de serem dispendiosas e demoradas (podem levar anos!) para produzirem os seus achados.
Daí a importância do artigo ´Ten reasons not to measure impact – and what to do instead`, dos professores Mary Kay Gugerty (University of Washington) e Dean Karlan (Northwestern University), publicado na Stanford Social Innovation Review (2018). A seguir, apresento os principais pontos abordados no texto.
Para os autores, o problema está em que o avanço do uso da tecnologia de informação acarretou custos decrescentes da coleta e análise dos dados e, com isto, houve um apelo cada vez maior por medições de impacto. Essa compulsão por demonstrar impacto acabou gerando desperdício de recursos, comprometimento dos esforços de monitoramento em favor das avaliações de impacto, e ainda contribuiu para o crescimento de métodos pobres e incorretos de demonstrar impacto. E o que é mais grave, avaliações de impacto malfeitas acabam por produzir resultados errados ou enganosos, induzindo a tomadas de decisão injustas acerca dos projetos. Com isso, bons projetos podem acabar sendo descontinuados, e maus projetos seguirem sendo financiados.
Os dez motivos para não avaliar impacto
Gugerty e Karlan enumeram as dez razões, ou situações de projetos, em que as avaliações de impacto não se justificam:
- Ferramenta inadequada: excelentes perguntas avaliativas, porém com abordagem errada. Perguntas relacionadas à focalização do projeto (público beneficiário adequado) ou à adequação dos serviços oferecidos não precisam ser respondidas com avaliação de impacto. São objeto de um bom monitoramento.
- O desenho do programa ainda não foi concluído. Antes de pensar em avaliar impacto, é preciso verificar se a “teoria da mudança” proposta é válida para um dado contexto social. Pois se as estratégias propostas não forem condizentes com a realidade do público-alvo, não faz sentido fazer avaliação de impacto.
- A implementação do programa ainda não foi completada. Suponha que a “teoria do programa” foi definida e os seus pressupostos testados, porém a implementação foi falha, e não se deu de acordo com o planejado. A avaliação de impacto só se justifica depois do monitoramento. Antes disso, representa má escolha e desperdício de recursos.
- Decidir avaliar durante a implantação do projeto. Muitas vezes a decisão de fazer avaliação de impacto só vem depois que o projeto já está sendo implementado. Aí já ficou tarde demais para construir aleatoriamente os grupos de controle e de tratamento: a comparabilidade entre os dois grupos torna-se questionável e os resultados da avaliação de impacto pouco convincentes.
- Os recursos são muito limitados. Quando os recursos são limitados, isso pode afetar a avaliação de impacto de duas maneiras. Primeiro, porque se a escala do projeto é muito pequena, não se justifica medir impacto (esse dinheiro poderia ser melhor aplicado para ajudar a mais pessoas). E segundo, a avaliação de impacto tende a ser malfeita, com uma implementação pobre dos rigorosos protocolos de avaliação. A alternativa é não fazer avaliação de impacto; e buscar na literatura insights sobre a efetividade da estratégia adotada, e usar os próprios dados administrativos para responder às perguntas de impacto.
- Os efeitos indiretos são difíceis de serem identificados, porém críticos à teoria da mudança. Quando os efeitos indiretos não podem ser adequadamente estimados, e quando eles tendem a ser grandes, então a avaliação de impacto não representa uma boa opção avaliativa. Porque as conclusões da avaliação tenderão a ser incorretas e enviesadas, pois o verdadeiro impacto ficará mascarado por esses efeitos indiretos (não medidos), e daí os recursos para avaliação terão sido desperdiçados.
- A implementação do programa é muito caótica. Algumas situações não são passíveis de avaliação de impacto. É o caso dos projetos que convivem com situações de alívio de desastres, cuja implementação tem que ir mudando para se adaptar às circunstâncias em evolução. Daí torna-se complicado, dispendioso e até pouco ético manter grupos de experimento e de controle nesses ambientes conturbados, impedindo assistência a pessoas que tanto necessitam. A alternativa é acompanhar a implementação das atividades e coletar os dados de gestão que vão contribuir para fortalecer o programa.
- A implementação se dá em âmbito muito abrangente. Suponha as campanhas de advocacy que normalmente têm níveis elevados de focalização (países ou regiões inteiras), em que fica inviável ou até “ridículo” compor grupos de controle. Então são situações que também não são passíveis de avaliação de impacto. A alternativa é acompanhar a implementação e os dados de gestão, para verificar se as mudanças previstas estão ocorrendo.
- Quando já sabemos a resposta. Em alguns casos, a resposta sobre se o programa funciona já é conhecida, a partir de um outro estudo ou série de estudos. Mesmo assim, os doadores ou os conselheiros exigem que seja feita a avaliação de impacto para checar os seus investimentos em particular. Então, acabam sendo feitas avaliações de impacto desnecessárias, apenas para se “ter a certeza”. A alternativa é resistir a essas demandas de avaliação de impacto, usando bons argumentos: que a “teoria da mudança” dos outros programas avaliados é semelhante ao do nosso programa; e que as características do contexto social desses programas avaliados são também semelhantes ao nosso programa. Então, nesses casos, basta que seja feito o monitoramento para verificar se a implementação foi feita de acordo com o que estava previsto no modelo do programa.
- Quando não há ganho na generalização do aprendizado. A avaliação de impacto só deve ser conduzida se ela ajuda a determinar o porquê uma coisa funciona, não apenas se funciona. As avaliações de impacto não devem ser conduzidas se elas não puderem propiciar conhecimento generalizável sobre a questão do “porque” – ou seja, se elas forem úteis apenas para uma dada organização e apenas para uma dada implementação (reforça o motivo 5). Essa regra se aplica a projetos com baixo poder de serem escaláveis. A alternativa para o caso de um programa que tenha um potencial pequeno de replicação ou escalabilidade é avaliar a sua implementação, de modo a verificar se o seu desempenho foi de acordo com o que estava planejado.
Como as organizações podem desenvolver sistemas adequados de coleta de informação?
Para os autores foi essa recente “corrida” para a medição de impacto que acabou por tirar o foco de tarefas triviais, porém cruciais, como monitorar a implementação e melhorar os projetos sociais.
O que ocorre é que como os dados do monitoramento não estão sendo devidamente conectados ao processo de gestão dos projetos, daí o monitoramento acaba sendo percebido pelos gestores como tendo pouca (ou nenhuma) utilidade.
Da mesma maneira, as demandas externas por impacto (dos doadores ou dos conselheiros) não dão o valor devido às informações sobre a implementação dos projetos, porque esses dados geralmente não estão conectados com a teoria da mudança. E sem essa conexão esses atores tendem a não ver utilidade nos dados de implementação. Para Gugerty e Karlan, sistemas adequados de monitoramento devem ser capazes de gerar as informações para mostrar aos doadores o progresso dos projetos na direção do impacto.
Os sistemas adequados de levantamentos de dados devem ter três características básicas: coleta os dados certos; reporta os dados em formato útil e no tempo adequado; e cria, na organização, capacidade e comprometimento para usar os dados. Em outras palavras, serem sistemas de dados “acionáveis”, isto é, que estão prontos para serem usados para a gestão das organizações.
São cinco os tipos de dados para o monitoramento:
- Financeiro (receitas e despesas nos níveis administrativo e programático);
- Implementação propriamente (atividades e produtos);
- Focalização (quem são os reais participantes do projeto?);
- Engajamento (como está sendo a interação entre os participantes no projeto?);
- Feedback (pontos fortes e fracos do projeto, sob a perspectiva dos participantes).
Um outro aspecto fundamental relacionado a esses sistemas é empoderar (capacitar e comprometer) os tomadores de decisão a utilizarem os dados quando forem tomar as suas decisões e depois para o acompanhamento (de suas decisões). Para isto é necessário que os dados sejam compartilhados amplamente dentro da organização e no tempo adequado (e não é preciso tecnologia de informática complexa); que haja discussões periódicas envolvendo funcionários e gerentes; que haja o compromisso das equipes em informar o que está indo bem e o que não está; e que os dados gerados pelo sistema consiga responder aos muitos questionamentos que forem surgindo na organização (accountability).
Enfim, qual a ideia central do artigo?
Um sistema adequado de dados na organização coleta os dados certos e dialoga/interage bem com a ´teoria da mudança` e com a gestão da organização. Tal sistema se torna capaz de fornecer as evidências sobre se o projeto está indo na direção do impacto, como está sendo conduzida a sua implementação e o que é preciso fazer para melhorá-lo. Na grande maioria das organizações do terceiro setor não é preciso “provar” impacto, basta mostrar as evidências do impacto. Já nas organizações maiores, quando elas reunirem as condições adequadas, aí sim elas devem fazer as avaliações de impacto.
Concordo plenamente com os autores!!
Inscreva-se na nossa Newsletter
Últimas publicações
Quer doar, mas não sabe se o dinheiro vai chegar onde precisa? No Brasil, a desconfiança ainda trava doações. Veja como doar de forma efetiva e gerar impacto social real.
O adoecimento mental da população brasileira tem se intensificado nos últimos anos e já se reflete de forma direta no mundo do trabalho. O aumento de afastamentos por transtornos mentais, a ampliação de quadros de ansiedade e a exaustão profissional passaram a ocupar o centro dos debates sobre produtividade, gestão de pessoas e sustentabilidade organizacional. No Terceiro Setor, esse cenário não é diferente — e apresenta contornos ainda mais críticos. Dados da Pesquisa Saúde Mental e Bem-Estar no Terceiro Setor (2023), realizada pelo Instituto Phomenta, revelam que 55% dos profissionais do setor expressam algum nível de preocupação com sua saúde mental e bem-estar. Esse contexto foi debatido no Webinar Tendências para o Terceiro Setor 2026, promovido pelo Instituto Phomenta, que apontou a saúde mental como uma das principais tendências e desafios estruturais para as organizações sociais nos próximos anos. A pesquisa ouviu 842 profissionais, de 214 cidades, em todos os estados brasileiros e no Distrito Federal. Os dados mostram que o alto comprometimento com a causa convive com estresse constante, sensação de urgência permanente e dificuldade de estabelecer limites entre vida pessoal e trabalho, um paradoxo cada vez mais presente no cotidiano das organizações da sociedade civil. Cuidar de quem cuida Durante muito tempo, o trabalho no Terceiro Setor esteve associado à ideia de propósito como fator de proteção emocional. Os dados da pesquisa indicam que essa narrativa já não se sustenta. Entre os respondentes, 38% classificam sua saúde mental como regular e 17% como ruim, evidenciando um cenário de alerta que afeta tanto profissionais quanto lideranças. O recorte de gênero revela desigualdades importantes. As mulheres, que representam 65% da força de trabalho no Terceiro Setor, são as que expressam maiores níveis de preocupação: 60% relatam algum grau de insatisfação com sua saúde mental e bem-estar, frente a 45% dos homens. Entre os jovens, os índices são ainda mais elevados. Profissionais de 18 a 24 anos e de 25 a 34 anos apresentam os piores indicadores, com 69% e 70%, respectivamente, avaliando sua saúde mental como regular ou ruim. Esses dados foram destacados no Webinar Tendências para o Terceiro Setor 2026 como um sinal de que o setor precisa repensar suas práticas internas se quiser manter equipes engajadas e sustentáveis. A NR-1 e o impacto direto na gestão das organizações Outro ponto central do debate foi a atualização da Norma Regulamentadora nº 1 (NR-1). A partir de maio de 2025, organizações com pessoas contratadas sob regime CLT passam a ter a responsabilidade de identificar, prevenir e gerenciar riscos psicossociais no ambiente de trabalho. Entre os fatores de risco mais recorrentes, a pesquisa da Phomenta aponta: excesso de demandas e tarefas, indicado por 64% dos respondentes como principal fator de estresse; jornadas prolongadas e dificuldade de equilíbrio entre vida pessoal e trabalho; ausência de reconhecimento e suporte institucional; conflitos interpessoais e condições precárias de trabalho. Os efeitos desse modelo aparecem nos sintomas relatados: 77% dos profissionais mencionam ansiedade como um dos principais impactos, e 64% relatam exaustão física. Durante o webinar, foi reforçado que o cumprimento da NR-1, embora necessário, não é suficiente para enfrentar um problema estrutural. O desafio está na revisão das práticas de gestão de pessoas, incluindo distribuição de tarefas, modelos de liderança, processos decisórios e a forma como o cuidado é incorporado, ou negligenciado, na cultura organizacional. Saúde mental como estratégia de sustentabilidade A pesquisa também evidencia que mais de 70% dos respondentes não percebem ações intencionais de suas organizações voltadas à promoção do bem-estar. Esse dado foi amplamente debatido no Webinar Tendências para o Terceiro Setor 2026, que destacou a urgência de transformar o cuidado em estratégia institucional. Entre as organizações que adotam ações voltadas à saúde mental, os profissionais citam iniciativas como atendimento psicológico, espaços de diálogo, formações, flexibilidade no trabalho e momentos de convivência. Ainda assim, esses esforços seguem sendo exceção, e não regra. No Terceiro Setor, cuidar da saúde mental das equipes deixou de ser um tema secundário. Trata-se de uma condição para a permanência das pessoas, para a qualidade do trabalho realizado e para a coerência entre missão institucional e práticas internas. A crise de saúde mental convida o setor a um exercício de autocrítica. Não é possível enfrentar desigualdades externas se, internamente, as relações de trabalho reproduzem exaustão, urgência permanente e invisibilização do cuidado. Em 2026, organizações que colocarem as pessoas no centro da gestão estarão mais preparadas para sustentar seu impacto social no longo prazo. Assista completo:
As transformações no cenário internacional de financiamento foram um dos alertas mais sensíveis apresentados no Webinar: Tendências de 2026 para o Terceiro Setor, realizado pelo Instituto Phomenta. Em um contexto de instabilidade política, mudanças de prioridades globais e retração de recursos externos, organizações brasileiras já sentem os impactos de uma filantropia internacional mais seletiva, menos previsível e cada vez mais estratégica. Em 2026, essa tendência se consolida e exige das organizações sociais um reposicionamento em relação à forma como acessam, gerenciam e diversificam suas fontes de recursos. A retração do financiamento internacional Durante o webinar, foram destacados movimentos recentes que ajudam a explicar o cenário atual, como a redução de repasses de países da OCDE (Organização para a Cooperação e Desenvolvimento Econômico), o enfraquecimento de programas tradicionais de cooperação internacional e o encerramento ou redirecionamento de iniciativas históricas, como a USAID (Agência dos Estados Unidos para o Desenvolvimento Internacional). Essas mudanças não acontecem de forma isolada. Elas refletem disputas geopolíticas, reorientação de agendas nacionais e uma priorização maior de crises internas por parte de países doadores. Para muitas organizações do Sul Global, isso representa a perda de fontes que, por décadas, sustentaram projetos e estruturas institucionais. Menos recursos, mais exigências Além da diminuição do volume de recursos, o webinar destacou um aumento significativo no nível de exigência dos financiadores internacionais que permanecem ativos. Entre os critérios mais observados estão: capacidade de gestão financeira e institucional; governança estruturada; indicadores consistentes de resultados; alinhamento com agendas globais específicas; histórico de parcerias e execução. Em 2026, organizações com baixa maturidade institucional tendem a enfrentar ainda mais barreiras para acessar recursos internacionais, mesmo quando atuam em causas prioritárias. O papel do financiamento público no Brasil Em contraste com a retração internacional, observamos o crescimento dos repasses federais no Brasil nos últimos anos. Esse movimento abre oportunidades, mas também traz desafios próprios. Acesso a recursos públicos exige preparo técnico, capacidade de prestação de contas, adequação jurídica e fôlego financeiro para lidar com prazos e burocracias. Para muitas organizações, isso demanda investimentos prévios em estrutura e equipe, o que nem sempre é possível sem apoio externo. Ainda assim, o aumento do financiamento público reforça a importância de olhar para o território nacional como parte estratégica da sustentabilidade financeira. Diversificação como estratégia de sobrevivência Uma das principais reflexões trazidas é que depender de uma única fonte de recursos se torna cada vez mais arriscado. Em 2026, a diversificação deixa de ser recomendação e passa a ser condição de sobrevivência. Isso envolve combinar diferentes fontes, como: filantropia nacional; parcerias com empresas; recursos públicos; doações individuais; prestação de serviços alinhados à missão. O impacto das mudanças na autonomia das organizações As transformações na filantropia internacional também afetam a autonomia das organizações sociais. Com menos recursos disponíveis e maior competição, cresce o risco de adaptação excessiva a agendas externas, em detrimento das demandas reais dos territórios. Por isso a importância de manter o foco na missão e no impacto social, mesmo diante de pressões financeiras. Organizações mais preparadas institucionalmente tendem a negociar melhor, fazer escolhas mais estratégicas e preservar sua coerência. O que essa tendência exige das organizações Em 2026, o cenário de financiamento será mais restrito, mais técnico e mais competitivo. Organizações que investem em desenvolvimento institucional, planejamento financeiro e fortalecimento da gestão terão mais condições de atravessar esse contexto com menos rupturas. Como discutido no webinar, adaptar-se às mudanças da filantropia internacional não significa abandonar princípios, mas sim construir bases mais sólidas para seguir atuando com impacto, autonomia e sustentabilidade no longo prazo. Confira o Conteúdo:
A confiança no Terceiro Setor está em alerta. Entenda por que transparência, governança e coerência se tornaram decisivas para as organizações em 2026.
Agentes de IA ganham espaço no Terceiro Setor em 2026, apoiando captação, operação e gestão. Entenda a tendência, seus usos e os cuidados para organizações sociais.
Antes de definir metas ou pensar nos posts do ano, olhe para dentro da sua organização. Saiba aqui o que se perguntar antes de montar seu planejamento estratégico.
Participe do nosso grupo no WhatsApp para receber nossos conteúdos em primeira mão
