Maria Cecília Prates é economista e mestre em economia pela UFMG, e doutora em administração pela FGV /Ebape. Pesquisadora na FGV / IBRE na área social por muitos anos, e depois tem feito monitorias, consultorias, pesquisas em avaliação de projetos sociais e RSC.
Dez motivos para não medir impacto – e o que fazer no lugar?
14 de março de 2024
É comum ouvirmos que programas ou projetos sociais que fazem avaliação de impacto têm muito mais chances de obter financiamentos. Porém, no caso das organizações do terceiro setor, raramente, ou quase nunca, a avaliação de impacto é o método adequado. Avaliações de impacto exigem procedimentos estatísticos complexos (pesquisa experimental), nada amigável aos não-iniciados no método, além de serem dispendiosas e demoradas (podem levar anos!) para produzirem os seus achados.
Daí a importância do artigo ´Ten reasons not to measure impact – and what to do instead`, dos professores Mary Kay Gugerty (University of Washington) e Dean Karlan (Northwestern University), publicado na Stanford Social Innovation Review (2018). A seguir, apresento os principais pontos abordados no texto.
Para os autores, o problema está em que o avanço do uso da tecnologia de informação acarretou custos decrescentes da coleta e análise dos dados e, com isto, houve um apelo cada vez maior por medições de impacto. Essa compulsão por demonstrar impacto acabou gerando desperdício de recursos, comprometimento dos esforços de monitoramento em favor das avaliações de impacto, e ainda contribuiu para o crescimento de métodos pobres e incorretos de demonstrar impacto. E o que é mais grave, avaliações de impacto malfeitas acabam por produzir resultados errados ou enganosos, induzindo a tomadas de decisão injustas acerca dos projetos. Com isso, bons projetos podem acabar sendo descontinuados, e maus projetos seguirem sendo financiados.
Os dez motivos para não avaliar impacto
Gugerty e Karlan enumeram as dez razões, ou situações de projetos, em que as avaliações de impacto não se justificam:
- Ferramenta inadequada: excelentes perguntas avaliativas, porém com abordagem errada. Perguntas relacionadas à focalização do projeto (público beneficiário adequado) ou à adequação dos serviços oferecidos não precisam ser respondidas com avaliação de impacto. São objeto de um bom monitoramento.
- O desenho do programa ainda não foi concluído. Antes de pensar em avaliar impacto, é preciso verificar se a “teoria da mudança” proposta é válida para um dado contexto social. Pois se as estratégias propostas não forem condizentes com a realidade do público-alvo, não faz sentido fazer avaliação de impacto.
- A implementação do programa ainda não foi completada. Suponha que a “teoria do programa” foi definida e os seus pressupostos testados, porém a implementação foi falha, e não se deu de acordo com o planejado. A avaliação de impacto só se justifica depois do monitoramento. Antes disso, representa má escolha e desperdício de recursos.
- Decidir avaliar durante a implantação do projeto. Muitas vezes a decisão de fazer avaliação de impacto só vem depois que o projeto já está sendo implementado. Aí já ficou tarde demais para construir aleatoriamente os grupos de controle e de tratamento: a comparabilidade entre os dois grupos torna-se questionável e os resultados da avaliação de impacto pouco convincentes.
- Os recursos são muito limitados. Quando os recursos são limitados, isso pode afetar a avaliação de impacto de duas maneiras. Primeiro, porque se a escala do projeto é muito pequena, não se justifica medir impacto (esse dinheiro poderia ser melhor aplicado para ajudar a mais pessoas). E segundo, a avaliação de impacto tende a ser malfeita, com uma implementação pobre dos rigorosos protocolos de avaliação. A alternativa é não fazer avaliação de impacto; e buscar na literatura insights sobre a efetividade da estratégia adotada, e usar os próprios dados administrativos para responder às perguntas de impacto.
- Os efeitos indiretos são difíceis de serem identificados, porém críticos à teoria da mudança. Quando os efeitos indiretos não podem ser adequadamente estimados, e quando eles tendem a ser grandes, então a avaliação de impacto não representa uma boa opção avaliativa. Porque as conclusões da avaliação tenderão a ser incorretas e enviesadas, pois o verdadeiro impacto ficará mascarado por esses efeitos indiretos (não medidos), e daí os recursos para avaliação terão sido desperdiçados.
- A implementação do programa é muito caótica. Algumas situações não são passíveis de avaliação de impacto. É o caso dos projetos que convivem com situações de alívio de desastres, cuja implementação tem que ir mudando para se adaptar às circunstâncias em evolução. Daí torna-se complicado, dispendioso e até pouco ético manter grupos de experimento e de controle nesses ambientes conturbados, impedindo assistência a pessoas que tanto necessitam. A alternativa é acompanhar a implementação das atividades e coletar os dados de gestão que vão contribuir para fortalecer o programa.
- A implementação se dá em âmbito muito abrangente. Suponha as campanhas de advocacy que normalmente têm níveis elevados de focalização (países ou regiões inteiras), em que fica inviável ou até “ridículo” compor grupos de controle. Então são situações que também não são passíveis de avaliação de impacto. A alternativa é acompanhar a implementação e os dados de gestão, para verificar se as mudanças previstas estão ocorrendo.
- Quando já sabemos a resposta. Em alguns casos, a resposta sobre se o programa funciona já é conhecida, a partir de um outro estudo ou série de estudos. Mesmo assim, os doadores ou os conselheiros exigem que seja feita a avaliação de impacto para checar os seus investimentos em particular. Então, acabam sendo feitas avaliações de impacto desnecessárias, apenas para se “ter a certeza”. A alternativa é resistir a essas demandas de avaliação de impacto, usando bons argumentos: que a “teoria da mudança” dos outros programas avaliados é semelhante ao do nosso programa; e que as características do contexto social desses programas avaliados são também semelhantes ao nosso programa. Então, nesses casos, basta que seja feito o monitoramento para verificar se a implementação foi feita de acordo com o que estava previsto no modelo do programa.
- Quando não há ganho na generalização do aprendizado. A avaliação de impacto só deve ser conduzida se ela ajuda a determinar o porquê uma coisa funciona, não apenas se funciona. As avaliações de impacto não devem ser conduzidas se elas não puderem propiciar conhecimento generalizável sobre a questão do “porque” – ou seja, se elas forem úteis apenas para uma dada organização e apenas para uma dada implementação (reforça o motivo 5). Essa regra se aplica a projetos com baixo poder de serem escaláveis. A alternativa para o caso de um programa que tenha um potencial pequeno de replicação ou escalabilidade é avaliar a sua implementação, de modo a verificar se o seu desempenho foi de acordo com o que estava planejado.
Como as organizações podem desenvolver sistemas adequados de coleta de informação?
Para os autores foi essa recente “corrida” para a medição de impacto que acabou por tirar o foco de tarefas triviais, porém cruciais, como monitorar a implementação e melhorar os projetos sociais.
O que ocorre é que como os dados do monitoramento não estão sendo devidamente conectados ao processo de gestão dos projetos, daí o monitoramento acaba sendo percebido pelos gestores como tendo pouca (ou nenhuma) utilidade.
Da mesma maneira, as demandas externas por impacto (dos doadores ou dos conselheiros) não dão o valor devido às informações sobre a implementação dos projetos, porque esses dados geralmente não estão conectados com a teoria da mudança. E sem essa conexão esses atores tendem a não ver utilidade nos dados de implementação. Para Gugerty e Karlan, sistemas adequados de monitoramento devem ser capazes de gerar as informações para mostrar aos doadores o progresso dos projetos na direção do impacto.
Os sistemas adequados de levantamentos de dados devem ter três características básicas: coleta os dados certos; reporta os dados em formato útil e no tempo adequado; e cria, na organização, capacidade e comprometimento para usar os dados. Em outras palavras, serem sistemas de dados “acionáveis”, isto é, que estão prontos para serem usados para a gestão das organizações.
São cinco os tipos de dados para o monitoramento:
- Financeiro (receitas e despesas nos níveis administrativo e programático);
- Implementação propriamente (atividades e produtos);
- Focalização (quem são os reais participantes do projeto?);
- Engajamento (como está sendo a interação entre os participantes no projeto?);
- Feedback (pontos fortes e fracos do projeto, sob a perspectiva dos participantes).
Um outro aspecto fundamental relacionado a esses sistemas é empoderar (capacitar e comprometer) os tomadores de decisão a utilizarem os dados quando forem tomar as suas decisões e depois para o acompanhamento (de suas decisões). Para isto é necessário que os dados sejam compartilhados amplamente dentro da organização e no tempo adequado (e não é preciso tecnologia de informática complexa); que haja discussões periódicas envolvendo funcionários e gerentes; que haja o compromisso das equipes em informar o que está indo bem e o que não está; e que os dados gerados pelo sistema consiga responder aos muitos questionamentos que forem surgindo na organização (accountability).
Enfim, qual a ideia central do artigo?
Um sistema adequado de dados na organização coleta os dados certos e dialoga/interage bem com a ´teoria da mudança` e com a gestão da organização. Tal sistema se torna capaz de fornecer as evidências sobre se o projeto está indo na direção do impacto, como está sendo conduzida a sua implementação e o que é preciso fazer para melhorá-lo. Na grande maioria das organizações do terceiro setor não é preciso “provar” impacto, basta mostrar as evidências do impacto. Já nas organizações maiores, quando elas reunirem as condições adequadas, aí sim elas devem fazer as avaliações de impacto.
Concordo plenamente com os autores!!
Inscreva-se na nossa Newsletter
Últimas publicações
Você com certeza já viveu essa cena: o processo de seleção de voluntários foi um sucesso, a reunião de integração é melhor ainda e todo mundo sai motivado. Duas semanas depois, metade do grupo some sem dar notícias, os e-mails ficam sem resposta e, na hora daquela ação crucial, a coordenação precisa se desdobrar porque metade dos confirmados cancelou em cima da hora. Se a rotina da sua ONG parece um eterno ciclo de recrutar pessoas para cobrir o desfalque das anteriores, saiba que você não está só. Manter voluntários conectados a uma causa a longo prazo é um dos maiores desafios de gestão no Terceiro Setor. Para entender o tamanho do problema, basta olhar para o cenário nacional. Os dados da Pesquisa Voluntariado no Brasil, realizada pelo IDIS/Datafolha (2021) afirmam que, dos 57 milhões de brasileiros e brasileiras que realizam ou já realizaram trabalhos voluntários, apenas 12% fazem ações regularmente. Ainda de acordo com a pesquisa, embora o desejo de fazer o bem seja alto no país, entre os voluntários insatisfeitos e menos entusiasmados aparece a falta de motivação e de apoio/recursos, como fatores que trazem desengajamento.
Manter uma Organização da Sociedade Civil (OSC) de portas abertas no Brasil é um desafio diário de sobrevivência. Historicamente, a sustentabilidade financeira é o maior gargalo do terceiro setor, mas, frente ao montante de trabalho e às obrigações do dia a dia, ainda não conseguimos olhar para ela de forma estratégica. Assim, tratamos a busca por recursos como um evento de última hora, e não como um processo diário. Os dados do setor desenham um cenário alarmante sobre a estrutura das organizações brasileiras. Segundo a pesquisa da Associação Brasileira de Captadores de Recursos (ABCR)*, 37% dos respondentes apontam como a maior dificuldade da captação a necessidade de dividir o tempo com outras demandas da instituição. Na maioria dos casos, a função é acumulada pela diretoria ou por técnicos que já estão sobrecarregados com a operação na ponta. O resultado é um ciclo vulnerável, especialista em "apagar incêndios": uma corrida desesperada contra o tempo para preencher formulários complexos apenas quando o caixa já entrou no vermelho. Diante dessa escassez crônica de tempo, a Inteligência Artificial (IA) passou a ser uma ferramenta de infraestrutura obrigatória para viabilizar a sustentabilidade institucional, mas poucas organizações ainda sabem como usá-la. A maioria das ONGs usa IA sem estratégia A rotina ideal de captação exige monitoramento constante do mercado, leitura minuciosa de editais, adequação técnica de propostas e relatórios rigorosos de prestação de contas. Mas você leu bem: ideal . Não é o que temos à mão no dia a dia. Para equipes enxutas, a IA se tornou o caminho para assumir essa carga operacional. Na captação de recursos, a máquina atua — ou deveria atuar — como um copiloto técnico: fazendo a triagem de diretrizes complexas e adaptando a linguagem de projetos para diferentes perfis de financiadores, devolvendo ao profissional o tempo necessário para pensar estrategicamente. Porém, de acordo com o levantamento do Instituto para o Desenvolvimento do Investimento Social (IDIS) , feito com mais de 1,5 mil organizações, 62% assumem que ainda estão em um estágio baixo ou inexistente de adoção de IA. Vivemos em uma constante urgência para adotar a tecnologia, mas o pouco background gerou um uso amador e desordenado. Um mapeamento recente conduzido também pelo IDIS com mais de 500 entidades revelou que 95% das organizações sociais utilizam IA sem qualquer política ou orientação formal, e 75% dependem exclusivamente de ferramentas gratuitas de mercado. O risco aqui é que, com a soma da pouca estratégia e da falta de substância, as ONGs só consigam gerar, por meio da IA, propostas superficiais e desconectadas da realidade do território. São materiais incipientes, que podem levar à desclassificação imediata dos projetos pelos avaliadores dos editais. Como usar a IA a seu favor? Como resposta direta a esse cenário de equipes sobrecarregadas e necessidade de profissionalização tecnológica, a Fundação FEAC, com apoio do Instituto Phomenta, estruturou o projeto Captação com Causa. A iniciativa de 18 meses foi desenhada justamente para aplicar a IA como uma solução de sustentabilidade em 10 OSCs selecionadas de Campinas. Para combater o uso desordenado e a dependência de plataformas gratuitas apontados pelas pesquisas, o programa introduz no dia a dia das instituições bots customizados e programados especificamente para o contexto do terceiro setor. Em vez de soluções genéricas, as organizações ganham um sistema que filtra editais de forma preditiva e qualifica a escrita técnica das propostas, reduzindo drasticamente o tempo gasto na formatação dos projetos. O foco principal do projeto, que conta com um match funding de R$ 100 mil, é estruturar a captação como uma rotina viável. Por meio de assessoramentos individuais e coletivos, o programa prepara os profissionais para utilizarem a IA com postura crítica, garantindo que a tecnologia trabalhe a serviço da estratégia humana. Ao transformar a tecnologia em uma aliada, o Captação com Causa mira na mobilização de R$ 800 mil entre as participantes e na comprovação de que, com o método correto, a captação de recursos pode deixar de ser um susto sazonal e se tornar uma estratégia previsível, perene e sustentável. Quer saber mais sobre o Captação com Causa? Confira nosso último artigo! *Fonte: Censo ABCR
Nem todo edital é uma oportunidade. Entenda os riscos do desvio de missão e como captar recursos de forma estratégica.
O doador brasileiro está mudando: mais seletivo, exigente e orientado por impacto. Descubra o que as organizações sociais precisam oferecer para conquistar e fidelizar quem doa no cenário atual.
Quem está no dia a dia da gestão de uma ONG conhece bem o dilema: a gente passa tanto tempo cuidando dos projetos e atendendo a ponta que a nossa própria estrutura vai ficando para trás. Já diz o ditado: “em casa de ferreiro…”. Nosso financeiro roda no limite, a equipe fica sobrecarregada, os processos são travados e a liderança vive exausta. A verdade é que a gente se acostumou a operar no modo de sobrevivência. Então, que tal dar um passo para trás e avaliar o todo? Durante o FIFE 2026, o sociólogo Domingos Armani trouxe uma provocação que cutucou feridas necessárias. Ele alertou que muitas organizações ainda insistem em carregar crenças e estigmas que funcionam como mapas obsoletos. Só que, o grande problema de usar um mapa velho é que o mundo mudou, e o desenho antigo já não bate com o terreno real de hoje. Insistir na ideia de que investir na própria estrutura é "gastar dinheiro que deveria ir para o projeto" é um desses mapas velhos que precisamos rasgar. Fortalecer a casa, o chamado Desenvolvimento Institucional (DI), é o que garante que a ONG continue existindo e gerando impacto no longo prazo. E essa mudança de mentalidade muda tudo, inclusive o jeito de captar recursos. Mudar a postura para financiar a sua estratégia Captar recursos para o Desenvolvimento Institucional, ou seja para estruturar a gestão, investir em tecnologia e manter o time funcionando, exige parar de pedir dinheiro apenas para o "projeto da vez". No painel da Plataforma Conjunta, ainda no FIFE, o debate girou em torno de como virar essa chave diante dos financiadores. Para ajudar a avaliar como a sua organização está se posicionando, montamos um checklist prático com os principais aprendizados da mesa: Checklist de postura para o fortalecimento da ONG [ ] Você se explica pela estratégia ou pelo portfólio? Quando vai conversar com um parceiro, você gasta todo o tempo listando as oficinas da semana ou apresenta primeiro a missão e a visão de futuro da organização? Grandes parceiros querem financiar o futuro da sua causa, não apenas uma ação pontual. [ ] Você sabe compartilhar vulnerabilidades? Se a sua organização fosse perfeita e não tivesse nenhum problema de gestão, ela não precisaria de apoio. Fale da sua vulnerabilidade, mas com estratégia. Acompanha o próximo ponto! [ ] O desafio vem acompanhado de uma solução? Mostrar os pontos fracos da gestão para o parceiro só funciona se você já apresentar a rota para resolver o problema. A vulnerabilidade precisa vir colada com a sua capacidade de planejamento. [ ] O estigma da escassez foi abandonado? A gestão já superou a velha crença de que o Terceiro Setor precisa trabalhar sofrendo, com ferramentas defasadas e computadores lentos? Modernizar a estrutura interna é uma decisão de eficiência, não um luxo. Saiba que você pode merece e precisa de estrutura. Modernizar para não parar no caminho Se os mapas antigos não funcionam mais, o papel de quem gere é desenhar novas rotas. Olhar para o Desenvolvimento Institucional serve para dar musculatura para a organização. Quando paramos de “vender o almoço para pagar o jantar” e começamos a financiar a nossa própria estratégia, a ONG ganha a sustentabilidade que precisa para transformar a realidade na ponta de forma estruturada e contínua.
Quem trabalha em ONG sabe que a comunicação costuma ser o pratinho que mais cai. Com tantas atividades executadas ao mesmo tempo, a estratégia acaba ficando para trás porque o operacional consome todo o dia. Mas o uso da Inteligência Artificial (IA) tem mostrado que dá para mudar esse cenário. Esse foi um dos temas centrais do Fórum Interamericano de Filantropia Estratégica (FIFE 2026), o principal encontro sobre gestão do Terceiro Setor no Brasil. O debate focou em como a tecnologia pode organizar processos e liberar tempo para o que realmente importa. O cenário brasileiro é curioso: de um lado, a OpenAI aponta que o Brasil é o terceiro país que mais usa o ChatGPT no mundo (atrás apenas de EUA e Índia), com cerca de 140 milhões de mensagens diárias enviadas por aqui. Por outro lado, o uso estratégico nas ONGs ainda engatinha. Um levantamento do IDIS com mais de 1,5 mil organizações revela que 62% delas ainda estão em um estágio baixo ou inexistente de adoção de IA. Ou seja, a tecnologia está na nossa mão, mas o setor social ainda está descobrindo como transformá-la em aliada da gestão. Para tirar proveito real dessas ferramentas, o segredo é o jeito que você as alimenta. Durante a palestra de Marco Iarussi, publicitário social e fundador da Curta Causa, aprendemos que o "treinamento" que você dá à IA é o que define se o resultado será genérico ou útil. Mão na massa: Passo a passo para montar seu plano com IA Para a IA aprender sobre a sua realidade e não entregar respostas vazias, siga este roteiro: 1. Não mude de conversa Escolha um único chat para tratar do seu plano de comunicação, seja no ChatGPT, Gemini ou Claude. Se você abre uma conversa nova toda vez, a IA "esquece" o contexto. Mantendo o mesmo canal, ela guarda o histórico e entende as necessidades específicas da sua organização. 2. Dê informações reais Antes de pedir o plano completo, descubra o que a IA já "pensa" sobre você. Isso serve para corrigir erros e fornecer dados que ela ainda não tem. Prompt: "O que você sabe sobre a causa [inserir sua causa] e o que conhece sobre o trabalho da [nome da sua ONG]?" 3. Alinhe o que é um plano de verdade Veja se o robô entende o seu universo. Se ele tiver uma visão muito comercial, o plano parecerá uma propaganda de loja, o que não funciona para o setor social. Prompt: "Para você, o que não pode faltar em um plano de comunicação para uma ONG? Liste os pontos principais." (Leia e diga o que você concorda ou não). 4. Descubra o que ninguém está falando Use a ferramenta para encontrar novos ângulos e sair do óbvio. Prompt: "O que o pessoal mais fala sobre [sua causa] hoje? E o que você acha que ainda não foi dito, mas que ajudaria as pessoas a entenderem melhor o nosso impacto?" 5. Peça o plano prático Agora que o chat está treinado, peça a estrutura final. Prompt: "Com base em tudo o que já conversamos aqui, monte um calendário de 30 dias para as nossas redes sociais. O foco deve ser [ex: prestação de contas ou atrair novos voluntários]." Onde entra a ética e o seu papel Usar a tecnologia para facilitar o dia a dia é inteligência de gestão, mas exige cuidado. A IA serve para fazer o primeiro rascunho e organizar as ideias, mas a palavra final, a conferência dos dados e o olhar humano sobre a causa precisam ser seus. O objetivo é automatizar o que for repetitivo para que você tenha fôlego. Com a comunicação organizada, sobra tempo para construir relacionamentos de verdade e focar no que nenhuma máquina substitui a confiança e o olho no olho com quem apoia a sua organização.
Participe do nosso grupo no WhatsApp para receber nossos conteúdos em primeira mão
