Maria Cecília Prates é economista e mestre em economia pela UFMG, e doutora em administração pela FGV /Ebape. Pesquisadora na FGV / IBRE na área social por muitos anos, e depois tem feito monitorias, consultorias, pesquisas em avaliação de projetos sociais e RSC.
Dez motivos para não medir impacto – e o que fazer no lugar?
14 de março de 2024
É comum ouvirmos que programas ou projetos sociais que fazem avaliação de impacto têm muito mais chances de obter financiamentos. Porém, no caso das organizações do terceiro setor, raramente, ou quase nunca, a avaliação de impacto é o método adequado. Avaliações de impacto exigem procedimentos estatísticos complexos (pesquisa experimental), nada amigável aos não-iniciados no método, além de serem dispendiosas e demoradas (podem levar anos!) para produzirem os seus achados.
Daí a importância do artigo ´Ten reasons not to measure impact – and what to do instead`, dos professores Mary Kay Gugerty (University of Washington) e Dean Karlan (Northwestern University), publicado na Stanford Social Innovation Review (2018). A seguir, apresento os principais pontos abordados no texto.
Para os autores, o problema está em que o avanço do uso da tecnologia de informação acarretou custos decrescentes da coleta e análise dos dados e, com isto, houve um apelo cada vez maior por medições de impacto. Essa compulsão por demonstrar impacto acabou gerando desperdício de recursos, comprometimento dos esforços de monitoramento em favor das avaliações de impacto, e ainda contribuiu para o crescimento de métodos pobres e incorretos de demonstrar impacto. E o que é mais grave, avaliações de impacto malfeitas acabam por produzir resultados errados ou enganosos, induzindo a tomadas de decisão injustas acerca dos projetos. Com isso, bons projetos podem acabar sendo descontinuados, e maus projetos seguirem sendo financiados.
Os dez motivos para não avaliar impacto
Gugerty e Karlan enumeram as dez razões, ou situações de projetos, em que as avaliações de impacto não se justificam:
- Ferramenta inadequada: excelentes perguntas avaliativas, porém com abordagem errada. Perguntas relacionadas à focalização do projeto (público beneficiário adequado) ou à adequação dos serviços oferecidos não precisam ser respondidas com avaliação de impacto. São objeto de um bom monitoramento.
- O desenho do programa ainda não foi concluído. Antes de pensar em avaliar impacto, é preciso verificar se a “teoria da mudança” proposta é válida para um dado contexto social. Pois se as estratégias propostas não forem condizentes com a realidade do público-alvo, não faz sentido fazer avaliação de impacto.
- A implementação do programa ainda não foi completada. Suponha que a “teoria do programa” foi definida e os seus pressupostos testados, porém a implementação foi falha, e não se deu de acordo com o planejado. A avaliação de impacto só se justifica depois do monitoramento. Antes disso, representa má escolha e desperdício de recursos.
- Decidir avaliar durante a implantação do projeto. Muitas vezes a decisão de fazer avaliação de impacto só vem depois que o projeto já está sendo implementado. Aí já ficou tarde demais para construir aleatoriamente os grupos de controle e de tratamento: a comparabilidade entre os dois grupos torna-se questionável e os resultados da avaliação de impacto pouco convincentes.
- Os recursos são muito limitados. Quando os recursos são limitados, isso pode afetar a avaliação de impacto de duas maneiras. Primeiro, porque se a escala do projeto é muito pequena, não se justifica medir impacto (esse dinheiro poderia ser melhor aplicado para ajudar a mais pessoas). E segundo, a avaliação de impacto tende a ser malfeita, com uma implementação pobre dos rigorosos protocolos de avaliação. A alternativa é não fazer avaliação de impacto; e buscar na literatura insights sobre a efetividade da estratégia adotada, e usar os próprios dados administrativos para responder às perguntas de impacto.
- Os efeitos indiretos são difíceis de serem identificados, porém críticos à teoria da mudança. Quando os efeitos indiretos não podem ser adequadamente estimados, e quando eles tendem a ser grandes, então a avaliação de impacto não representa uma boa opção avaliativa. Porque as conclusões da avaliação tenderão a ser incorretas e enviesadas, pois o verdadeiro impacto ficará mascarado por esses efeitos indiretos (não medidos), e daí os recursos para avaliação terão sido desperdiçados.
- A implementação do programa é muito caótica. Algumas situações não são passíveis de avaliação de impacto. É o caso dos projetos que convivem com situações de alívio de desastres, cuja implementação tem que ir mudando para se adaptar às circunstâncias em evolução. Daí torna-se complicado, dispendioso e até pouco ético manter grupos de experimento e de controle nesses ambientes conturbados, impedindo assistência a pessoas que tanto necessitam. A alternativa é acompanhar a implementação das atividades e coletar os dados de gestão que vão contribuir para fortalecer o programa.
- A implementação se dá em âmbito muito abrangente. Suponha as campanhas de advocacy que normalmente têm níveis elevados de focalização (países ou regiões inteiras), em que fica inviável ou até “ridículo” compor grupos de controle. Então são situações que também não são passíveis de avaliação de impacto. A alternativa é acompanhar a implementação e os dados de gestão, para verificar se as mudanças previstas estão ocorrendo.
- Quando já sabemos a resposta. Em alguns casos, a resposta sobre se o programa funciona já é conhecida, a partir de um outro estudo ou série de estudos. Mesmo assim, os doadores ou os conselheiros exigem que seja feita a avaliação de impacto para checar os seus investimentos em particular. Então, acabam sendo feitas avaliações de impacto desnecessárias, apenas para se “ter a certeza”. A alternativa é resistir a essas demandas de avaliação de impacto, usando bons argumentos: que a “teoria da mudança” dos outros programas avaliados é semelhante ao do nosso programa; e que as características do contexto social desses programas avaliados são também semelhantes ao nosso programa. Então, nesses casos, basta que seja feito o monitoramento para verificar se a implementação foi feita de acordo com o que estava previsto no modelo do programa.
- Quando não há ganho na generalização do aprendizado. A avaliação de impacto só deve ser conduzida se ela ajuda a determinar o porquê uma coisa funciona, não apenas se funciona. As avaliações de impacto não devem ser conduzidas se elas não puderem propiciar conhecimento generalizável sobre a questão do “porque” – ou seja, se elas forem úteis apenas para uma dada organização e apenas para uma dada implementação (reforça o motivo 5). Essa regra se aplica a projetos com baixo poder de serem escaláveis. A alternativa para o caso de um programa que tenha um potencial pequeno de replicação ou escalabilidade é avaliar a sua implementação, de modo a verificar se o seu desempenho foi de acordo com o que estava planejado.
Como as organizações podem desenvolver sistemas adequados de coleta de informação?
Para os autores foi essa recente “corrida” para a medição de impacto que acabou por tirar o foco de tarefas triviais, porém cruciais, como monitorar a implementação e melhorar os projetos sociais.
O que ocorre é que como os dados do monitoramento não estão sendo devidamente conectados ao processo de gestão dos projetos, daí o monitoramento acaba sendo percebido pelos gestores como tendo pouca (ou nenhuma) utilidade.
Da mesma maneira, as demandas externas por impacto (dos doadores ou dos conselheiros) não dão o valor devido às informações sobre a implementação dos projetos, porque esses dados geralmente não estão conectados com a teoria da mudança. E sem essa conexão esses atores tendem a não ver utilidade nos dados de implementação. Para Gugerty e Karlan, sistemas adequados de monitoramento devem ser capazes de gerar as informações para mostrar aos doadores o progresso dos projetos na direção do impacto.
Os sistemas adequados de levantamentos de dados devem ter três características básicas: coleta os dados certos; reporta os dados em formato útil e no tempo adequado; e cria, na organização, capacidade e comprometimento para usar os dados. Em outras palavras, serem sistemas de dados “acionáveis”, isto é, que estão prontos para serem usados para a gestão das organizações.
São cinco os tipos de dados para o monitoramento:
- Financeiro (receitas e despesas nos níveis administrativo e programático);
- Implementação propriamente (atividades e produtos);
- Focalização (quem são os reais participantes do projeto?);
- Engajamento (como está sendo a interação entre os participantes no projeto?);
- Feedback (pontos fortes e fracos do projeto, sob a perspectiva dos participantes).
Um outro aspecto fundamental relacionado a esses sistemas é empoderar (capacitar e comprometer) os tomadores de decisão a utilizarem os dados quando forem tomar as suas decisões e depois para o acompanhamento (de suas decisões). Para isto é necessário que os dados sejam compartilhados amplamente dentro da organização e no tempo adequado (e não é preciso tecnologia de informática complexa); que haja discussões periódicas envolvendo funcionários e gerentes; que haja o compromisso das equipes em informar o que está indo bem e o que não está; e que os dados gerados pelo sistema consiga responder aos muitos questionamentos que forem surgindo na organização (accountability).
Enfim, qual a ideia central do artigo?
Um sistema adequado de dados na organização coleta os dados certos e dialoga/interage bem com a ´teoria da mudança` e com a gestão da organização. Tal sistema se torna capaz de fornecer as evidências sobre se o projeto está indo na direção do impacto, como está sendo conduzida a sua implementação e o que é preciso fazer para melhorá-lo. Na grande maioria das organizações do terceiro setor não é preciso “provar” impacto, basta mostrar as evidências do impacto. Já nas organizações maiores, quando elas reunirem as condições adequadas, aí sim elas devem fazer as avaliações de impacto.
Concordo plenamente com os autores!!
Inscreva-se na nossa Newsletter
Últimas publicações
Se você trabalha em uma organização social, provavelmente já conhece esta situação: o prazo para entregar um relatório se aproxima e começa uma verdadeira força-tarefa para reunir fotos, encontrar comprovantes, levantar números e tentar resgatar atividades realizadas meses atrás. A boa notícia é que a prestação de contas não precisa ser um processo estressante. Ao longo da minha trajetória em operações e acompanhamento de organizações sociais, percebo que as maiores dificuldades não estão relacionadas à falta de trabalho realizado, mas à ausência de uma rotina simples para organizar as informações. Afinal, quem está no dia a dia da execução sabe que as demandas são intensas e nem sempre sobra tempo para registrar cada passo. A verdade é que prestar contas vai muito além de cumprir uma obrigação com financiadores ou parceiros. É uma oportunidade valiosa de evidenciar o impacto gerado, fortalecer a credibilidade da organização e consolidar uma base de conhecimento essencial para o crescimento institucional. A prestação de contas começa antes do relatório Um dos erros mais comuns é enxergar a prestação de contas como uma atividade pontual, que acontece apenas ao final de um projeto ou sob demanda. Na prática, ela deve ser construída ao longo de toda a execução. Quando a organização estabelece o hábito de registrar ações, resultados e evidências periodicamente, o trabalho deixa de ser uma carga concentrada e passa a integrar a rotina da equipe. Uma boa prática é reservar um tempo mensal para atualizar indicadores, organizar documentos e reunir registros; esse pequeno cuidado economiza horas preciosas no futuro. Fotos, listas de presença, depoimentos, notas fiscais e comprovantes de despesas são documentos recorrentemente solicitados. Por isso, vale a pena criar uma estrutura simples de armazenamento. Pastas organizadas por projeto, período ou tipo de atividade fazem toda a diferença, o importante é que a equipe saiba onde encontrar os arquivos e que haja um padrão claro para salvá-los. Lembre-se: quanto mais próximo do momento da atividade o registro for realizado, menores são as chances de perder informações valiosas. Ao pensar em indicadores, muitas organizações acreditam que precisam de sistemas sofisticados, no entanto, o mais importante é começar pelo básico. Algumas perguntas norteadoras ajudam muito: ● Quando a ação foi realizada? ● Quantas pessoas foram atendidas? ● Quantas atividades foram realizadas? ● Quantos voluntários participaram? ● Quantos materiais foram distribuídos? ● Quais resultados ou mudanças foram observados? Esses dados fornecem uma visão consistente sobre o alcance das ações. Com o tempo, a organização pode aprimorar suas métricas, mas o primeiro passo é garantir que as informações essenciais estejam sendo registradas. Uma prestação de contas organizada transmite profissionalismo, responsabilidade e transparência. Além de cumprir exigências de editais, ela consolida a confiança de doadores, parceiros, voluntários e da própria comunidade. Estamos em momento onde o doador busca muito mais transparência, e, organizações que demonstram seus resultados com clareza saem na frente, não necessariamente porque fazem mais, mas porque comunicam melhor o valor daquilo que realizam. Talvez a principal mudança de perspectiva seja entender que a prestação de contas não existe apenas para quem está fora da organização; ela é uma ferramenta vital de gestão interna. Ao monitorar indicadores, registrar aprendizados e analisar resultados, a equipe identifica desafios, corrige rotas e planeja os próximos passos com mais segurança. Mais do que um relatório, a prestação de contas é uma poderosa aliada na construção de organizações mais sustentáveis e preparadas para ampliar seu impacto. E, no fim das contas, o segredo está na constância: pequenos registros feitos ao longo do ano são muito mais eficientes do que grandes esforços concentrados às vésperas de um prazo. Afinal, narrar o impacto gerado fica muito mais fácil quando ele foi acompanhado durante toda a jornada. *Ana Carolina Vieira – Analista de Operações e Impacto Formada em Secretariado Executivo, possui experiência nas áreas administrativa e financeira, com atuação na gestão de processos internos, organização de informações, atendimento e comunicação. Ao longo de sua trajetória, desenvolveu habilidades em planejamento, controle operacional e suporte à gestão, contribuindo para a eficiência e o fortalecimento das rotinas organizacionais.
A Inteligência Artificial (IA) não vai salvar nenhuma Organização da Sociedade Civil (OSC). Todo mundo já entendeu que ela é indispensável, que agiliza os processos, que ajuda no corre do dia a dia e que tem mil e uma utilidades. Mas ela, sozinha, não vai tirar a sua organização do vermelho e nem vai desafogar a sua equipe. A IA é uma ferramenta poderosa para apoiar a sua gestão, mas ela só funciona se for treinada e alimentada do jeito certo. E a grande pergunta é: você já sabe como fazer isso? A verdadeira inovação da tecnologia no terceiro setor não está nas ferramentas gratuitas e famosas que todo mundo usa na internet. O segredo está em construir uma estratégia modelada exclusivamente para a captação de recursos via editais. Se as exigências de quem financia mudaram, a forma como as ONGs planejam seus projetos precisa evoluir na mesma velocidade. É exatamente por isso que nasceu o Captação com Causa. Esse projeto, que tem duração de 18 meses, e é uma iniciativa da Fundação FEAC com apoio do Instituto Phomenta, tem um objetivo bem prático: foram selecionadas 10 organizações sociais de Campinas, que após formações, passam a utilizar uma plataforma de IA totalmente customizada para o terceiro setor. Por que focar em IA para buscar recursos? O que move esse projeto é uma ferida antiga das ONGs: o maior problema das organizações brasileiras hoje não é a falta de editais. As oportunidades estão publicadas por aí, na internet. O verdadeiro desafio das equipes, que quase sempre são enxutas, está em quatro passos básicos da rotina: Saber exatamente o que procurar para não aceitar qualquer dinheiro e acabar desviando da própria missão; Conseguir filtrar quais oportunidades realmente valem a pena e fazem sentido; Criar o hábito de buscar recursos de forma constante, e não só quando o caixa aperta; Transformar esse monte de informação em dinheiro no bolso para manter os projetos de pé. Escrever um projeto para um edital é complexo. Os formulários exigem justificativas profundas, orçamentos detalhados e até análise de riscos. Para equipes que já passam o dia se desdobrando no atendimento direto às comunidades, a IA entra como copiloto. Ela assume o trabalho mecânico de escrever e revisar textos, devolvendo para o captador o que ele tem de mais escasso: tempo para pensar na estratégia. Mas… como não deixar o texto com cara de robô? As ferramentas gratuitas que vemos por aí costumam "alucinar", que é o termo técnico para quando a IA inventa dados falsos ou cria argumentos superficiais simplesmente porque ela não conhece a realidade da sua ONG. Para blindar os projetos contra esse erro, o Captação com Causa ajuda as organizações a criarem um ambiente protegido e seguro, alimentando a inteligência artificial com a identidade real da instituição. Esse treino consiste em criar um perfil superdetalhado dentro do sistema, incluindo: O histórico da organização e as causas que ela defende; A região onde ela atua e o perfil das pessoas que ela atende; Dados locais e o impacto real que ela já gera no território. Quanto mais rico e detalhado for esse perfil, mais a IA se transforma em uma assistente exclusiva da causa. A partir daí, a máquina passa a escrever falando a mesma língua do financiador. Ela aprende a usar os termos técnicos que os avaliadores de editais procuram, cruza as palavras-chave exigidas e ajuda a encaixar a história da sua comunidade dentro das metas do orçamento. Falando a linguagem de quem investe Hoje em dia, as empresas e institutos que financiam projetos sociais mudaram a forma de avaliar as propostas. Eles não olham mais apenas para o número bruto de pessoas atendidas; eles querem ver o valor real do impacto gerado. Por isso, o projeto treina a IA para usar uma métrica chamada SROI (Retorno Social sobre o Investimento) . Para se ter uma ideia de como isso funciona: pesquisas do setor mostram que, para cada R$ 1 investido em projetos sociais por meio de incentivos fiscais no Brasil, cerca de R$ 7,59 retornam em benefícios reais para a sociedade e para a economia. Quando a IA é ensinada a cruzar os dados públicos da sua cidade (como pesquisas do IBGE) com o histórico de entregas da sua ONG, ela ajuda a provar matematicamente o valor do seu trabalho. O seu projeto deixa de parecer um "custo" para o investidor e passa a ser visto como um investimento seguro e transformador. O que muda na prática para as organizações? Com esse método bem aplicado, as inovações que as ONGs podem esperar mudam completamente o jogo da captação: Fim do desespero de última hora: A organização sai daquele modelo de correr atrás de edital na véspera do vencimento e passa a ter uma rotina organizada e previsível; Propostas sem erros bobos: Os projetos ficam muito mais robustos, diminuindo drasticamente as reprovações por preenchimento incompleto, metas vagas ou erros de orçamento; Mais confiança dos financiadores: Uma ONG que consegue provar seu impacto com dados seguros conquista a confiança de grandes investidores e garante sua sustentabilidade no longo prazo. Quer saber mais sobre captação estratégica e tecnologia? Aproveite para conferir nossos outros textos sobre sustentabilidade financeira e inteligência artificial no terceiro setor: O perigo do "dinheiro a qualquer custo": não deixe a procura por editais desvirtuar a sua missão: Entenda como a urgência para acessar editais sem alinhamento prévio pode desvirtuar a missão institucional da sua OSC e saiba como selecionar financiadores que respeitem os seus valores reais. Por que sua estratégia de captação precisa de IA (urgente)?: Conheça os dados oficiais sobre a sobrecarga dos captadores de recursos no Brasil e descubra por que a inteligência artificial virou uma ferramenta de infraestrutura obrigatória para criar rotinas eficientes.
Você com certeza já viveu essa cena: o processo de seleção de voluntários foi um sucesso, a reunião de integração é melhor ainda e todo mundo sai motivado. Duas semanas depois, metade do grupo some sem dar notícias, os e-mails ficam sem resposta e, na hora daquela ação crucial, a coordenação precisa se desdobrar porque metade dos confirmados cancelou em cima da hora. Se a rotina da sua ONG parece um eterno ciclo de recrutar pessoas para cobrir o desfalque das anteriores, saiba que você não está só. Manter voluntários conectados a uma causa a longo prazo é um dos maiores desafios de gestão no Terceiro Setor. Para entender o tamanho do problema, basta olhar para o cenário nacional. Os dados da Pesquisa Voluntariado no Brasil, realizada pelo IDIS/Datafolha (2021) afirmam que, dos 57 milhões de brasileiros e brasileiras que realizam ou já realizaram trabalhos voluntários, apenas 12% fazem ações regularmente. Ainda de acordo com a pesquisa, embora o desejo de fazer o bem seja alto no país, entre os voluntários insatisfeitos e menos entusiasmados aparece a falta de motivação e de apoio/recursos, como fatores que trazem desengajamento.
Manter uma Organização da Sociedade Civil (OSC) de portas abertas no Brasil é um desafio diário de sobrevivência. Historicamente, a sustentabilidade financeira é o maior gargalo do terceiro setor, mas, frente ao montante de trabalho e às obrigações do dia a dia, ainda não conseguimos olhar para ela de forma estratégica. Assim, tratamos a busca por recursos como um evento de última hora, e não como um processo diário. Os dados do setor desenham um cenário alarmante sobre a estrutura das organizações brasileiras. Segundo a pesquisa da Associação Brasileira de Captadores de Recursos (ABCR)*, 37% dos respondentes apontam como a maior dificuldade da captação a necessidade de dividir o tempo com outras demandas da instituição. Na maioria dos casos, a função é acumulada pela diretoria ou por técnicos que já estão sobrecarregados com a operação na ponta. O resultado é um ciclo vulnerável, especialista em "apagar incêndios": uma corrida desesperada contra o tempo para preencher formulários complexos apenas quando o caixa já entrou no vermelho. Diante dessa escassez crônica de tempo, a Inteligência Artificial (IA) passou a ser uma ferramenta de infraestrutura obrigatória para viabilizar a sustentabilidade institucional, mas poucas organizações ainda sabem como usá-la. A maioria das ONGs usa IA sem estratégia A rotina ideal de captação exige monitoramento constante do mercado, leitura minuciosa de editais, adequação técnica de propostas e relatórios rigorosos de prestação de contas. Mas você leu bem: ideal . Não é o que temos à mão no dia a dia. Para equipes enxutas, a IA se tornou o caminho para assumir essa carga operacional. Na captação de recursos, a máquina atua — ou deveria atuar — como um copiloto técnico: fazendo a triagem de diretrizes complexas e adaptando a linguagem de projetos para diferentes perfis de financiadores, devolvendo ao profissional o tempo necessário para pensar estrategicamente. Porém, de acordo com o levantamento do Instituto para o Desenvolvimento do Investimento Social (IDIS) , feito com mais de 1,5 mil organizações, 62% assumem que ainda estão em um estágio baixo ou inexistente de adoção de IA. Vivemos em uma constante urgência para adotar a tecnologia, mas o pouco background gerou um uso amador e desordenado. Um mapeamento recente conduzido também pelo IDIS com mais de 500 entidades revelou que 95% das organizações sociais utilizam IA sem qualquer política ou orientação formal, e 75% dependem exclusivamente de ferramentas gratuitas de mercado. O risco aqui é que, com a soma da pouca estratégia e da falta de substância, as ONGs só consigam gerar, por meio da IA, propostas superficiais e desconectadas da realidade do território. São materiais incipientes, que podem levar à desclassificação imediata dos projetos pelos avaliadores dos editais. Como usar a IA a seu favor? Como resposta direta a esse cenário de equipes sobrecarregadas e necessidade de profissionalização tecnológica, a Fundação FEAC, com apoio do Instituto Phomenta, estruturou o projeto Captação com Causa. A iniciativa de 18 meses foi desenhada justamente para aplicar a IA como uma solução de sustentabilidade em 10 OSCs selecionadas de Campinas. Para combater o uso desordenado e a dependência de plataformas gratuitas apontados pelas pesquisas, o programa introduz no dia a dia das instituições bots customizados e programados especificamente para o contexto do terceiro setor. Em vez de soluções genéricas, as organizações ganham um sistema que filtra editais de forma preditiva e qualifica a escrita técnica das propostas, reduzindo drasticamente o tempo gasto na formatação dos projetos. O foco principal do projeto, que conta com um match funding de R$ 100 mil, é estruturar a captação como uma rotina viável. Por meio de assessoramentos individuais e coletivos, o programa prepara os profissionais para utilizarem a IA com postura crítica, garantindo que a tecnologia trabalhe a serviço da estratégia humana. Ao transformar a tecnologia em uma aliada, o Captação com Causa mira na mobilização de R$ 800 mil entre as participantes e na comprovação de que, com o método correto, a captação de recursos pode deixar de ser um susto sazonal e se tornar uma estratégia previsível, perene e sustentável. Quer saber mais sobre o Captação com Causa? Confira nosso último artigo! *Fonte: Censo ABCR
Nem todo edital é uma oportunidade. Entenda os riscos do desvio de missão e como captar recursos de forma estratégica.
O doador brasileiro está mudando: mais seletivo, exigente e orientado por impacto. Descubra o que as organizações sociais precisam oferecer para conquistar e fidelizar quem doa no cenário atual.
Participe do nosso grupo no WhatsApp para receber nossos conteúdos em primeira mão
