Uma boa pergunta é sempre um motivo para reflexão. Como a pergunta que me foi feita uma certa vez pela diretora de uma ONG: “ na sua opinião, o que caracteriza um bom processo de Monitoramento & Avaliação (M&A) de projetos sociais? ” Ela me pediu para responder em poucas palavras.  Tomando por base o referencial da Teoria da Mudança ou do Marco Lógico , somos tentados a dar a resposta tradicional: um bom M & A é aquele que nos permite verificar se o que foi planejado, tanto em termos de processo e resultado, está ocorrendo e/ou ocorreu de fato. E, com isto, nos permite fazer as correções de rota necessárias, tanto “durante” quanto “depois” da iniciativa social. Mas, um bom M & A deve ir além, de modo a evitar o sério risco de cair na armadilha do planejamento . A ´ armadilha do planejamento ` é quando o plano inicial é visto como a situação ideal a ser atingida. Decorrem, daí, as definições para sucesso e fracasso. Sucesso é quando são alcançadas boa parte das metas previamente traçadas; já o fracasso é quando boa parte delas não são alcançadas. E se o plano inicial não se mostrar correto, mesmo tendo sido construído de forma participativa, com objetivos claros, bons indicadores e análise consistente do contexto social? Ou ainda, se com o desenrolar da intervenção, aquele plano for se tornando inadequado frente às novas circunstâncias que forem surgindo? Aliás, situação bem plausível, tendo em vista a realidade tão dinâmica em que vivemos atualmente. O plano não pode acabar funcionando como uma camisa de força para o projeto. Me fez lembrar a frase dita pelo ex-presidente americano Dwight Eisenhower, quando comandou o ´Dia D` da Segunda Guerra Mundial, “ Antes da batalha, o planejamento é tudo. Assim que começa o tiroteio, planos são inúteis ”. O ponto central é que planejar é fundamental, mas não podemos ficar prisioneiros do plano. Então, voltando aqui à pergunta inicial: O que caracteriza um bom processo de Monitoramento & Avaliação? Em poucas palavras: Um bom processo de M&A é aquele que serve como uma bússola para guiar os gestores do projeto. Sem dúvida, o pressuposto é o de que o planejamento tenha sido bem-feito, e há clareza de onde se quer chegar. E por que a comparação com a bússola? O processo de monitoramento e avaliação deve funcionar como uma bússola (para guiar o avião) no sentido de ser útil para orientar os gestores de uma dada intervenção se eles estão indo na direção correta. Então, o M & A vai indicar se estamos fazendo / fizemos a coisa certa, da maneira certa, de modo a potencializar os resultados pretendidos, tendo em vista os recursos disponíveis (financeiros, humanos, experiências, aprendizados e parcerias). O interessante da bússola é justamente a sua capacidade em ir se adaptando ao percurso, até chegarmos ao destino final. Tal como a bússola, também um bom Monitoramento & Avaliação deve ser percebido como um processo dinâmico, e não como um sistema estático de indicadores, não raras vezes com a exigência de métodos complexos para a sua estimativa.

Há quatro anos (em 2020), Esther Duflo , uma das ganhadoras do prêmio Nobel d e Economia em 2019, participou do 10º evento internacional da XP Investimentos no Brasil. Participação à distância (por vídeo-entrevista), porém bastante interessante. Só relembrando, a razão do Prêmio Nobel em Economia ter sido concedido a Esther Duflo, juntamente com Abhijit Banerjee (seu marido) e Michael Kremer, foi a contribuição de suas pesquisas experimentais para atestarem a efetividade de políticas públicas para a redução da pobreza global. Conforme ela fez questão de ressaltar, com a premiação eles conseguiram evidenciar a importância dos “experimentos clínicos randomizados” (com grupos do experimento e grupos de controle) aplicados ao campo do desenvolvimento econômico e das políticas públicas. Duflo e seus companheiros do Nobel são ardorosos defensores do rigor metodológico para avaliar a efetividade das políticas públicas, para saber o que funciona e o que não funciona. São métodos baseados em técnicas estatísticas complexas e acessíveis apenas a iniciados, de longa maturação e muito onerosos. Para além das políticas e programas públicos, ter impacto social tornou-se atualmente um pré-requisito obrigatório. Tudo deve ter impacto benéfico (social ou ambiental) para justificar a sua razão de existir: são os projetos de impacto, as ongs de impacto, os investimentos de impacto, as empresas de impacto, e por aí vai…. Daí pergunto: Se medir impacto implica em métodos tão complexos e caros, como avaliar o impacto social e ambiental das iniciativas conduzidas por cada ONG ou empresa? Uma vez que recursos estão sendo desembolsados com a finalidade explicitada de ter impacto social, então é mandatório verificar se os resultados pretendidos foram realmente atingidos. Ainda mais tendo em vista a nossa realidade atual, tão cheia de problemas de pobreza, injustiças, desequilíbrios e sofrimentos de toda ordem. Pois boas intenções não bastam; ou melhor, mudar o discurso, mas continuar atuando como sempre. É uma questão ética cumprir o que se promete. Mas, devemos ter clareza de que pouquíssimas iniciativas comportam avaliação de impacto, segundo o rigor metodológico experimental preconizado por Duflo. Para começar, é preciso que sejam iniciativas de grande porte e com amplo raio de influência, que justifique uma avaliação de impacto comme il faut; e também com bastante recursos disponíveis para financiar essa avaliação. Por outro lado, avaliar impacto de forma pouco criteriosa não transmite a confiabilidade demandada pelos s takeholders envolvidos, não consegue ser ferramenta de gestão útil, além de representar desperdício de tempo e recursos. Então, como sair desse dilema? Como se vê, estamos frente ao seguinte imbróglio: hoje em dia quase todas as organizações, lucrativas ou não, dizem operar com impacto. Porém, a medição correta do impacto é tão complexa e onerosa que tem se mostrado acessível a pouquíssimas instituições, normalmente do setor público e organismos internacionais. Ao final de sua entrevista nesse evento da XP, Esther Duflo deu a sua orientação. Sim, é preciso ser rigoroso e disciplinado para medir os impactos de estratégias que são inovadoras . Uma vez já testados e comprovados os impactos dessas estratégias (ou dessas teorias de mudança), elas passam a fazer parte de um “ portfólio de bons projetos ”, que poderão ser implementados por outras organizações. Então, quando a estratégia for replicada, não haverá mais a necessidade de testar o seu impacto, pois já foi medido. Dou aqui um exemplo. Suponha uma nova estratégia de alfabetização de adultos. Digamos que essa nova estratégia foi aplicada em 10 municípios. Ao final de 5 anos, foi feita a avaliação experimental de impacto com todo o rigor estatístico e, concluiu-se que houve aumento significativo na fluência de leitura dos adultos alfabetizados pelo novo método quando comparado com aqueles alfabetizados pelo método antigo. Com isso, o novo método de alfabetização ganha status de tecnologia social, e passa a compor o “ portfolio de bons projetos ”. Assim, quando uma determinada organização social for executar o projeto em uma outra região, já sabe de antemão que o método é efetivo para a alfabetização de adultos. Será necessário (apenas) avaliar a implementação do projeto, se ela seguiu à risca os procedimentos do novo método. Do que disse Duflo, a efetividade da teoria da mudança (ou da estratégia) precisa ser inicialmente confirmada com todo o rigor estatístico da pesquisa experimental. Mas, uma vez comprovada, daí para frente o que conta é a boa qualidade da implementação. De fato, faz todo o sentido. O que não faz sentido, e costuma ocorrer com bastante frequência, é ver financiadores de iniciativas de impacto social e ambiental exigirem sempre medições de impacto toda vez que uma (mesma) teoria da mudança for aplicada. 

Maria Cecília Prates defende a ideia de que a avaliação no terceiro setor pode ser simples e confiável.

Saiba que caminhos e critérios usar para selecionar cuidadosamente uma ONG pra fazer doações e acompanhar o trabalho de perto.

Saiba como organizações que tenham a mesma atividade-fim podem se unir para desenvolver um sistema de avaliação de resultados que considere suas particularidades e semelhanças

Na Harvard Business Review (HBR) de jan-fev de 2019, fui atraída pelo título de um dos artigos sobre uma maneira para se calcular o valor dos investimentos de impacto, com base em evidências . Comecei a ler o texto entusiasmada pela possibilidade de encontrar uma contribuição pragmática no campo da avaliação social, mas confesso que fiquei decepcionada. O trabalho foi escrito por sócios e gestores da Rise Fund (um fundo de US$2 bilhões para investimentos de impacto) e da Bridgespan Group (uma consultoria global para impacto social). A partir da experiência deles, propõem uma metodologia para estimar o retorno financeiro do investimento social e ambiental. Batizaram a “nova” métrica por IMM ( Impact Multiple of Money) , porque, com base nela, se tornaria possível prever o múltiplo em benefício social e ambiental que seria gerado a partir de $ 1 investido – assim, se o IMM for 5X (5 vezes), significa que cada $1 investido vai gerar $5 em benefícios. Rise Fund só investe em projeto quando o IMM dele for no mínimo de 2,5X. A intenção dos autores é que, a partir da comparação dos valores de IMM estimados, se consiga dar mais rigor ao processo de seleção dos investimentos sociais, como já é usual no mundo dos negócios, através do uso de metodologias financeiras amplamente aceitas. Com isso, segundo eles, se poderia avançar sobremaneira na análise dos investimentos de impacto, que ainda se encontra atualmente, em grande medida, baseada na “adivinhação”, em informações restritas a processo, ou em intenções de comprometimento. Os seis passos do método proposto (IMM) Avaliar a relevância e a escala do projeto, para se decidir sobre se vale a pena (ou não) o esforço de aplicar o método, pois “estimar o IMM não é tarefa trivial”. Então, segundo os autores, o projeto a ser avaliado deve ter um propósito e escala potencialmente relevantes, o que não quer dizer número grande de pessoas beneficiadas. Há projetos com um pequeno número previsto de beneficiados, porém com grande potencial de transformação, que podem ser muito mais relevantes do que outros com grande número de beneficiados. Estimar os resultados sociais ou ambientais esperados. Nessa etapa é importante verificar se os resultados previstos são atingíveis e mensuráveis. “Felizmente” hoje os investidores já podem contar com muitas pesquisas nas Ciências Sociais (as evidências) que lhes permitem estimar o potencial do impacto social da empresa ou organização. E tal se deve ao movimento sobre “ o que funciona ” dos programas sociais, que propiciou um grande impulso ao desenvolvimento da “indústria de medição de resultados sociais” nessa última década. Estimar o valor econômico desses resultados para a sociedade. Para traduzir os resultados identificados (acima) em termos monetários, é preciso também recorrer a um “estudo-âncora” robusto (ou a evidências ou referências já existentes) e, na ausência desse, à orientação de um especialista da área. A escolha do estudo-âncora deve levar em conta o rigor da estimação dos resultados (preferência por pesquisa experimental, ao invés de pesquisa observacional ou estudo de caso), contexto similar ao do projeto em questão, e/ou o estudo deve ser o mais recente possível. Ajustar o risco advindo do uso de estudos-âncora. Embora os autores considerem ser satisfatório o uso de estudos-âncora (ou das evidências) já existentes para preverem a monetização dos resultados sociais e ambientais, eles admitem o risco de aplicarem tais achados não diretamente associados às oportunidades do investimento em questão. Propõem, então, que seja incluída nos cálculos a estimativa do risco, baseada em uma escala de probabilidade de 0 a 100%, definida segundo 6 categorias, que são: qualidade do estudo-âncora, pressupostos adotados, contexto, grupo de renda, similaridade do produto ou serviço, e a possibilidade do uso previsto (para o produto/serviço social) não se verificar. Estimar o valor terminal do investimento. No caso de determinados tipos de projetos sociais e/ou ambientais, pode fazer sentido incluir também na estimativa do valor monetário do impacto o período depois que o projeto ou investimento social tiver finalizado. Calcular o retorno social por cada dólar investido. Finalmente é calculado o valor do IMM. Assim, segundo os autores, “ em um mundo em que os CEOs estão cada vez mais falando em lucro e propósito, o IMM oferece uma metodologia rigorosa para se avançar na arte de alocação do capital para gerar benefício social ”. Pois quanto maior o valor do IMM estimado, maior o potencial de impacto do investimento social e/ou ambiental, permitindo a comparabilidade entre projetos de natureza distinta, como é comum no campo social. Por que a decepção com o método IMM? 1.IMM não é um método inovador

Avaliação de impacto serve para todos os casos? Confira as situações onde a avaliação não se aplica e como resolver essa questão.

O processo contínuo de avaliação das ações realizadas pelas organizações é um fator importante para entender de fato o impacto das OSCs nas comunidades onde atuam. Confira o artigo escrito por Maria Cecília Prates:

Sabe a diferença entre doação por confiança e doação por projeto? Saiba mais sobre os tipos de doação e como você pode melhor aplicá-las.

Maria Cecília Prates abordou em um artigo anterior as consequências positivas da gestão baseada em levantamento de dados. Já neste texto, você pode conferir reflexões da autora sobre a necessidade de filtrar informações realmente importantes para sua organização.

Neste artigo, Maria Cecília Prates elabora uma análise sobre o livro do autor John Doerr, "Medir apenas o que é necessário", que aborda consequências positivas da gestão baseada em resultados acordados de modo participativo.

A teoria da mudança é uma ferramenta essencial no planejamento e avaliação de projetos sociais no Terceiro Setor. Neste artigo, Maria Cecília Prates apresenta os 10 passos propostos no "Guia da Teoria da Mudança em 10 passos" da New Philanthropy Capital (NPC), uma renomada instituição de filantropia no Reino Unido.

Enquanto as organizações executoras precisam priorizar a construção de bases sólidas para a gestão da informação, as organizações financiadoras, que geralmente possuem mais recursos e demandas complexas, podem estar mais preparadas para utilizar sistemas de informação avançados, como o Amp Impact - saiba mais sobre sistemas de gestão para OSCs

Confira o artigo de Maria Cecília Prates sobre avaliação de projetos sociais e descubra por que a coordenação da avaliação deve ser realizada pela equipe executora

No momento da contratação de terceirizados para avaliação do impacto da sua organização, é preciso garantir a interação entre a equipe avaliadora e a equipe executora para ter melhores métricas de todo processo realizado. Entenda mais sobre essa dinâmica aqui!

Maria Cecília nos apresenta 11 pontos que fizeram uma organização resistir até hoje, mesmo tendo sido criada nos idos da década de 1940 e, como, nesses mais de 80 anos, atravessou todos os momentos de ascensão, crise e transformação do país, do estado e, particularmente, do terceiro setor.

Também nos Estados Unidos e no Reino Unido, países com uma prática do terceiro setor bem mais avançada do que no Brasil, a avaliação dos projetos sociais segue sendo um desafio muito presente. Saiba mais sobre as avaliações no terceiro setor.

Nesse conteúdo, Maria Cecília apresenta para nós sua visão sobre como os ideais de avaliação de impacto das organizações do terceiro setor (herdados do setor público) estão desconectados da realidade. Confira as novas perspectivas que elas nos mostra.

Acompanhe nesse artigo o relato da Maria Cecília Prates, e veja o exemplo de um caso onde ao priorizar a eficiência você pode deixar de ser eficaz e como isso pode atrapalhar e muito o seu projeto.