Em projetos sociais os resultados estão quase sempre associados a resultados intangíveis, subjetivos e abstratos, como por exemplo: crianças saudáveis, adolescentes com autoconfiança, autoestima de idosos, jovens capacitados para o mercado de trabalho, comunidade engajada, famílias ajustadas, empreendedores bem-sucedidos, e por aí vai… Alcançar esses resultados intermediários são etapas necessárias e imprescindíveis que vão contribuir para o alcance do impacto final pretendido de transformação na vida das pessoas atendidas. O problema é que até hoje no Brasil ainda não se tem clareza metodológica sobre como medir esses conceitos tão amplamente adotados na área social, que seja confiável e capaz de captar (ser sensível a) os avanços conseguidos . Então, se não há essa clareza – e aqui me refiro sobretudo à grande maioria das organizações do terceiro setor – como conseguir PLANEJAR bem os projetos sociais? Ou seja, como explicitar O QUE queremos mudar? E como saber depois se o que fizemos conseguiu, de fato, chegar AONDE queríamos, ou seja, AVALIAR se as iniciativas conduzidas foram válidas, eficazes e eficientes? Medição compartilhada: uma prática que deveria ganhar força no Brasil No Reino Unido e EUA desde 2003 – No Reino Unido vêm sendo envidados esforços por organizações think-tanks (como a New Philanthropy Capital – NPC , ou a Triangle /Outcomes Star ) e nos Estados Unidos ( FSG) para construírem sistemas de indicadores “de prateleira” (do inglês, off-the-shelf tools ) que possam ser compartilhados por organizações do terceiro setor ( charities or NGOs – Non-Governmaental Organisations ). No Reino Unido, organizações sociais trabalhando em uma mesma área-fim (por exemplo, educação de adolescentes em situação de vulnerabilidade) foram se unindo, capitaneadas por alguma organização think-tank como a NPC, para desenvolverem um sistema comum de avaliação de resultados. Nesse sentido, os conceitos abstratos relacionados a objetivos de resultados (por exemplo: autoestima), adotados por organizações trabalhando com públicos semelhantes, foram sendo operacionalizados nos mesmos indicadores ou escalas. Feita a operacionalização dos conceitos, as demais ferramentas para medição também começaram a ser desenvolvidas em comum, através do apoio de uma equipe especializada, tais como a construção dos questionários, a estratégia para a sua aplicação, o sistema de base de dados (que pode ser online ) e o referencial para análise dos dados coletados. No Brasil, no período em que atuei (2011 – 2016) no Programa da POS (Parceria com Organizações Sociais) da Fundação Dom Cabral – FDC (hoje denominado Pilaris ), quis começar a difundir essa ideia das ferramentas de prateleira ( Avaliação de projetos sociais no terceiro setor: uma agenda em construção , seção IV), mas percebi que o terreno precisava antes ser melhor trabalhado. Por isso, no Manual que desenvolvi para apoiar o trabalho com as organizações participantes do Programa (Manual de Planejamento e Avaliação de Projetos Sociais para Organizações Sociais) , comecei a incluir alguns instrumentos que pudessem funcionar como “ferramentas de prateleira”. Esses instrumentos vinham de três fontes: conceitos abstratos que já tinham sido traduzidos para a prática e validados; experiências de monitoramento com algumas dessas organizações; ou ainda, foram criados durante as avaliações de projetos sociais que conduzi. Para ilustrar melhor a ideia, aqui estão alguns exemplos de instrumentos incluídos no Manual: Conceito: autoestima (escala de Rosenberg), pág. 40-42 do Manual Conceito: impulsividade de adolescentes (escala de Barrat), p.66 Conceito: ser cuidadoso com o meio-ambiente / Avaliação de projeto de apicultura (pág. 67-68) Conceito: bem-estar de crianças e adolescentes, entre 11-16 anos (NPC), Pág. 197-205 Marco lógico: projeto de qualificação digital, Instituto Ramacrisna (pág. 207-210) Questionário: Preparação de jovens (16-18 anos) para inserção no mercado de trabalho, Associação Projeto Providência (pág. 226 – 230) A intenção de compartilhar esses instrumentos no Manual foi oferecer inspiração e facilitar o trabalho de planejamento e avaliação em organizações que atuam com projetos sociais semelhantes, ajudando, assim, a “queimar etapas” e avançar com mais agilidade nesse processo. Medição compartilhada: o caso da ferramenta Outcomes Star Como surgiu? Outcomes Star (traduzido ao pé da letra: Estrela de Resultados) é uma ferramenta para medir e apoiar as mudanças / resultados, que foi criada e desenvolvida pela Triangle Consulting Social Enterprise do Reino Unido . A Triangle, fundada em 2003, se define como “ uma empresa inovadora, guiada por uma missão social que é a de apoiar os provedores de serviços sociais a transformarem vidas de pessoas vivendo em situação de vulnerabilidade social, traumas, deficiências ou doenças, por meio da criação e o uso correto de ferramentas que engajem e promovam abordagem facilitadoras ”. A primeira versão do Outcomes Star começou como uma demanda (em 2003) da St Mungo`s, uma organização social voltada para o atendimento de moradores de rua, que queria avaliar os resultados do seu trabalho. A ferramenta acabou ganhando tração a partir da constatação de sua aplicabilidade também junto a outras organizações do Reino Unido que atendiam moradores de rua. Foi quando a Triangle , então, avançou naquele protótipo inicial, por meio do desenvolvimento da chamada “jornada da mudança” (do inglês, the Journey of change ), das escalas de medição adequadas tanto para os usuários dos serviços (ou clientes) como para os provedores do serviço (ou colaboradores dessas organizações executoras), e do Guia com as orientações para a implementação do instrumento. Assim, em dezembro de 2016 surgia a primeira versão da Outcomes Star , com o foco em moradores de rua. O que é a ferramenta? Conforme explicado no site , cada versão da Outcomes Star compreende um conjunto de escalas apresentadas de modo amigável e acessível em formato de uma estrela (figura), em que cada escala (ou cada ponta da estrela) representa uma dimensão relevante do resultado pretendido. Cada escala é explicitada em estágios (que podem ser 5 ou 10), sendo cada estágio cuidadosamente definido, de modo a caracterizar cada uma das etapas necessárias para promover a mudança sustentável na vida das pessoas atendidas. A ideia é que a ferramenta seja aplicada pela equipe da organização com cada usuário do serviço, desse modo permitindo visualizar e analisar com clareza a “ jornada da mudança ”: onde se está no percurso, os resultados alcançados (e os não alcançados), e as evidências do que precisa ser trabalhado.

Uma boa pergunta é sempre um motivo para reflexão. Como a pergunta que me foi feita uma certa vez pela diretora de uma ONG: “ na sua opinião, o que caracteriza um bom processo de Monitoramento & Avaliação (M&A) de projetos sociais? ” Ela me pediu para responder em poucas palavras.  Tomando por base o referencial da Teoria da Mudança ou do Marco Lógico , somos tentados a dar a resposta tradicional: um bom M & A é aquele que nos permite verificar se o que foi planejado, tanto em termos de processo e resultado, está ocorrendo e/ou ocorreu de fato. E, com isto, nos permite fazer as correções de rota necessárias, tanto “durante” quanto “depois” da iniciativa social. Mas, um bom M & A deve ir além, de modo a evitar o sério risco de cair na armadilha do planejamento . A ´ armadilha do planejamento ` é quando o plano inicial é visto como a situação ideal a ser atingida. Decorrem, daí, as definições para sucesso e fracasso. Sucesso é quando são alcançadas boa parte das metas previamente traçadas; já o fracasso é quando boa parte delas não são alcançadas. E se o plano inicial não se mostrar correto, mesmo tendo sido construído de forma participativa, com objetivos claros, bons indicadores e análise consistente do contexto social? Ou ainda, se com o desenrolar da intervenção, aquele plano for se tornando inadequado frente às novas circunstâncias que forem surgindo? Aliás, situação bem plausível, tendo em vista a realidade tão dinâmica em que vivemos atualmente. O plano não pode acabar funcionando como uma camisa de força para o projeto. Me fez lembrar a frase dita pelo ex-presidente americano Dwight Eisenhower, quando comandou o ´Dia D` da Segunda Guerra Mundial, “ Antes da batalha, o planejamento é tudo. Assim que começa o tiroteio, planos são inúteis ”. O ponto central é que planejar é fundamental, mas não podemos ficar prisioneiros do plano. Então, voltando aqui à pergunta inicial: O que caracteriza um bom processo de Monitoramento & Avaliação? Em poucas palavras: Um bom processo de M&A é aquele que serve como uma bússola para guiar os gestores do projeto. Sem dúvida, o pressuposto é o de que o planejamento tenha sido bem-feito, e há clareza de onde se quer chegar. E por que a comparação com a bússola? O processo de monitoramento e avaliação deve funcionar como uma bússola (para guiar o avião) no sentido de ser útil para orientar os gestores de uma dada intervenção se eles estão indo na direção correta. Então, o M & A vai indicar se estamos fazendo / fizemos a coisa certa, da maneira certa, de modo a potencializar os resultados pretendidos, tendo em vista os recursos disponíveis (financeiros, humanos, experiências, aprendizados e parcerias). O interessante da bússola é justamente a sua capacidade em ir se adaptando ao percurso, até chegarmos ao destino final. Tal como a bússola, também um bom Monitoramento & Avaliação deve ser percebido como um processo dinâmico, e não como um sistema estático de indicadores, não raras vezes com a exigência de métodos complexos para a sua estimativa.

Há quatro anos (em 2020), Esther Duflo , uma das ganhadoras do prêmio Nobel d e Economia em 2019, participou do 10º evento internacional da XP Investimentos no Brasil. Participação à distância (por vídeo-entrevista), porém bastante interessante. Só relembrando, a razão do Prêmio Nobel em Economia ter sido concedido a Esther Duflo, juntamente com Abhijit Banerjee (seu marido) e Michael Kremer, foi a contribuição de suas pesquisas experimentais para atestarem a efetividade de políticas públicas para a redução da pobreza global. Conforme ela fez questão de ressaltar, com a premiação eles conseguiram evidenciar a importância dos “experimentos clínicos randomizados” (com grupos do experimento e grupos de controle) aplicados ao campo do desenvolvimento econômico e das políticas públicas. Duflo e seus companheiros do Nobel são ardorosos defensores do rigor metodológico para avaliar a efetividade das políticas públicas, para saber o que funciona e o que não funciona. São métodos baseados em técnicas estatísticas complexas e acessíveis apenas a iniciados, de longa maturação e muito onerosos. Para além das políticas e programas públicos, ter impacto social tornou-se atualmente um pré-requisito obrigatório. Tudo deve ter impacto benéfico (social ou ambiental) para justificar a sua razão de existir: são os projetos de impacto, as ongs de impacto, os investimentos de impacto, as empresas de impacto, e por aí vai…. Daí pergunto: Se medir impacto implica em métodos tão complexos e caros, como avaliar o impacto social e ambiental das iniciativas conduzidas por cada ONG ou empresa? Uma vez que recursos estão sendo desembolsados com a finalidade explicitada de ter impacto social, então é mandatório verificar se os resultados pretendidos foram realmente atingidos. Ainda mais tendo em vista a nossa realidade atual, tão cheia de problemas de pobreza, injustiças, desequilíbrios e sofrimentos de toda ordem. Pois boas intenções não bastam; ou melhor, mudar o discurso, mas continuar atuando como sempre. É uma questão ética cumprir o que se promete. Mas, devemos ter clareza de que pouquíssimas iniciativas comportam avaliação de impacto, segundo o rigor metodológico experimental preconizado por Duflo. Para começar, é preciso que sejam iniciativas de grande porte e com amplo raio de influência, que justifique uma avaliação de impacto comme il faut; e também com bastante recursos disponíveis para financiar essa avaliação. Por outro lado, avaliar impacto de forma pouco criteriosa não transmite a confiabilidade demandada pelos s takeholders envolvidos, não consegue ser ferramenta de gestão útil, além de representar desperdício de tempo e recursos. Então, como sair desse dilema? Como se vê, estamos frente ao seguinte imbróglio: hoje em dia quase todas as organizações, lucrativas ou não, dizem operar com impacto. Porém, a medição correta do impacto é tão complexa e onerosa que tem se mostrado acessível a pouquíssimas instituições, normalmente do setor público e organismos internacionais. Ao final de sua entrevista nesse evento da XP, Esther Duflo deu a sua orientação. Sim, é preciso ser rigoroso e disciplinado para medir os impactos de estratégias que são inovadoras . Uma vez já testados e comprovados os impactos dessas estratégias (ou dessas teorias de mudança), elas passam a fazer parte de um “ portfólio de bons projetos ”, que poderão ser implementados por outras organizações. Então, quando a estratégia for replicada, não haverá mais a necessidade de testar o seu impacto, pois já foi medido. Dou aqui um exemplo. Suponha uma nova estratégia de alfabetização de adultos. Digamos que essa nova estratégia foi aplicada em 10 municípios. Ao final de 5 anos, foi feita a avaliação experimental de impacto com todo o rigor estatístico e, concluiu-se que houve aumento significativo na fluência de leitura dos adultos alfabetizados pelo novo método quando comparado com aqueles alfabetizados pelo método antigo. Com isso, o novo método de alfabetização ganha status de tecnologia social, e passa a compor o “ portfolio de bons projetos ”. Assim, quando uma determinada organização social for executar o projeto em uma outra região, já sabe de antemão que o método é efetivo para a alfabetização de adultos. Será necessário (apenas) avaliar a implementação do projeto, se ela seguiu à risca os procedimentos do novo método. Do que disse Duflo, a efetividade da teoria da mudança (ou da estratégia) precisa ser inicialmente confirmada com todo o rigor estatístico da pesquisa experimental. Mas, uma vez comprovada, daí para frente o que conta é a boa qualidade da implementação. De fato, faz todo o sentido. O que não faz sentido, e costuma ocorrer com bastante frequência, é ver financiadores de iniciativas de impacto social e ambiental exigirem sempre medições de impacto toda vez que uma (mesma) teoria da mudança for aplicada. 

Maria Cecília Prates defende a ideia de que a avaliação no terceiro setor pode ser simples e confiável.

Saiba que caminhos e critérios usar para selecionar cuidadosamente uma ONG pra fazer doações e acompanhar o trabalho de perto.

Saiba como organizações que tenham a mesma atividade-fim podem se unir para desenvolver um sistema de avaliação de resultados que considere suas particularidades e semelhanças

Na Harvard Business Review (HBR) de jan-fev de 2019, fui atraída pelo título de um dos artigos sobre uma maneira para se calcular o valor dos investimentos de impacto, com base em evidências . Comecei a ler o texto entusiasmada pela possibilidade de encontrar uma contribuição pragmática no campo da avaliação social, mas confesso que fiquei decepcionada. O trabalho foi escrito por sócios e gestores da Rise Fund (um fundo de US$2 bilhões para investimentos de impacto) e da Bridgespan Group (uma consultoria global para impacto social). A partir da experiência deles, propõem uma metodologia para estimar o retorno financeiro do investimento social e ambiental. Batizaram a “nova” métrica por IMM ( Impact Multiple of Money) , porque, com base nela, se tornaria possível prever o múltiplo em benefício social e ambiental que seria gerado a partir de $ 1 investido – assim, se o IMM for 5X (5 vezes), significa que cada $1 investido vai gerar $5 em benefícios. Rise Fund só investe em projeto quando o IMM dele for no mínimo de 2,5X. A intenção dos autores é que, a partir da comparação dos valores de IMM estimados, se consiga dar mais rigor ao processo de seleção dos investimentos sociais, como já é usual no mundo dos negócios, através do uso de metodologias financeiras amplamente aceitas. Com isso, segundo eles, se poderia avançar sobremaneira na análise dos investimentos de impacto, que ainda se encontra atualmente, em grande medida, baseada na “adivinhação”, em informações restritas a processo, ou em intenções de comprometimento. Os seis passos do método proposto (IMM) Avaliar a relevância e a escala do projeto, para se decidir sobre se vale a pena (ou não) o esforço de aplicar o método, pois “estimar o IMM não é tarefa trivial”. Então, segundo os autores, o projeto a ser avaliado deve ter um propósito e escala potencialmente relevantes, o que não quer dizer número grande de pessoas beneficiadas. Há projetos com um pequeno número previsto de beneficiados, porém com grande potencial de transformação, que podem ser muito mais relevantes do que outros com grande número de beneficiados. Estimar os resultados sociais ou ambientais esperados. Nessa etapa é importante verificar se os resultados previstos são atingíveis e mensuráveis. “Felizmente” hoje os investidores já podem contar com muitas pesquisas nas Ciências Sociais (as evidências) que lhes permitem estimar o potencial do impacto social da empresa ou organização. E tal se deve ao movimento sobre “ o que funciona ” dos programas sociais, que propiciou um grande impulso ao desenvolvimento da “indústria de medição de resultados sociais” nessa última década. Estimar o valor econômico desses resultados para a sociedade. Para traduzir os resultados identificados (acima) em termos monetários, é preciso também recorrer a um “estudo-âncora” robusto (ou a evidências ou referências já existentes) e, na ausência desse, à orientação de um especialista da área. A escolha do estudo-âncora deve levar em conta o rigor da estimação dos resultados (preferência por pesquisa experimental, ao invés de pesquisa observacional ou estudo de caso), contexto similar ao do projeto em questão, e/ou o estudo deve ser o mais recente possível. Ajustar o risco advindo do uso de estudos-âncora. Embora os autores considerem ser satisfatório o uso de estudos-âncora (ou das evidências) já existentes para preverem a monetização dos resultados sociais e ambientais, eles admitem o risco de aplicarem tais achados não diretamente associados às oportunidades do investimento em questão. Propõem, então, que seja incluída nos cálculos a estimativa do risco, baseada em uma escala de probabilidade de 0 a 100%, definida segundo 6 categorias, que são: qualidade do estudo-âncora, pressupostos adotados, contexto, grupo de renda, similaridade do produto ou serviço, e a possibilidade do uso previsto (para o produto/serviço social) não se verificar. Estimar o valor terminal do investimento. No caso de determinados tipos de projetos sociais e/ou ambientais, pode fazer sentido incluir também na estimativa do valor monetário do impacto o período depois que o projeto ou investimento social tiver finalizado. Calcular o retorno social por cada dólar investido. Finalmente é calculado o valor do IMM. Assim, segundo os autores, “ em um mundo em que os CEOs estão cada vez mais falando em lucro e propósito, o IMM oferece uma metodologia rigorosa para se avançar na arte de alocação do capital para gerar benefício social ”. Pois quanto maior o valor do IMM estimado, maior o potencial de impacto do investimento social e/ou ambiental, permitindo a comparabilidade entre projetos de natureza distinta, como é comum no campo social. Por que a decepção com o método IMM? 1.IMM não é um método inovador

Avaliação de impacto serve para todos os casos? Confira as situações onde a avaliação não se aplica e como resolver essa questão.

O processo contínuo de avaliação das ações realizadas pelas organizações é um fator importante para entender de fato o impacto das OSCs nas comunidades onde atuam. Confira o artigo escrito por Maria Cecília Prates:

Sabe a diferença entre doação por confiança e doação por projeto? Saiba mais sobre os tipos de doação e como você pode melhor aplicá-las.

Maria Cecília Prates abordou em um artigo anterior as consequências positivas da gestão baseada em levantamento de dados. Já neste texto, você pode conferir reflexões da autora sobre a necessidade de filtrar informações realmente importantes para sua organização.

Neste artigo, Maria Cecília Prates elabora uma análise sobre o livro do autor John Doerr, "Medir apenas o que é necessário", que aborda consequências positivas da gestão baseada em resultados acordados de modo participativo.

A teoria da mudança é uma ferramenta essencial no planejamento e avaliação de projetos sociais no Terceiro Setor. Neste artigo, Maria Cecília Prates apresenta os 10 passos propostos no "Guia da Teoria da Mudança em 10 passos" da New Philanthropy Capital (NPC), uma renomada instituição de filantropia no Reino Unido.

Enquanto as organizações executoras precisam priorizar a construção de bases sólidas para a gestão da informação, as organizações financiadoras, que geralmente possuem mais recursos e demandas complexas, podem estar mais preparadas para utilizar sistemas de informação avançados, como o Amp Impact - saiba mais sobre sistemas de gestão para OSCs

Confira o artigo de Maria Cecília Prates sobre avaliação de projetos sociais e descubra por que a coordenação da avaliação deve ser realizada pela equipe executora

No momento da contratação de terceirizados para avaliação do impacto da sua organização, é preciso garantir a interação entre a equipe avaliadora e a equipe executora para ter melhores métricas de todo processo realizado. Entenda mais sobre essa dinâmica aqui!

Maria Cecília nos apresenta 11 pontos que fizeram uma organização resistir até hoje, mesmo tendo sido criada nos idos da década de 1940 e, como, nesses mais de 80 anos, atravessou todos os momentos de ascensão, crise e transformação do país, do estado e, particularmente, do terceiro setor.

Também nos Estados Unidos e no Reino Unido, países com uma prática do terceiro setor bem mais avançada do que no Brasil, a avaliação dos projetos sociais segue sendo um desafio muito presente. Saiba mais sobre as avaliações no terceiro setor.

Nesse conteúdo, Maria Cecília apresenta para nós sua visão sobre como os ideais de avaliação de impacto das organizações do terceiro setor (herdados do setor público) estão desconectados da realidade. Confira as novas perspectivas que elas nos mostra.