Este conteúdo foi produzido por Maria Cecília Prates Rodrigues

Nunca a avaliação de impacto foi tão necessária como atualmente. Até por volta de 2000, falar em impacto social era atinente apenas aos programas do setor público; hoje em dia, evidenciar o impacto social gerado tornou-se mandatório praticamente para todos os tipos de instituições. Para ser valorizada, a organização deve deixar claro qual é o seu impacto social positivo, seja a organização com fins lucrativos ou não.  Pelo menos no nível do discurso, o que se observa é que o setor econômico e o social estão se aproximando.

Mas será que avaliar impacto social é sempre viável?  O risco é a avaliação de impacto acabar se tornando mera peça de fantasia ou ficção. 

Vejo com preocupação que, ainda hoje, mesmo as organizações sem fins lucrativos do setor social ainda não conseguem conduzir de modo adequado as suas avaliações de resultados. Bem entendido: avaliações que sejam úteis para as organizações, meçam o que é realmente relevante para o projeto e utilizem métodos confiáveis e compatíveis com o tamanho da iniciativa avaliada.   

Em 2010, quando as empresas começavam a desenvolver os seus projetos sociais, fiz um alerta em relação aos riscos do método de avaliação de impacto baseado no retorno econômico (isto é, na monetização dos impactos ou na relação do custo-benefício). Esse método também é conhecido como SROI (do inglês: Social Return On Investment). Na época, escrevi um artigo que concluía que pouco adiantava a objetividade na apresentação do resultado final (que calculava quantos R$ eram gerados em impacto social para cada R$1,00 investido no projeto), se o método incorporava inúmeras subjetividades para a formulação de seus pressupostos. (Artigo: Retorno econômico de projetos sociais: limites da avaliação)

Esse alerta continua mais válido hoje do que nunca, pois se avançou muito pouco na prática da avaliação do impacto social nesses últimos anos. Acabo de ler um relatório recente (de 2021) de avaliação de impacto baseado no método do retorno econômico, feito por um respeitado think tank no Brasil. Todavia,  padece de tantos erros e fragilidades metodológicas que desacredita quase por completo os achados da pesquisa avaliativa do programa social em questão.

Para ilustrar as disfunções detectadas no caso real a que me refiro, exemplifico com a situação fictícia do programa social ‘Crianças Potencializadas` a seguir. O programa é desenvolvido em escolas públicas em parceria com vários atores locais. Suponha que, em determinado ano, o programa teve atuação com algumas escolas, e desenvolveu atividades  pedagógicas pontuais com essas crianças, visando estimular a interação entre elas, o autoconhecimento e a capacidade de identificação e solução de problemas. Logo no ano seguinte, um dos  financiadores do programa naquelas escolas solicitou a avaliação econômica do seu impacto social.

A meu ver, a encomenda e a realização dessa pesquisa de avaliação de impacto social cometeram erros básicos graves – de concepção, metodológico e de execução, tais como:

1. Nem todo programa, projeto ou iniciativa social comporta avaliação de impacto. Tal foi o caso desse Programa Crianças Potencializadas. Sob a ótica das escolas contempladas, o dito programa representou  sobretudo uma opção a mais de atividade pedagógica desenvolvida com as crianças naquele ano. Não chegou a constituir-se em um programa em si, mas um produto novo que foi oferecido aos alunos. Daí, sob a ótica da escola e usando a terminologia do Marco Lógico, seria muito mais adequada a avaliação de produto do que a avaliação de impacto que foi adotada. O problema é que, hoje em dia, a demanda dos investidores sociais é pela avaliação de impacto.
   
   
2. É prematuro pretender estimar o impacto social de um programa depois de apenas um ano de sua duração. Ainda mais quando esse público beneficiário é constituído por crianças, que têm dificuldades de verbalização e já passam por um processo natural de amadurecimento e transformação.  No caso do Programa Crianças Potencializadas, se ousou ainda estimar os efeitos daquela atuação escolar pedagógica (de 1 ano) para os 10 anos seguintes na vida das crianças. Será válido? Mesmo que obtida junto aos responsáveis daquelas crianças?
   
   
3. A Teoria da Mudança precisa ser bem construída, a começar da definição dos objetivos do impacto e dos resultados imediatos esperados. Isso não ocorreu com o  Programa Crianças Potencializadas, pois não se conseguiu traçar (ou tangibilizar) um quadro prévio do que seria o “sucesso” do programa.
   
   
4. A Teoria da Mudança precisa também elucidar de forma clara o caminho causal entre os objetivos hierárquicos do programa. Esse não foi o caso do programa Crianças Potencializadas. O (longo) relatório de avaliação elaborado não conseguiu descrever, muito menos explicitar (por meio do Marco Lógico elaborado de modo “capenga”), quais seriam os princípios e mecanismos esperados para promover as muitas mudanças positivas que seriam esperadas na vida das crianças participantes (a hipótese causal). No fundo, essa disfunção da Teoria da Mudança foi o reflexo de que o planejamento da iniciativa social em questão teve falhas graves de coerência e concepção. Boas intenções sim, porém sem os pés no chão para atingi-las.
   
   
5. Para a pesquisa de campo, o desenho do instrumento de avaliação (questionário) deve conter perguntas e/ou afirmativas diretas e objetivas, que falem na linguagem dos entrevistados, que tenham entendimento único (isto é, não dêem margem a diferentes interpretações) e sejam indutoras ao posicionamento caloroso dos avaliados em relação ao programa.  Não foi o caso dessa pesquisa de avaliação, haja vista o mesmo patamar morno de respostas (o programa contribuiu “médio”) para praticamente todas as questões. A meu ver, decorrência do baixo nível de diálogo entre o questionário (feito pelos avaliadores) e a realidade (dos avaliados).
   
   
6. A monetização do impacto social só faz sentido ser aplicada quando as estimativas do impacto social forem realmente robustas e confiáveis. Senão, é incorrer em erro sobre erro de hipóteses e estimativas, desacreditando o resultado encontrado.

No caso do Programa Crianças Potencializadas, poderiam pensar, só depois de alguns anos do programa já implementado, no desenho de uma pesquisa experimental com grupos do experimento (escolas com o programa) e grupos de controle (escolas sem o programa, porém semelhantes às primeiras), a ser conduzido por bons estatísticos da Academia. No caso, a intenção seria testar a validade dessa estratégia pedagógica. Uma vez validado o programa e garantida a sua boa execução nas escolas, aí sim se poderia passar para estimar a monetização do seu impacto.

Em síntese, se hoje em dia a avaliação de impacto social está na moda e é muito valorizada pelos investidores sociais, é preciso ter bastante cautela ao fazer essa encomenda e ao executá-la. Ainda mais se a intenção for monetizar o impacto social posteriormente, bem ao gosto das empresas. Se a avaliação de impacto não for conduzida na circunstância adequada, no momento certo e com os cuidados metodológicos necessários, corre o risco de se transformar em uma peça de fantasia e de venda de ilusões.

Texto originalmente publicado no blog Estratégia Social.