Se até os anos 2000, praticamente não se media nada (ou muito pouco) no setor social, agora a situação se inverteu, com a compulsão por medir. Isto porque ganhou força a ideia de que só o que é medido pode ser gerenciado, comunicado e desenvolvido. Daí que quanto mais a organização medir, mais ela passa a ser percebida como transparente, que presta contas a todos os seus públicos de interesse (accountable), que é dinâmica, confiável e geradora de transformação social. 

Li há algum tempo o livro de Jerry Z. Muller (2018), The tiranny of metrics, que faz justamente um alerta contundente sobre essa obsessão por métricas. Dada a relevância e atualidade de sua análise para o setor social, sobretudo em se tratando do Terceiro Setor, vale a pena relembrar alguns dos alertas feitos por Muller. 

O que o autor aponta muito bem – e que corresponde ao que nós, práticos da avaliação, já percebíamos – é que a medição quantitativa não é garantia de organização virtuosa e transparente. Muito ao contrário, intencionalmente ou não, ela pode prejudicar a condução do trabalho social, e ser utilizada também por organizações “opacas”. 

Veja alguns dos mitos que normalmente costumamos ver associados às medições quantitativas no setor social aqui no Brasil, e que Muller desconstrói em seu trabalho. 

Mito 1 – As medições quantitativas fornecem informações objetivas, precisas e comparáveis sobre o desempenho dos projetos e/ou organizações. Daí elas são consideradas superiores aos julgamentos (ou avaliações qualitativas), pois estes estão baseados em experiências pessoais, subjetividades e interesses próprios. 

FALSO: De forma alguma a medição é uma alternativa ao julgamento. Ao contrário, a construção do próprio sistema de medição implica no uso do julgamento – julgamento sobre o que medir, como medir, como interpretar o que foi medido, e como utilizar os seus achados. Ou seja, na medição (que é quantitativa) estamos fazendo julgamentos o tempo todo. 

Por outro lado, temos também que ter muito cuidado com (as desejáveis) precisão e comparabilidade das medições quantitativas: de que vale a precisão, se a margem de erro é muito elevada? De que vale poder comparar iniciativas, se os contextos sociais são tão diferentes entre si? 

Mito 2 – Só a medição é capaz de direcionar a gestão do projeto e/ou organização para tomadas de decisão bem-sucedidas. 

FALSO: Na quase totalidade das vezes, não somos capazes de medir ou quantificar tudo o que é relevante. Ou porque não temos expertise ou porque os custos da medição são proibitivos. Sobretudo na área social, em que os resultados são, em sua maioria, intangíveis e complicados para serem operacionalizados. Então, ou deixamos de medir o que é relevante para o projeto e/ou organização, ou medimos incorretamente; ou apenas medimos aquilo que não é relevante (insumos e produtos), só por ser o que é possível medir. Como se vê, nem sempre a medição consegue fornecer as informações necessárias para a boa gestão; e o pior, ao gerar indicadores inadequados distorce e/ou tira o foco do que é realmente relevante, induzindo a erros de atuação. 

Mito 3 – A medição de desempenho é um sinal inquestionável do compromisso do projeto / organização com a transparência (publicização ou divulgação ampla do desempenho) e com accountability (prestação de contas para os públicos envolvidos). 

FALSO: Porque nem tudo que é medido é tornado público, sob pena de ser contra-produtivo e prejudicar o projeto / organização, com a possível redução dos seus apoios. Tanto que hoje em dia ‘transparência` acabou ficando associada ao desfile de sucessos e acertos da organização, pois os erros e fracassos são ocultados. Ademais, prestação de contas não é um ato apolítico em si, e envolve interesses concretos de poder, dinheiro e status, o que leva os gerentes a apresentarem as informações da maneira que melhor atende a esses interesses. 

Mito 4 – Quando se mede desempenho, as equipes ficam motivadas a melhorarem o desempenho, seja individual ou do projeto / organização como um todo. 

FALSO: Sobretudo quando as remunerações das equipes e/ou os recursos das organizações estão atreladas ao desempenho, havendo algum tipo de premiação ou penalidade, na realidade o que prevalece é o medo de perder recursos e/ou reputação. Então, o que é feito é “jogar com as métricas” para garantir a impressão de bom desempenho, com artifícios do tipo: facilitar as metas a serem atingidas; atender públicos mais fáceis de serem trabalhados ou em situação de vulnerabilidade menos crítica. 

Para concluir, a desconstrução desses mitos relacionados às métricas quantitativas deve ser visto com entusiasmo por nós, que somos defensores da avaliação nas organizações do terceiro setor. Essa reflexão nos mostrou que a medição quantitativa, por mais rigoroso que seja o método, não é garantia de uma avaliação virtuosa. 

Uma avaliação virtuosa é aquela que realmente consegue ser útil ao projeto / organização. Nasce a partir das necessidades de gestão, ouve os públicos envolvidos para a construção dos indicadores, utiliza indicadores quantitativos e pesquisa qualitativa de modo complementar, constrói e alimenta regularmente uma base de dados sob medida para acompanhar a evolução das ações, e tem o foco na aprendizagem. Uma avaliação virtuosa não pode ser fruto desse modismo de medição, que tem asfixiado as organizações com o exagero de medições e elaboração de relatórios. 

Para discussão: 



A sua organização convive com esses mitos das métricas? Para cada caso identificado, o que poderia ser feito de diferente?