Em projetos sociais os resultados estão quase sempre associados a resultados intangíveis, subjetivos e abstratos, como por exemplo: crianças saudáveis, adolescentes com autoconfiança, autoestima de idosos, jovens capacitados para o mercado de trabalho, comunidade engajada, famílias ajustadas, empreendedores bem-sucedidos, e por aí vai… Alcançar esses resultados intermediários são etapas necessárias e imprescindíveis que vão contribuir para o alcance do impacto final pretendido de transformação na vida das pessoas atendidas.
O problema é que até hoje no Brasil ainda não se tem clareza metodológica sobre como medir esses conceitos tão amplamente adotados na área social, que seja confiável e capaz de captar (ser sensível a) os avanços conseguidos. Então, se não há essa clareza – e aqui me refiro sobretudo à grande maioria das organizações do terceiro setor – como conseguir PLANEJAR bem os projetos sociais?
Ou seja, como explicitar O QUE queremos mudar? E como saber depois se o que fizemos conseguiu, de fato, chegar AONDE queríamos, ou seja, AVALIAR se as iniciativas conduzidas foram válidas, eficazes e eficientes?
No Reino Unido e EUA desde 2003 – No Reino Unido vêm sendo envidados esforços por organizações think-tanks (como a New Philanthropy Capital – NPC, ou a Triangle /Outcomes Star) e nos Estados Unidos (FSG) para construírem sistemas de indicadores “de prateleira” (do inglês, off-the-shelf tools) que possam ser compartilhados por organizações do terceiro setor (charities or NGOs – Non-Governmaental Organisations).
No Reino Unido, organizações sociais trabalhando em uma mesma área-fim (por exemplo, educação de adolescentes em situação de vulnerabilidade) foram se unindo, capitaneadas por alguma organização think-tank como a NPC, para desenvolverem um sistema comum de avaliação de resultados. Nesse sentido, os conceitos abstratos relacionados a objetivos de resultados (por exemplo: autoestima), adotados por organizações trabalhando com públicos semelhantes, foram sendo operacionalizados nos mesmos indicadores ou escalas.
Feita a operacionalização dos conceitos, as demais ferramentas para medição também começaram a ser desenvolvidas em comum, através do apoio de uma equipe especializada, tais como a construção dos questionários, a estratégia para a sua aplicação, o sistema de base de dados (que pode ser online) e o referencial para análise dos dados coletados.
No Brasil, no período em que atuei (2011 – 2016) no Programa da POS (Parceria com Organizações Sociais) da Fundação Dom Cabral – FDC (hoje denominado Pilaris), quis começar a difundir essa ideia das ferramentas de prateleira (Avaliação de projetos sociais no terceiro setor: uma agenda em construção, seção IV), mas percebi que o terreno precisava antes ser melhor trabalhado.
Por isso, no Manual que desenvolvi para apoiar o trabalho com as organizações participantes do Programa (Manual de Planejamento e Avaliação de Projetos Sociais para Organizações Sociais), comecei a incluir alguns instrumentos que pudessem funcionar como “ferramentas de prateleira”. Esses instrumentos vinham de três fontes: conceitos abstratos que já tinham sido traduzidos para a prática e validados; experiências de monitoramento com algumas dessas organizações; ou ainda, foram criados durante as avaliações de projetos sociais que conduzi.
Para ilustrar melhor a ideia, aqui estão alguns exemplos de instrumentos incluídos no Manual:
A intenção de compartilhar esses instrumentos no Manual foi oferecer inspiração e facilitar o trabalho de planejamento e avaliação em organizações que atuam com projetos sociais semelhantes, ajudando, assim, a “queimar etapas” e avançar com mais agilidade nesse processo.
Medição compartilhada: o caso da ferramenta Outcomes Star
Como surgiu? Outcomes Star (traduzido ao pé da letra: Estrela de Resultados) é uma ferramenta para medir e apoiar as mudanças / resultados, que foi criada e desenvolvida pela Triangle Consulting Social Enterprise do Reino Unido. A Triangle, fundada em 2003, se define como “uma empresa inovadora, guiada por uma missão social que é a de apoiar os provedores de serviços sociais a transformarem vidas de pessoas vivendo em situação de vulnerabilidade social, traumas, deficiências ou doenças, por meio da criação e o uso correto de ferramentas que engajem e promovam abordagem facilitadoras”.
A primeira versão do Outcomes Star começou como uma demanda (em 2003) da St Mungo`s, uma organização social voltada para o atendimento de moradores de rua, que queria avaliar os resultados do seu trabalho. A ferramenta acabou ganhando tração a partir da constatação de sua aplicabilidade também junto a outras organizações do Reino Unido que atendiam moradores de rua. Foi quando a Triangle, então, avançou naquele protótipo inicial, por meio do desenvolvimento da chamada “jornada da mudança” (do inglês, the Journey of change), das escalas de medição adequadas tanto para os usuários dos serviços (ou clientes) como para os provedores do serviço (ou colaboradores dessas organizações executoras), e do Guia com as orientações para a implementação do instrumento. Assim, em dezembro de 2016 surgia a primeira versão da Outcomes Star, com o foco em moradores de rua.
O que é a ferramenta? Conforme explicado no site, cada versão da Outcomes Star compreende um conjunto de escalas apresentadas de modo amigável e acessível em formato de uma estrela (figura), em que cada escala (ou cada ponta da estrela) representa uma dimensão relevante do resultado pretendido. Cada escala é explicitada em estágios (que podem ser 5 ou 10), sendo cada estágio cuidadosamente definido, de modo a caracterizar cada uma das etapas necessárias para promover a mudança sustentável na vida das pessoas atendidas. A ideia é que a ferramenta seja aplicada pela equipe da organização com cada usuário do serviço, desse modo permitindo visualizar e analisar com clareza a “jornada da mudança”: onde se está no percurso, os resultados alcançados (e os não alcançados), e as evidências do que precisa ser trabalhado.
Feitas sob medida para diferentes setores sociais, as versões da Outcomes Star são desenvolvidas em colaboração com os usuários dos serviços e os prestadores dos serviços nas organizações sociais executoras. No Reino Unido a ferramenta já é adotada tanto em organizações filantrópicas (as “charities”) como em órgãos do governo, sejam eles locais ou nacionais, como também em outros países da Europa, Ásia e também na Austrália e Estados Unidos
Para se ter uma ideia sobre a composição de cada versão da Outcomes Star, recomendo uma visita à página do site “Preview the Stars Resources” que apresenta uma demonstração (em inglês, preview) dos recursos da ferramenta para cada uma das diferentes versões. Por exemplo, a versão do Work Star (Star “Trabalho e Emprego”) já está em sua 3ª edição, haja vista as atualizações e melhoramentos feitos no instrumento. Essa versão conta com o demonstrativo do Guia do usuário (User Guide preview), onde estão listadas as 7 dimensões ou escalas contempladas no setor Trabalho e Emprego, sendo apresentadas algumas dessas escalas adotadas, vale a pena olhar para entender melhor como a ferramenta é estruturada!.
Já no demonstrativo do Guia para a equipe executora (Guidance for Workers preview) estão dadas as orientações para a aplicação do instrumento.
Estágio da ferramenta - Atualmente existem mais de 50 versões publicadas da ferramenta Outcomes Star para diferentes setores de atuação social, tais como:
A Outcomes Star é uma ferramenta em constante evolução, sempre em colaboração com organizações executoras dos serviços sociais, universidades, instituições especializadas, e financiadores.
Como interagir com a ferramenta?
Basicamente há duas maneiras. Primeiro, na condição de organização colaboradora no desenvolvimento de uma nova versão da Outcomes Star. Isto ocorre quando a organização social percebe a necessidade de um novo instrumento para orientar a condução do seu trabalho, que ainda não existe na “prateleira” das (versões da Outcomes Star. Daí essa organização pode colaborar com a Triangle na co-criação ativa do novo instrumento, por meio de financiamento direto ou via captação de recursos.
A segunda maneira de interagir é na condição de organização usuária da ferramenta. Como a Triangle é detentora dos direitos autorais da ferramenta, é preciso que a organização adquira a licença de uso. A equipe Triangle é enfática em recomendar que, antes de mais nada, é fundamental que a organização social identifique, primeiro, se a abordagem da ferramenta Outcomes Star é adequada ao trabalho que a organização social realiza. Só depois, buscar identificar qual(is) das versões disponíveis da “família” Outcomes Star pode (m) ser aplicada(s) ao seu serviço / projeto.
Para que o uso de qualquer versão da Outcomes Star faça sentido, é importante que a organização atenda a cinco condições (ou necessidades de gestão). Essas condições são fundamentais para que a ferramenta realmente traga resultados e seja aplicada de forma eficaz:
Quem olha superficialmente tende a pensar que Outcomes Star representa um conjunto de conceitos abstratos, que correspondem aos diferentes resultados pretendidos em projetos sociais, que foram tangibilizados e devidamente validados. E que estão na “prateleira” da Triangle, prontos para serem “consumidos”, ou utilizados, por organizações do terceiro setor cujos projetos sociais tenham objetivos de resultado semelhantes.
Se fosse apenas isso, já seria de grande utilidade para as organizações sociais no Brasil, pois o instrumento poderia ser aplicado pelo menos em dois momentos: antes do início do projeto (momento zero) e ao final dele. Assim, seria possível medir os efeitos diretos do projeto sobre os usuários, observando mudanças em atitudes, percepções ou comportamentos.
A ferramenta Outcomes Star vai além de simplesmente tornar conceitos abstratos mais aplicáveis. A proposta da Triangle é oferecer um apoio completo às organizações sociais, ajudando a identificar a versão da ferramenta mais adequada (ou mesmo se nenhuma versão se aplica), orientar sobre como utilizá-la na prática e como organizar as informações geradas para melhorar o planejamento e a prestação de contas aos diferentes públicos de interesse. Ou seja, a ferramenta Outcomes Star pretende ser um sistema abrangente de apoio à organização social, para que ela possa se concentrar em sua atividade-fim, que é a de atender aos seus usuários sempre com o foco em resultados.
Então, bastaria que as organizações sociais NO BRASIL comprassem os direitos de uso das diferentes versões da Outcomes Star que lhes fossem adequadas, fizessem a tradução para português, tudo sob a supervisão on line de uma equipe Triangle? Como, aliás, já vem sendo feito em outros países da Europa, Ásia e também nos Estados Unidos.
Pode ser. Outra opção é começarmos a construir no Brasil ferramentas de avaliação aderentes às especificidades dos projetos sociais no país em seus diferentes setores – como foi a Outcomes Star para o Reino Unido. Faz sentido? Ou seria “reinventar a roda” em alguns casos, considerando a existência /disponibilidade das várias versões do Outcomes Star?
Fica, pois, o desafio para avançarmos nessa direção da construção de ferramentas de prateleira de avaliação no Brasil. Um esforço que se mostrará relevante não apenas para nortear o trabalho das organizações do terceiro setor, mas para todo o ecossistema de impacto social, aqui incluído também as organizações com fins lucrativos. Inclusive, há que se reconhecer que essa caminhada já foi iniciada com a publicação do Guia de Indicadores da Vitrine de ONGs, pelo Instituto Liga Social em 2021.
Maria Cecília Prates é economista e mestre em economia pela UFMG, e doutora em administração pela FGV /Ebape. Pesquisadora na FGV / IBRE na área social por muitos anos, e depois tem feito monitorias, consultorias, pesquisas em avaliação de projetos sociais e RSC.
Site: estrategiasocial.com.br
Inscreva-se na nossa Newsletter
Participe do nosso grupo no WhatsApp para receber nossos conteúdos em primeira mão
O Portal do Impacto tem o objetivo de compartilhar conteúdos gratuitos para as Organizações da Sociedade Civil (OSCs ou ONGs) e seus empreendedores nos temas de gestão, captação de recursos, tecnologia, comunicação e outros temas relevantes para o Terceiro Setor.
As opiniões manifestadas nos conteúdos de terceiros apresentados neste portal são de exclusividade das pessoas que as manifestaram, não responsabilizando a Phomenta. Todo o conteúdo é orientativo e tende a ser prático, mas recomendamos a procura de especialistas locais para implementação de ações, considerando a realidade da OSC.
