Van impact claimen, naar impact meten

De afgelopen twee jaar is binnen de City Deal Kennis Maken (CDKM) gewerkt aan het versnellen en versterken van de samenwerking tussen kennisinstellingen en stedelijke partners. Dergelijke samenwerkingen dienen een tweeledig doel. Enerzijds gaat het om het aanbieden van de stad als leeromgeving aan studenten. Anderzijds kunnen de studenten – en docenten en onderzoekers – via de projecten die zij doen, een bijdrage leveren aan het oplossen van complexe, maatschappelijke vraagstukken. Met deze manier van werken willen kennisinstellingen hun impact op de stedelijke samenleving vergroten. We gingen met impactonderzoeker Karen Maas in gesprek over de vraag hoe kennisinstellingen hun maatschappelijke impact op strategische manier kunnen vergroten.

Begin met het waarom

‘Begin met het waarom’. Zo luidde het simpele advies van de Britse organisatieadviseur Simon Sinek in zijn gelijknamige boek en TED-talk (hier te zien). Volgens Sinek zijn de sterkste, innovatiefste en meest daadkrachtige bedrijven en mensen degenen die weten waarom ze doen wat ze doen.

Bron: Journalism Lab, 2019

Zijn verhaal maakt hij inzichtelijk met behulp van een simpel model: de golden circle. Volgens Sinek is succes op de lange termijn afhankelijk van de mate waarin organisaties gedreven worden door een sterk ‘waarom’. Het ‘hoe’ en ‘wat’ volgen daaruit. Of in de woorden van Sinek zelf: “People don’t buy what you do, they buy why you do it. And what you do simply proves what you believe.”

Het belang van impact meten

Karen Maas, impactonderzoeker en wetenschappelijk directeur van Impact Centre Erasmus (ICE), kan zich vinden in het model van Sinek. “Strategisch handelen volgt in mijn ogen de golden circle van Sinek. De eerste stap is om te bepalen welk maatschappelijk vraagstuk je met elkaar wilt oplossen en waarom je juist dat vraagstuk wil oplossen. Als je dat eenmaal weet, heb je een vergezicht. Vanaf dat vergezicht kan je dan terugredeneren. Welke projecten lopen er al? Over welke middelen beschikken we? Welke resultaten boeken we nu? En waar zitten nog hiaten? Op basis van die kennis en visie kan je bijsturen en ervoor zorgen dat je echt toewerkt naar dat vergezicht en op zinvolle wijze invulling geeft aan je ambities.”

Karen Maas

Volgens Maas ontbreekt het vaak aan een koppeling tussen het ‘wat’, ‘hoe’ en ‘waarom’. “Want wat je nu ziet, is dat er op het niveau van het ‘wat’ heel veel gebeurt. In tal van kleinschalige en concrete projecten worden resultaten geboekt en daar wordt ook de meeste lol beleefd. Op dat niveau doen studenten waardevolle leerervaringen op en worden ook mensen uit de buurt geholpen. Alleen wil dat niet zeggen dat daarmee ook op stedelijk niveau grote, complexe stedelijke vraagstukken worden opgelost. Stedelijke armoede los je niet op door een paar leuke projecten met studenten.”

Het gevaar van ‘overpromise’ ligt op de loer: dat er meer beloofd wordt dan waargemaakt kan worden. Kunnen we echt verwachten van studenten dat ze tijdens hun opleiding al significante bijdragen kunnen leveren aan het oplossen van wicked problems, zoals armoede, segregatie of klimaatadaptatie? Zeker wanneer de resultaten die in deze projecten worden geboekt niet gemeten en expliciet gemaakt worden is dit bijzonder lastig. Ook Maas zet hier haar vraagtekens bij. “Ja, dat intrigeert en irriteert me eerlijk gezegd wel in het sociale domein. Iedereen wil de wereld veranderen, maar niemand durft kritisch te zijn op wat hij doet. Hoe is dat nu toch mogelijk? Ik snap dat gewoon niet. Misschien ben ik daar teveel econoom voor. Je hebt gewoon een bepaalde hoeveelheid tijd en middelen te besteden. Als je iets wilt bereiken, is het toch belangrijk dat je weet hoe je die beperkte tijd en middelen zo goed mogelijk kan besteden? Je ziet bij maatschappelijke projecten echter vaak dat de claim wordt gemaakt dat complexe vraagstukken opgelost gaan worden, maar je ziet maar zelden dat ook uitgelegd wordt hoe ze dat gaan doen. Het blijft dan onduidelijk hoe het kleine (het ‘wat’) en het grote (het ‘waarom’ en het ‘hoe’) met elkaar in verbinding staan.”

Organisaties kunnen het kleine en het grote met elkaar verbinden, door serieus werk te maken van het meten van de impact van hun activiteiten. Maas definieert impact als ‘het effect van een organisatie of project op de maatschappij’. “Om impact te meten is het vooral belangrijk om duidelijk te krijgen wat je wilt bereiken. Pas dan kan je op een zinnige manier aan de slag met het meten van impact. Want je kan alles meten. Daarom is dat vergezicht zo belangrijk. Je moet weten wat je uiteindelijk wil bereiken en pas dan kan je formuleren wat daarin belangrijke variabelen zijn. Op die manier beantwoord je dan de vraag: wanneer zijn wij tevreden met de resultaten van een project?”

Het impactpad

Kennisinstellingen en projectleiders die werk willen maken van impactmeting, kunnen gebruik maken van het mede door Maas ontwikkelde impactpad. Ze ontwikkelde het impactpad samen met collega’s van Avance, Social Enterprise NL en het Impact Centre Erasmus. Het impactpad kan worden gezien als een trap met vijf treden die organisaties idealiter doorlopen als ze inzicht willen krijgen in de maatschappelijke effecten van hun projecten. De eerste trede is het expliciet maken van het maatschappelijk probleem dat opgelost dient te worden. Het is belangrijk om daarbij een analyse te maken van het probleem, door bijvoorbeeld met stakeholders en deskundigen in gesprek te gaan. Vanuit dat onderzoek kunnen expliciete impactdoelstellingen geformuleerd worden. Het gaat dus om een uitwerking van het ‘waarom’ (de sociale missie) en het ‘wat’ (de tastbare resultaten). De volgende trede is het uitwerken van het verandermodel – wat is de ‘Theory of Change’? – en het betrekken van belangrijke stakeholders bij het project (studenten, onderzoekers, bewoners, ambtenaren, etc). Terwijl het project gaande is, is het belangrijk om de directe resultaten inzichtelijk te maken: laten zien hoeveel mensen bereikt zijn met het project, hoeveel uren zijn geïnvesteerd, hoeveel trainingen zijn gegeven, en hoeveel producten zijn gemaakt. Het meten van de resultaten geeft ‘harde’ data in handen. Om de impact te meten, is een goed opgezet sociaalwetenschappelijk onderzoek nodig. Denk aan het afnemen van vragenlijsten, doen van diepte-interviews of vormen van participatieve observatie, bijvoorbeeld in de groep waar het project op is gefocust. De juiste methode hangt af van de effecten die worden beoogd. De laatste trede is het uitwerken van de resultaten in een rapportage en deze aan te vullen met opbrengsten van ander onderzoek die gelijknamige effecten voor ogen hebben.

Het meten van impact is dus geen eenmalige exercitie voor organisaties om aan de buitenwereld te vertellen dat ze goed bezig zijn. Impact meten moet een continu en cyclisch proces zijn dat organisaties structureel doorlopen als ze willen dat ze met hun activiteiten veranderingen in de samenleving realiseren. Hiervoor is, ondanks niet altijd gemakkelijk, een kritische en eerlijke houding naar het eigen project nodig. Immers is het mogelijk dat het een project in een negatief daglicht zet. Volgens Maas zijn impact meten en een kritische houding noodzakelijke voorwaarden als je als organisatie echt wilt leren: “Als je gewoon een mooi verhaal wilt brengen, dan kan je beter wat mooie casussen verzamelen en daar een inspirerend verhaal van bouwen. Maar als je het echt serieus neemt, als je echt wilt weten hoe datgene wat jij doet bijdraagt aan het grotere geheel, dan moet je goed nadenken over wat je wilt bereiken en hoe je dat dan in kaart kan brengen. Idealiter is het een constante leercyclus.”