Impact meten om het verschil te maken!

Claudia de Graauw helpt met haar onderzoeksbureau organisaties bij het inzichtelijk maken van de effecten van beleid. In haar werk richt ze zich op het meten van impact en het doen van gerichte evaluaties. Door goed te meten, zo stelt ze, kunnen projecten hun doelstellingen beter realiseren.

Ook voor de projecten binnen de City Deal Kennis Maken (CDKM) is het meten van impact waardevol. In onderstaand gesprek legt ze uit hoe aandacht voor impact kan leiden tot betere uitkomsten van projecten.

Is impact meetbaar?

“Ja, dat is het zeker. De impact van projecten waarbij de stad als rijke leeromgeving benut wordt, kan je gewoon meten. Om het heel simpel te maken: je moet bedenken hoe een bedoeld effect eruit zou moeten zien. Dus wat is de ideale situatie? En wat zijn de indicatoren daarvan? Als je die eenmaal hebt opgesteld, kan je gaan meten.”

Kan je een voorbeeld geven?

“Neem bijvoorbeeld het thema eenzaamheid. Stel dat je met een studentenproject iets aan de eenzaamheid in de stad wilt doen. Allereerst stel je dan een aantal indicatoren op, bijvoorbeeld het aantal mensen dat aangeeft eenzaam te zijn, de manier waarop mensen die eenzaamheid ervaren, of andere variabelen die jij belangrijk vindt. Dat kan van alles zijn. Het ligt maar net aan het beoogde doel van het project. Het is van belang om een aantal indicatoren uit te zoeken die je later wilt meten en deze vervolgens meetbaar te maken. Bij langdurige projecten meet je deze indicatoren dan een paar keer. Het liefst doe je dat elk jaar, want over het algemeen kan je niet verwachten dat je binnen een paar maanden al effect ziet. Op die manier meet je. En dan moet je op een bepaald moment gaan beslissen: heeft het voldoende effect of niet? En gaan we ermee door of niet?

Daarnaast is er ook nog het leereffect bij je leerlingen. Ook dat kan je op deze manier aanpakken: welke vaardigheden moeten ze leren, welke kennis doen ze op, aan welke competenties werken ze? Dan begin je met een nulmeting, wat konden en wisten de leerlingen voor het programma begon, en wat kunnen en weten ze na afloop van het programma.”

Dat klinkt heel simpel eigenlijk?

“Ja, ik vertel het nu in vijf minuten, maar de uitvoering is een stuk lastiger. Het is echt belangrijk om in een project tijd in te bouwen voor het meten van effecten. De eerste stap is, zoals gezegd, om te beginnen met het formuleren van duidelijke indicatoren. Waar wil ik effecten bereiken en hoe meet ik die? Want je kan een heel groot vangnet uithangen en hopen dat er dan iets nuttigs uitkomt, maar dat is niet handig. Het blijft dan heel vaag en nietszeggend. Hoe concreter je het maakt, hoe beter je het kan meten. Als je eenmaal weet je wat je wilt meten, dan splits je dat verder uit zodat je ook weet welke methode daarvoor het beste werkt. Dat kan een vragenlijst, een interview, een observatie, een logboek of een combinatie daarvan zijn. De moeilijkheid zit erin om de juiste indicatoren te formuleren en deze meetbaar te maken.”

Claudia de Graauw

Hoe meet je de impact van een specifiek project op een groter systeem waarin heel veel variabelen en krachten een rol spelen?

“Het is belangrijk om heel goed af te bakenen waar jij mee bezig bent en een uitspraak over wilt doen. Als jouw studenten in Amsterdam-Noord in een specifieke wijk bezig zijn, dan moet je niet zeggen: we zijn bezig geweest met de eenzaamheid in Amsterdam. Dat is namelijk niet waar. Je hebt iets gedaan in die specifieke wijk in Amsterdam-Noord. Je moet dus in je ambities heel specifiek zijn. Dan kan je vervolgens ook op dat niveau effecten meten. Om andere effecten uit te filteren, kun je werken met controlegroepen, bijvoorbeeld dezelfde doelgroep in een andere wijk die niet mee heeft gedaan aan je project. Als de andere omstandigheden gelijk zijn, kun je het verschil in de verandering toewijzen aan je project.”

Om impact te kunnen meten is het afbakenen van doelstellingen dus heel belangrijk. Toch worden ambities vaak op systeemniveau geformuleerd. Kan dat ook schadelijk zijn?

“Je moet proberen om het abstracte en het concrete goed aan elkaar te linken. Als je in beleidsstukken en bestuurlijke praatjes hoog van de toren blaast dat dankzij studenten de eenzaamheid in een wijk kan verminderen, dan moet je dat ook hard kunnen maken. En is het belangrijk om de projecten erop in te richten. Als we bij het voorbeeld eenzaamheid blijven: mensen zijn niet eenzaam tussen 1 september en 31 december. Ook die andere kwartalen zijn ze eenzaam. En om eenzaamheid op te lossen is veel meer nodig dan een groepje studenten dat één keer per kwartaal langs komen om koffie te drinken en vragenlijsten af te nemen. Als je echt impact wilt, moet je het grootser aanpakken. Je kan ook proberen om die studenten iets op te laten zetten, waardoor mensen elkaar gaan leren kennen. En dat het ook gaande blijft als die studenten weer weg zijn. Wat je soms ziet is dat er een behoorlijk complex probleem bij studenten wordt neergelegd. Studenten kunnen ontzettend innovatief zijn, maar ze zijn ook nog aan het leren. Ze krijgen dan wel begeleiding van de hogeschool of universiteit, maar mijn ervaring is dat die begeleiding vaak toch best beperkt is en dat ze behoorlijk aan het zwemmen zijn. Daar moet een goede tussenweg in gevonden worden. Het is niet mogelijk om alles bij die studenten neer te leggen en ze vervolgens in het diepe gooien.

Als je hele grote ambities op systeemniveau wilt realiseren, dan moet je ook investeren in projecten die dat hele systeem kunnen beslaan. Dus niet een klein project in Amsterdam-Noord, maar honderden projecten die zich op eenzaamheid in de hele stad richten. En dat wil dus ook zeggen dat er vanuit het onderwijs intensief begeleid moet worden, waarbij docenten voldoende tijd hebben om samen met die studenten stappen te zetten. Als dergelijke randvoorwaarden niet goed geregeld zijn, dan is het onmogelijk om echte impact maken.”

Hoe voorkom je dat er plichtmatigheid ontstaat in al het meten?

“Het is vooral belangrijk dat er iets gedaan wordt met de uitkomsten van je onderzoek. Er wordt zoveel gemeten waar vervolgens niets mee wordt gedaan. Dan verlies je het draagvlak voor je onderzoek en wordt het alleen maar een last. Gelukkig merk ik dat er bij de meeste mensen ook een sterke wil bestaat om hun eigen projecten te verbeteren. Soms ontmoet ik ook wel mensen die het vooral doen voor een subsidiegever, maar meestal gaat het om intern gebruik. Als mensen het doen omdat het moet, dan zullen ze in de verdediging schieten als er verbeterpunten worden aangedragen. Maar mensen echt intrinsiek gemotiveerd zijn, dan zullen ze veel eerder geneigd zijn om aan de slag te gaan en het project en de impact ervan te verbeteren.”