Deze week organiseerde Regieorgaan SIA samen met de Vereniging Hogescholen een conferentie over Onderzoek & Impact. Was niet de eerste conferentie rond dit thema, en volgend jaar is er weer een. Belangrijk onderwerp dus.
Ik was gevraagd om een tafelgesprek te begeleiden. Ik was niet direct enthousiast want inmiddels reken ik mezelf tot de impactsnobs – de insteek luistert nauw, en met één verkeerd woord sta je wat mij betreft aan de verkeerde kant van de geschiedenis.
De landingspagina van de conferentie belooft weinig goeds. Verstopt tussen andere, zachtere benaderingen (‘stimuleren, zichtbaar maken’) staat het er toch weer gewoon: hoe impact te meten?
Lang verhaal kort: wel gegaan, mooie conferentie met fijne mensen.
Het merkwaardige aan impact is dat iedereen – maar dan ook echt iedereen – erkent dat dat hele meetdiscours aan alle kanten rammelt. Ik weet me in Amersfoort omringd door slimme mensen voor wie het klip en klaar is: niet alles wat je kunt meten zegt iets over impact, en niet alle impact kun je meten.
Maar met impactmeten is het een beetje als met neoliberalisme, zo lijkt het: niemand is fan, niemand kent ook uitgesproken voorstanders, maar zelfs gezamenlijk krijgen we het tij niet gekeerd. Het is er, en we hebben ons er maar toe te verhouden – een conferentie over impact optuigen en het niet over meten willen hebben is vragen om een kamer vol olifanten.
Wil niet zeggen dat we er niet mee in onze magen zitten. In het gesprek dat ik mocht begeleiden dansen we aanvankelijk nog wat om de kwestie heen, maar als snel spitst het gesprek zich toe op de cijfernood én op de belangrijkste aanjager van al die impactmetingen: verantwoording. Naar klanten, naar subsidieverstrekkers, naar OCW, naar de burger. Zelfs als wij zelf niet al te veel waarde hechten aan cijfers is er altijd nog ‘de ander’ die toch iets van communiceerbaar bewijs wil zien. Want die heeft ook weer wat uit te leggen, en cijfers laten zich nu eenmaal lekker aggregeren.
Kale getallen ontdoen impact van al het leven waar we nu juist zicht op proberen te krijgen. Weten we allemaal. Maar ja, wat moet je. En dus pompen we getallen rond die de lading niet dekken, hoogstens het gebied aanwijzen waar de impact zou plaats zou kunnen vinden. In het geval van onderzoek: hoeveel deliverables, het aantal keren dat een publicatie gedownload wordt, een hoofdelijke telling van toehoorders bij een lezing, officieel geregistreerde projectpartners. We rapporteren met de Franse slag, en lezen de rapportages met een korrel zout.
Aan onze impacttafel in Amersfoort zoeken we het gulden midden. Voldoende meetgegevens om de verantwoordingsketen niet te breken, slim gecombineerd met anekdotisch bewijs in de vorm van échte verhalen van échte mensen die impact vlees op de botten geven. Zoiets?
Tevreden maken we ons op voor de plenaire terugkoppeling. Een bijna terloopse nabrander van een van de tafelgenoten: de cijfers die we met evenveel voorbehoud aanleveren als lezen, de cijfers waar we al die uren insteken die we ook in betekenisvolle analyses hadden kunnen stoppen, hoe groot is onze afkeer van die cijfers nu echt? Is de collectieve focus op getallen ook geen manier om iets uit de weg te gaan?
De tafelgenoot vertelt kort over hoe zij na ieder project met alle betrokkenen om tafel gaat zitten voor een echt kritische reflectie op de impact. Ik maak me er een voorstelling van en krijg het Spaans benauwd. Echt Kritisch Reflecteren op Impact. Doe ik dat met mijn onderzoek? Durf ik dat? De impactsnob in mij probeert me gerust te snellen en werpt me allerlei bezwaren, haken en ogen toe. Strekking: impact láát zich hoe dan ook niet vangen, niet in cijfers, niet in een kritische reflectie, gewoon rustig blijven benadrukken dat we met impact iets in handen hebben dat ons ontsnapt als we het proberen vast te grijpen.
Het mag niet baten. Bij de borrel ben ik snob af. Ik herpak m’n adem en besluit ook volgend jaar naar de Onderzoek & Impact Conferentie te gaan.
Hi Jacco,
Ik denk dat ik een uitzondering ben. Ik ben uitgesproken fan van meten. Cijfers kwantificeren en objectiveren. Vervolgens, en dat lees ik ook bij jou, moet je cijfers wel op de juiste waarde schatten. Maatschappelijke cijfers zijn maar de helft van het verhaal (in tegenstelling tot de winstcijfers in het bedrijfsleven). De andere helft van het verhaal, het verhaal achter de cijfers, is misschien ook nog op te delen. De informatie die je kan vinden in teksten en likes op inter- en intranet. En uiteindelijk, van wezenlijk belang, de interactie tussen mensen. Met name die laatste is lastig te kwantificeren en te objectiveren. Maar wel van wezenlijk belang.
Maar in de hang naar eenvoud en de (gelukkig dalende) om overheid te besturen als een bedrijf (NPM) zien we cijfers als de waarheid en vaak ook nog als middel om af te rekenen in plaats van om het gesprek te beginnen. En daar gaat het volgens mij fout.
Grt Frank
LikeLike