METHODIEK

Reflexieve evaluatie

Opschalen door het verankeren van wat geleerd is in het bestaande systeem, het verleggen van bestaande normen en waarden en daardoor sneller innovaties te verspreiden

Joshua Cohen is een bevlogen actie-onderzoeker, trainer en adviseur op het gebied van samenwerken en participatie. Hij is gepromoveerd op actie-onderzoek en reflexieve evaluatie van een project waarin werd onderzocht hoe wetenschap en samenleving meer structureel kunnen samenwerken. Inmiddels past hij de lessen hieruit toe bij TwynstraGudde, een bedrijf dat advies en onderzoek doet voor de publieke sector.

Tijdens een gesprek vertelde hij meer over deze reflexieve vorm van monitoren en evalueren, wat de voordelen zijn en wat erbij komt kijken. Lees hierover meer in dit artikel.

Waarom gebruik je reflexieve evaluatie?

Bij complexe vraagstukken zoals rondom duurzaamheid of ongelijkheid komen veel verschillende deelproblemen en actoren samen. Om zulke vraagstukken te tackelen moet je samenwerken met die verschillende actoren. Dit betekent elkaar ontmoeten op de grens van bestaande organisaties. Samen buiten de gebaande paden gaan en innovaties uitproberen om die vervolgens weer proberen te verankeren in het bestaande systeem.

Tegenwoordig wordt zo op veel verschillende manieren samengewerkt via tijdelijke arrangementen: social labs, living labs en fieldlabs en allerlei andere samenwerkingsvormen. Betrokkenen bij zulke samenwerkingsvormen hebben soms nog de neiging om de impact van de innovaties pas aan het eind van het traject te evalueren. Met behulp van interviews en vragenlijsten brengen ze in kaart wat er gebeurd is om uiteindelijk de geleerde lessen samen te vatten in een evaluatierapport.

Deze meer klassieke aanpak brengt echter een risico met zich mee. In het beste scenario worden de inzichten en geleerde lessen namelijk pas in een volgend experiment gebruikt, als de rapporten überhaupt worden gelezen. Het lerend potentieel van betrokkenen blijft op die manier vaak onbenut, laat staan dat het tot institutioneel leren leidt. Terwijl juist grote maatschappelijke uitdagingen en transities vragen om institutioneel leren.

Hoe werkt de methode?

Met reflexieve evaluatie en actie-onderzoek kun je wel samen met de betrokken stakeholders tijdens het traject veel explicieter leren. Gedurende het proces denk je bovendien samen na over het vergroten van de impact.

Reflexieve evaluatie is gebaseerd op een manier van denken binnen de evaluatiewetenschappen die verdergaat dan alleen een klassieke nulmeting, interventie en nameting. Je komt als evaluator al aan het begin met stakeholders samen om gezamenlijk in kaart te brengen wat interessant is en wat er geleerd moet worden.

Tijdens het traject kom je, vaak meerdere keren, bij elkaar terug en deel je samen wat er geleerd is en reflecteer je opnieuw op de witte vlekken met behulp van verschillende creatieve methodes. Vragen worden gesteld als; Wat willen we leren? Welke kennis willen we ophalen? Welke institutionele barrières zijn er en hoe gaan we ze slechten of veranderen? Welke interventies gaan we toepassen? Wie hebben we daarvoor nodig en wanneer doen we wat?

In deze meer geëngageerde vorm van onderzoek wordt door de evaluator niet alleen actiever meegedacht over de impact van de innovatie maar ook over de opschaling van geleerde lessen en innovaties. Waarbij in publieke context het opschalen niet per se gaat over de verkoop van meer producten of technologieën, maar meer over het vermeerderen of verspreiden van innovaties, het verankeren van wat geleerd is in het bestaande systeem en het verleggen van bestaande normen en waarden.

Hoe richt je een dergelijk traject in?

Je past het traject altijd aan op de specifieke omstandigheden: het hangt van de context af, waar de innovatie en het lab of de labs over gaan, maar ook de individuen en hun veranderstand. Joshua Cohen besteedde bij zijn promotieonderzoek aandacht aan hoe je ‘maatschappelijk verantwoord onderzoek en innovatie’ kunt institutionaliseren. Voor dit doeleinde organiseerden collega’s en hij workshops met diverse stakeholders.

In deze workshops nodigden ze mensen uit om over hun ideeën en uitdagingen met betrekking tot dit onderwerp te praten en na te denken over wat zou moeten veranderen in hun organisaties of op systeemniveau. Dat vraagt wel een bepaalde veranderstand van betrokkenen en die wil je, zeker als het er niet is, aanwakkeren door het ophalen van vergezichten en ideeën voor verandering.

Tegelijkertijd organiseer je ook backcasting om mensen na te laten denken over wat er nu moet veranderen om een andere toekomst mogelijk te maken. Je presenteert ze wat bevindingen over wat speelt in hun context qua institutionele barrières en enablers. Vervolgens help je ze om hun ideeën verder uit te werken in concrete pilots, en blijf je gedurende het proces zowel digitaal als fysiek in contact om hen te ondersteunen.

Je stelt tijdens het traject vragen om betrokkenen meer een gevoel van eigenaarschap te geven. het leren te bevorderen en impact verder te brengen. En je verkent met deelnemers gedurende het proces mogelijkheden om hun innovatieve ideeën verder te vermeerderen, verspreiden, verankeren en zo normen en waarden te verleggen.

Tot slot organiseer je reflectiesessies met projectleiders en deelnemers om nog verder te oogsten. Wij deden dat door ze verhalen te laten maken of becommentariëren die wij hadden opgesteld over hun ervaringen. Dat hielp in het concreet maken.

Uiteraard is er niks mis mee om dat vervolgens na een eindreflectie en -analyse op te schrijven in inspirerende verhaaltjes of beleidsbrieven (zie hier voorbeelden uit het project waar Joshua bij betrokken was). Het punt is vooral dat je dat niet alleen doet maar ook tijdens het traject leren bevordert.

Waar moet je verder aandacht voor hebben?

Bij reflexieve monitoring is het belangrijk om ruimte te bewaren in de opzet en het budget van het project voor verandering. Op deze manier kan je ook de stakeholders geïnteresseerd houden tijdens het monitoringstraject. Je kan hen bijvoorbeeld zeggenschap over een deel van het budget bieden, om in te spelen op de actualiteit.

Zo sta je als onderzoeker en evaluator veel meer naast de deelnemers en streef je samen naar maximale impact en opschaling. Dat betekent wel dat je een andere rol aanneemt dan wat men soms gebruikelijk vindt voor een evaluator of onderzoeker. Meer betrokken en met meer engagement (zie hoofdstuk 8 uit deze bundel). Minder gericht op verantwoording maar veel meer gericht op her bevorderen van leren en opschaling. Omdat de uitdagingen van vandaag en morgen erom vragen.

“Een evaluatie kan je gebruiken voor verantwoording en om echt van te leren. Hoe meer je naar verantwoording leunt, hoe minder ruimte er soms ontstaat voor het leren.” – Joshua Cohen

Dit is ook interessant

METHODIEK
Handboek Publiek-Civiele Samenwerking

Waag Futurelab en Stby werkten samen aan een onderzoeksproject met de vraag: Wat hebben burgercollectieven en de overheid nodig om duurzame samenwerking te bereiken op basis van wederzijdse waardecreatie? 

METHODIEK
Reflecties op maatschappelijk verdienvermogen door een impact-ondernemer
Op basis van jaren praktische kennis en ervaring zijn negen stappen gedefinieerd over innoveren. Laszlo Bax deelt ter aanvulling zijn inzichten over missiegedreven innoveren en maatschappelijk verdienvermogen.
METHODIEK
Adaptive Governance

Besluitvorming vindt plaats binnen een bepaalde governance: het samenspel tussen organisaties, beslissers, beslisprocessen, wetgeving en richtlijnen. De maatschappelijke transities vragen om aanpassingen in dit samenspel. Adaptive governance is de methode om deze aanpassingen te doen.

METHODIEK
Orchestrating Innovation

Orchestrating Innovation is een methodiek die bedrijven en overheden helpt om samen te veranderen. TNO heeft deze methodiek ontwikkeld vanuit het besef dat innovatie vraagt om methodiek en technologie die werkt. Maar meer nog: het vraagt om samenwerking.

METHODIEK
Reflexieve evaluatie

Met reflexieve evaluatie kun je samen met de betrokken stakeholders tijdens het traject expliciet leren. Gedurende het proces denk je bovendien samen na over het vergroten van de impact. Lees meer over deze methode in dit artikel.

METHODIEK
Playbook Partnerships for Regional Innovation

Een playbook met als doel de coördinatie en richting van regionaal, nationaal en Europees innovatiebeleid te verbeteren om de groene en digitale transities van Europa te implementeren en de innovatiekloof in de EU aan te pakken.