Van evidence-based naar science-based?

Wetenschappelijk principe 1: complexiteit
Een eerste leerpunt uit de wetenschap is de liefdevolle relatie tot complexiteit. Waar dit begrip in de menselijke natuur vaak negatieve associaties oproept, wordt complexiteit in de wetenschap juist omarmd. Wanneer je probeert een complex vraagstuk te verpakken in een louter kwantitatief en meetbaar resultaat loop je het risico op versimpeling. Hieruit volgt bijvoorbeeld de vraag of je de beoordeling van iemands capaciteiten (een bijzonder ingewikkeld en veelzijdige opgave) wel kan verpakken in een meetbaar concept zoals een cijfer? Ook kan zo’n versimpeling leiden tot een te sterke fixatie op het te behalen resultaat, met een doel-middelverwarring tot gevolg. In plaats van een bepaald doel na te streven, verandert het middel dat het doel beoogt te meten in het doel zelf. Denk bijvoorbeeld aan leerlingen en docenten die hun leer- en lesgeefstrategie aanpassen op de tentamenvragen in plaats van op de te leren lesdoelen: teaching to the test. 

Wetenschappelijk principe 2: onzekerheid
Ten tweede kunnen we leren van de manier waarop wetenschap omgaat met onzekerheid. Onzekerheid (het niet zeker weten) is een gegeven waar veel mensen moeite mee hebben en een moeilijk te verkopen verwachting als beleidsmaker. Hieruit is de focus op evidence-based en meetbare methodes, beleid en resultaten goed te verklaren. Het is echter ijdele hoop om blind te varen op een valse zekerheid, zoals eerder behaalde resultaten. Ook hier biedt de wetenschap raad, omdat zij juist bestaat bij de gratie van onzekerheid en het toetsen van hypotheses. Iets afdoen als een zekerheid of als een definitieve waarheid laat namelijk geen ruimte voor verbetering en nieuwe bevindingen. 

Wetenschappelijk principe 3: causaliteit
Een derde wetenschappelijk principe is de zoektocht naar causaliteit. De wetenschap doet als geen andere sector grote moeite om zaken te bewijzen. Hierdoor wordt er erg voorzichtig omgegaan met oorzaak-gevolgrelaties. Er wordt expliciet gezocht naar meerdere en alternatieve oorzaken die gezamenlijk een verklaring voor een fenomeen kunnen geven. Dit gaat tegen de natuur in om één oorzaak voor één probleem te willen aanwijzen. Helaas bestaan dit soort lineaire relaties nauwelijks in complexe maatschappelijke vraagstukken. Door niet bewust te zijn van de spanningen rondom causaliteit ligt een te sterke versimpeling, of zelfs een verstoorde perceptie van de werkelijkheid op de loer. 

Van papier naar de praktijk

Het is een utopische gedachte dat het makkelijk is om je deze lessen toe te eigenen. De dagelijkse praktijk houdt zich niet aan de wetten van het laboratorium. Iedereen, van beleidsmaker tot professional, wordt beïnvloed door pragmatisme, de politieke arena, organisatiecultuur en stapels werk. Toch zie ik wel degelijk kansen om hier mee om te gaan. Bewustwording van deze wetenschappelijke waarden en cognitieve tools zou al een mooie eerste stap zijn. Door je bewust te zijn van je eigen cognitieve valkuilen kun je leren van je eigen handelen. Denk aan de complexiteit van oorzaak-gevolg- en doel-middelrelaties. Denk aan de voordelen, maar ook aan de gevaren van versimpeling. En denk aan de waarde die complexiteit en onzekerheid te bieden hebben, want doen alsof die niet bestaan, is je verschuilen achter een schijnwerkelijkheid. 

Failing forward

Een praktische manier om naar dit gedachtegoed te handelen is gelukkig ook te vinden in de kern van de wetenschap: experimenteren. Experimenteren impliceert dat je je eigen assumpties test en continu op zoek gaat naar verbetering. Deze onderliggende houding wordt in hedendaags beleid natuurlijk ook gedeeld, maar vaak op een verkeerde schaal. Denk aan het direct landelijk uitrollen van een beleidsmaatregel of de onmogelijkheid om gedurende de uitvoer van beleid aanpassingen te doen. Hiermee wordt voorbijgegaan aan de complexiteit en het voortschrijdend inzicht die de tijd met zich meebrengt.

Experimenteren betekent namelijk ook kleine stappen zetten, continu je experimenten uitbreiden en leren van je fouten. Dit lijkt contra-intuïtief; maatschappelijk ligt de nadruk immers op het benoemen van grote doelen (bijvoorbeeld in de politiek) en we leven in een cultuur waar het maken van fouten als iets negatiefs wordt gezien. Tegelijkertijd weet iedereen uit eigen ervaring dat het maken van fouten een belangrijk onderdeel van een leerproces is. Waarom rust er dan een taboe op? Een term die het leren van fouten mooi weergeeft is failing forward:

“The only way to improve a complex system is to probe its limits by forcing it to fail in various ways.”

Structureel experimenteren

Ook dit is op papier makkelijker dan in de praktijk. Toch is het mogelijk met deze lessen aan de slag te gaan. Vorige week sprak ik met een schoolbestuur dat het experiment heeft omarmd in hun zoektocht naar actieve betrokkenheid van hun personeel ten behoeve van beter onderwijs. Het uitspreken en communiceren van dit doel bevat al veel waarde en biedt helderheid rondom de middel-doelverwarring die ik eerder beschreef. Via een speciaal fonds heeft ieder personeelslid een vast bedrag tot zijn beschikking om te spenderen aan een goed idee van een andere collega. Iedereen mag iets indienen. Dit is al een experiment op zichzelf, waar een aantal interessante ideeën uit naar voren kwam. Toch vroeg het bestuur zich af hoe ze deze lijn konden doortrekken naar een structureler niveau. Zij proberen de energie vast te houden en personeelsleden ook in een eerder stadium bij andere belangrijke beslissingen te betrekken via methoden en lessen uit hun eerdere experiment met het fonds. Structureel experimenteren dus, mét alle betrokkenen.

De komende periode zal uitwijzen of deze werkwijze voor hun schoolsituatie effectief is. Als dat zo is, hoeft dit niet te betekenen dat het ergens anders ook werkt. Juist in complexe situaties is de context heel belangrijk. Dit maakt de term evidence-based in maatschappelijke vraagstukken ook zo misleidend. Het impliceert een bepaalde zekere uitkomst, terwijl de gewenste uitkomst in dit soort taaie vraagstukken (zoals het onderwijs) niet vaststaat en juist samenhangt met de diversiteit van de stakeholders. ‘Beleid uitrollen’ is daarom een term die wat mij betreft een verkeerd signaal afgeeft omdat het een (valse) zekerheid impliceert.

Ik daag iedereen uit om zich als een wetenschapper te gedragen!

Jos van Kuik