Met enige regelmaat loopt het debat over sociale innovatie hopeloos achter de feiten aan. Maar terwijl het veld van sociale innovatie nog in de kinderschoenen staat, is er in de ontwikkelingssamenwerking al meer dan vijf decennia geëxperimenteerd met innovatieve interventies. En dus ook met evaluatiemethoden om de impact ervan te meten. Juist het debat dat daar over evaluaties woedt, zou ons moeten leren dat evaluatiemethoden zeker niet onomstreden zijn. Ik pleit er dan ook voor dat het veld van sociale innovatie eens iets vaker kijkt naar frontrunners in het veld van de ontwikkelingssamenwerking. Bijvoorbeeld als het gaat over het ontwikkelen van nieuwe evaluatiemodellen.
Complexe vernieuwingsprocessen vergen nieuwe manier van evalueren
Er bestaat in het veld van sociale innovatie een noodzaak om de huidige, traditionele evaluatiemodellen te herzien. Traditionele evaluatiemethoden gaan uit van a priori (door de financier) vastgestelde doelstellingen die op een objectieve manier, van buitenaf en regelmatig kunnen worden gemeten. Traditionele vragen zijn: ‘Boekt het programma vooruitgang?’ en achteraf: ‘Werkte het programma?’. Deze manier van evalueren is onbruikbaar, schadelijk en contraproductief voor innovatietrajecten in complexe, sociale contexten.
Waarom? Ten eerste strookt de methode om vooraf een oplossing te bedenken, en deze in een logisch stappenplan uit te voeren, niet met de werkelijke context. Sociale innovaties zoeken oplossingen voor complexe problemen. Complexe problemen bestaan uit vele, onderling afhankelijke variabelen en worden gekenmerkt door turbulentie, reactiviteit en wispelturigheid. Hierdoor is de weg naar een resultaat vaak lang en onvoorspelbaar, is het moeilijk om specifieke resultaten te produceren binnen een vooraf bepaalde tijd en hebben sociale vernieuwers niet genoeg controle over de volledige omvang van factoren en spelers om de resultaten vooraf te orkestreren. Neem bijvoorbeeld een taai probleem als de economische crisis. Het is ons duidelijk dat er iets verandert moet worden maar niet precies hoe dat moet gebeuren, en wat er uit zal komen. Zodra er in dit probleem aan een knopje wordt gedraaid, treden er veel zichtbare, maar ook veel onzichtbare mechanismen in werking.
Ten tweede verhult een dergelijke manier van evalueren dominante machtsverhoudingen. Achter de doelstellingen van projectfinanciering en evaluaties ligt een wereld aan opvattingen en waardestelsels over wat een ‘goede’ verandering zou moeten zijn voor een bepaalde groep mensen, en hoe die zou kunnen plaatsvinden. Zo ontstaat ook een dominant idee over wat als een ‘goed bewijs’ geldt om aan te tonen of een interventie heeft gewerkt of gefaald door ze te vertalen naar een evaluatie. Even een simpel voorbeeld. In een tender van een financier kan staan: ‘Het project moet democratisering in land X bevorderen’. Vervolgens staat er in een projectaanvraag van een organisatie: ‘alle mensen in land X hebben recht op eerlijke verkiezingen want dat is belangrijk voor het bevorderen van democratisering. Als aan het einde van het project minimaal 100 meldingen van ongeregeldheden in ons nieuwe mobiele systeem zijn gemeld, wordt het doel van het project bereikt’. Nadat het project is uitgevoerd wordt de checklist nagegaan en afgestreept. Deze dynamiek creëert een schadelijke paradox. Ten eerste moet bij sociale innovatie de waarden en ideeën van de innovator centraal kunnen staan. Als in land X de mensen zelf anders denken over democratische grondbeginselen, of de prioritering daarvan (misschien willen ze liever eerst een huis), dan beïnvloedt de financier bepaalde ontwikkelingen. Ten tweede kunnen de resultaten van een evaluatie op deze manier een vertekend beeld creëren van de werkelijkheid. Er zullen misschien wel 100 meldingen gemaakt worden, maar dat zegt uiteindelijk weinig over hoe dat is gebeurd, of het gegeven daadwerkelijk bijdraagt aan de democratisering van een land. Maar vooral zegt zo een benadering niets over wat er in dezelfde periode allemaal niet is gebeurd, of anders is aangepakt. Hierdoor wordt er waardevolle informatie gemist.
Ten derde weegt naast bovengenoemde bezwaren ook nog een ander belang. In een proces van sociale innovatie mag een evaluatiemethode niet alleen kennis ‘halen’. Idealiter is de praktijk van evalueren zelf ook een manier om tot verandering te komen. Het investeren in evalueren moet waarde opleveren voor de betrokkenen zelf. De financiersvraag ‘Heeft het gewerkt?’ mag niet alleen centraal staan. Een evaluatiemethode moet inzicht kunnen bieden in andere vragen zoals: ‘Hoe, wanneer, waarom en voor wie werkt een interventie?’. Op deze manier snijdt het mes aan twee kanten en stimuleert de evaluatiemethode het evaluerend en lerend vermogen van pioniers in het veld, en verbetert het programmadesign van organisaties gedurende het innovatieproces.
Ontwikkelingswerk is frontrunner in ontwikkeling van evaluatiemethoden
De ontwikkelingssamenwerking kent een lange geschiedenis van discussies, protocollen en besluitvorming die zich richten op betrouwbare gegevens en sluitend bewijs zodat de investeerder waar krijgt voor zijn geld in de strijd tegen armoede. De drang om de juiste keuzes te nemen in deze tijd van economische crisis neemt zelfs bedenkelijke vormen aan.
Zo verplicht het Britse Departement voor Internationale Ontwikkeling (DFID) haar begunstigden zelfs om vijf procent van toegewezen budgetten te besteden aan het salaris van een door DFID aangestelde evaluatieambtenaar, die ook nog eens in het kantoor van de begunstigde gestationeerd moet worden.
Dat gaat ver. Zo ver dat de nood hoog is om op hoog niveau over deze schadelijke dynamiek te discussiëren, zoals op de aanstaande conferentie ‘The Big Push Forward’ in Sussex. Het thema van deze conferentie is ‘de politiek van het bewijs’. Er worden rake vragen gesteld als: ‘Hoe zijn machtsstructuren geassocieerd met het soort evaluatievragen die worden gesteld’, en ‘hoe beïnvloeden kennisaannames de vormgeving van evaluatiebenaderingen?’.
Maar de urgentie is ook hoog om letterlijk met nieuwe vormen te experimenteren om de ontwikkeling van creatieve, dynamische evaluatiemethoden en -tools te stimuleren. Zo staat Michael Patton aan de wieg van de nieuwe methode developmental evaluation (DE). DE onderscheidt zich met een aantal nieuwe invalshoeken van formatief (procesbeoordelend) en summatief (achteraf) toetsen. Door het gebruik van de complexiteitstheorie voor analyseren van gegevens en het genereren van inzichten, een wendbaar evaluatiedesign dat leren inherent maakt aan het proces, en een evaluator in het veld in plaats van daarbuiten is deze vorm van evalueren beter geschikt om zich aan te passen in snelveranderende situaties. De methode is slechts recent opgepakt als mogelijke methode om sociale innovatie te evalueren (zie hier het rapport van Foundation Strategy Group).
Een andere evaluatiemethode met potentie voor het veld van sociale innovatie is de narratieve analyse van verhalenvertellerij door middel van de ICT-tool SenseMaker. De Rockefeller Foundation financiert momenteel een experiment met NGO Global Giving om de potentie van deze tool voor voornamelijk kleine NGO’s in ontwikkelingslanden te onderzoeken. De tool zorgt ervoor dat NGO’s ter plekke zelf en op een dynamische manier kunnen evalueren zodat zij snel hun eigen resultaten inzichtelijk kunnen maken. Dit vermindert de invloed en afhankelijkheid van langzaam geproduceerde, ondoordringbare rapporten van grote, buitenlandse NGO’s.
Sociale innovatie kan leren van bovengenoemde kennisdeling, methoden en tools uit de ontwikkelingssamenwerking. Toch nemen ook deze activiteiten nog steeds de definities en semantiek van de financier of programmadesigner als startpunt en beredeneren veel minder vanuit het perspectief van de innovator zelf. Verder laten deze manieren van evalueren niet zoveel los over hoe de methode het innovatief potentieel en het probleemoplossend vermogen van degenen die het werk in de modder staan te doen, vergroot.
Beter goed gejat dan slecht bedacht
Evaluatie is geen stok om projecten te bashen omwille van slechte resultaten, noch is het glinsterend lokaas om donoren mee te verleiden. Evaluatie is een essentieel instrument om tot verbetering en vernieuwing te komen. Organisaties die pretenderen sociaal te innoveren, doen er daarom goed aan om een evaluatieontwerp direct mee te nemen op het moment dat een nieuw initiatief ontstaat. Op die manier wordt optimaal recht gedaan aan de complexiteit van het veranderingsproces en creëert een evaluatiemethode waarde voor de veranderaar, de organisatie die het veranderproces faciliteert, en de financier.
Mijn tip: kijk regelmatig naar wat er in de ontwikkelingssector op dit gebied gebeurt. Immers de slimste organisaties zijn organisaties die bestaande en nieuwe informatie tot zich nemen en die informatie gebruiken om hun praktijken te verbeteren. Beter goed gejat dan slecht bedacht!
Kennisland ontwikkelt momenteel in het kader van het Europese onderzoeksconsortium ‘Emergence by Design’ een nieuwe evaluatiemethode en experimenteert hiermee in een project dat onderwijsvernieuwing stimuleert (Onderwijs Pioniers). De eerste concrete bevindingen worden dit jaar verwacht.
Marlieke Kieboom