Preventief werken levert een vreemd soort opbrengst op: een probleem dat er niet is. Geen escalatie, geen crisisplaatsing, geen huisuitzetting, geen dossier. Precies daar begint het meetprobleem. Bij curatieve hulp kun je laten zien wat er beter is geworden. Bij preventie moet je iets aantonen wat níét gebeurd is, en dat laat zich niet aflezen uit een registratiesysteem.
Dat is geen theoretische kwestie. Het bepaalt of een aanpak de volgende begrotingsronde overleeft. In het cluster over vroegsignalering en preventie lees je hoe je vroege signalen omzet in tijdig contact. Dit artikel gaat over de vraag die daar altijd op volgt: hoe toon je aan dat het werkt, als het bewijs bestaat uit iets wat uitbleef?
Waarom preventief werken om een ander soort bewijs vraagt
Bij hulp achteraf is de meetlogica overzichtelijk. Iemand meldt zich, doorloopt een traject en aan het eind kijk je of de situatie beter is. Er is een startpunt, een eindpunt en een duidelijke groep mensen om te volgen. Bij preventie ontbreken die aanknopingspunten. De doelgroep is soms een hele wijk, het effect is een verschil met een scenario dat nooit heeft plaatsgevonden, en de mensen bij wie het goed ging melden zich per definitie nergens.
Daar komen drie eigenschappen bij die preventie kwetsbaar maken in de besluitvorming. De effecten worden pas later zichtbaar, vaak jaren na de investering. Ze zijn moeilijk toe te schrijven aan één interventie, omdat er altijd meer tegelijk speelt. En ze vallen regelmatig bij een andere partij dan degene die de kosten maakt. Een gemeente investeert, terwijl de besparing landt bij een zorgverzekeraar, een werkgever of een woningcorporatie.
Het gevolg kennen de meeste beleidsmakers uit ervaring. Bezuinigen op preventie voelt op de korte termijn pijnloos, omdat niemand er direct last van heeft. Bezuinigen op directe hulp levert meteen wachtlijsten en boze telefoontjes op. Daar komt de preventieparadox nog overheen: hoe beter preventie werkt, hoe kleiner het zichtbare probleem wordt, en hoe makkelijker de vraag ontstaat waarom er zoveel geld naartoe gaat. In de preventieparadox werken we dat mechanisme verder uit.
Er is één domein waar preventie wél structureel is ingebed, en dat is niet toevallig. Bij verkeersveiligheid is de uitkomstmaat invoelbaar en breed gedeeld, is er een duidelijke relatie tussen maatregel en effect, zijn er heldere meetmomenten voor en na een ingreep, en kent bijna iedereen wel iemand die het aangaat. Niemand vraagt of een rotonde zich terugverdient. De les is niet dat verkeer eenvoudiger is dan het sociaal domein, maar dat zichtbaarheid iets is wat je organiseert.
Het nulalternatief: het scenario waarin je niets extra doet
Elke uitspraak over een preventie-effect is in de kern een vergelijking. Je zet de werkelijkheid met interventie af tegen de werkelijkheid zonder interventie. Dat tweede scenario heet het nulalternatief, en het bestaat alleen op papier. Toch is het het belangrijkste onderdeel van je meting. Zonder expliciet nulalternatief weet je niet wat je effect eigenlijk is, en kun je elke uitkomst uitleggen zoals het je uitkomt.
De meest gemaakte fout is het nulalternatief invullen als “er gebeurt niets”. Dat klopt bijna nooit. Er is al beleid, er zijn al voorzieningen, er is al een sociale basis en er is een autonome ontwikkeling in de doelgroep. Het nulalternatief is dus: het huidige beleid ongewijzigd voortzetten, inclusief de trend die zich dan naar verwachting voordoet. Wie dat vergeet, schrijft de hele bestaande inzet aan zichzelf toe.
Aannemelijk maken doe je met meerdere bronnen tegelijk. Historische reeksen uit je eigen registraties laten zien welke kant het opging voordat je begon. Landelijke en regionale cijfers laten zien wat er in vergelijkbare gebieden gebeurt. Literatuur en eerdere effectmetingen geven een indicatie van de verwachte ontwikkeling zonder ingreep. Professionals en ervaringsdeskundigen kunnen inschatten wat er met deze groep gebeurt als er niets verandert. Geen van die bronnen is op zichzelf sluitend, samen vormen ze een verdedigbaar beeld.
Werk daarbij met een bandbreedte in plaats van één getal, en wees expliciet over wat je aanneemt. Een nulalternatief van “tussen de 15 en 25 huishoudens zou dit jaar alsnog in een schuldregeling zijn beland” is bruikbaarder en eerlijker dan een schijnprecieze 19. En leg het vast voordat de interventie start. Een nulalternatief dat achteraf wordt bepaald, wordt onvermijdelijk het scenario dat het mooiste resultaat oplevert.
Waarom een controlegroep vaak niet kan of niet mag
In de zorg geldt de gerandomiseerde studie als gouden standaard. Je verdeelt mensen willekeurig over een groep die de interventie krijgt en een groep die dat niet krijgt, sluit verstoringen zoveel mogelijk uit en meet het verschil. Waar dat kan, is het de sterkste vorm van bewijs die er is. Instanties die met grote databestanden werken, zetten dit soort opzetten met succes in om vast te stellen of een preventieve aanpak werkt.
In het sociaal domein liggen de kaarten meestal anders. Preventieprojecten richten zich vaak op twintig tot dertig mensen en lopen zes tot twaalf maanden. Deelname is bijna nooit willekeurig: mensen komen via een verwijzer, een wijkteam of hun eigen initiatief binnen, en dat zijn precies de mensen die al iets in beweging hebben gezet. Een vergelijkbare groep aanwijzen is lastig, en met zulke aantallen wordt vrijwel geen enkel verschil statistisch hard.
Daarnaast is er een bezwaar dat zwaarder weegt dan de statistiek. Je onthoudt bewust hulp aan mensen die je kunt helpen. Bij een gezin met kinderen, een oplopende huurachterstand of een dreigende afsluiting is dat niet uit te leggen, en terecht. Professionals houden zich er in de praktijk ook niet aan. Ze wijzen mensen uit de controlegroep alsnog de weg, wat menselijk verstandig is en methodologisch fataal.
Een adviescommissie over passend bewijs voor preventie, ingesteld in opdracht van het ministerie van VWS, kwam tot dezelfde conclusie: gerandomiseerd onderzoek is lang niet altijd haalbaar en er is behoefte aan een richtlijn die past bij de praktijk. Dat is geen vrijbrief om de lat te verlagen. Het betekent dat je een ander type bewijs opbouwt, en dat je even streng bent op de kwaliteit daarvan.
“Bij preventie meet je niet wat er gebeurde, maar wat er uitbleef. Dat vraagt om een ander soort bewijs, niet om minder bewijs.”
De verandertheorie als ruggengraat onder je meting
Als je het eindeffect niet direct kunt meten, moet je de weg ernaartoe meten. Daarvoor heb je een expliciete verandertheorie nodig: een uitgeschreven redenering over hoe en waarom jouw inzet tot maatschappelijke verandering leidt. De keten loopt van middelen naar activiteiten, van activiteiten naar directe resultaten, van resultaten naar veranderingen bij de doelgroep, en van daar naar het bredere maatschappelijke effect.
De waarde zit niet in het schema, maar in de aannames die je onderweg moet opschrijven. Waarom zou dit werken? Voor wie wel en voor wie niet? Onder welke voorwaarden? Welke externe factoren kunnen het effect maken of breken? En waar houdt jouw invloed op, zodat je niet verantwoordelijk wordt gehouden voor uitkomsten waar je niets over te zeggen hebt? Die grens expliciet trekken voorkomt een hoop discussie achteraf.
Vanuit die keten leid je je indicatoren af. De valkuil is meten op het niveau van output: aantallen deelnemers, gevoerde gesprekken, georganiseerde bijeenkomsten. Dat zegt iets over inspanning en niets over verandering. Je wilt meten op de tussenliggende uitkomsten waar jouw redenering op steunt. Bij coaching gericht op perspectief zijn dat bijvoorbeeld structuur in de week, deelname aan werk of opleiding en het aantal mensen op wie iemand kan terugvallen. Meer over deze denklijn lees je in de beleidstheorie achter elke interventie.
Het type preventie bepaalt hoe ver je in die keten realistisch kunt meten. Bij secundaire en tertiaire preventie is de doelgroep bekend en zijn er al beginnende problemen, dus kun je vrij direct vaststellen of die problemen zijn afgenomen of niet zijn teruggekeerd. Bij primaire preventie zitten er meer schakels tussen en spelen jaren een rol. Dan wordt het bewijs indirecter, en heb je een methode nodig die daar eerlijk over is.
De autopsiebenadering: van patronen in dossiers naar een voor- en nameting
De autopsiebenadering draait de vraag om. In plaats van te bewijzen wat er níét is gebeurd, analyseer je de gevallen waarin het wél is misgegaan. Je kijkt terug op mensen die uiteindelijk in de zwaarste categorie terechtkwamen en reconstrueert het pad ernaartoe. Welke signalen waren er? In welke volgorde? Waar was er ruimte geweest om eerder in te grijpen?
Bij één casus levert dat een verhaal op. Bij tientallen casussen levert het een patroon op. In dossiers van jongeren die in de criminaliteit belandden duiken vaak dezelfde elementen op: schooluitval en oplopend verzuim, een instabiele thuissituatie, schulden, wisselende woonadressen en het wegvallen van begeleiding. Bij huishoudens die hun woning verloren zie je vaak een reeks van kleine achterstanden, gemiste afspraken en zorgmijding voorafgaand aan de ontruiming. Die terugkerende elementen vertaal je naar een set risico-indicatoren.
Die indicatoren worden vervolgens je meetsysteem. Je legt bij de start van de interventie vast hoe de deelnemers scoren op het risicoprofiel, en aan het eind doe je dat opnieuw. Nemen de risico-indicatoren aantoonbaar af, dan heb je sterk indirect bewijs dat je preventief werkt. Je meet dan niet het probleem dat uitblijft, maar het doorbreken van de route ernaartoe. Dat is precies wat er te meten valt, en het is meer dan een aanname.
Wees eerlijk over wat deze methode wel en niet is. Het is geen sluitend wetenschappelijk bewijs en het pretendeert dat ook niet te zijn. Het is een onderbouwde verschuiving van “niet aantoonbaar” naar “hoogstwaarschijnlijk effectief”, waarmee een bestuurder een verdedigbare keuze kan maken. Vaak is het bovendien de opmaat naar meer: als het profiel afneemt, is dat de aanleiding om een grotere groep langer te volgen. Hoe dat er in de praktijk uitziet, beschrijven we in de autopsiebenadering bij schuldpreventie.
Vergelijken zonder controlegroep: wijken, wachtenden en de tijd
Je hebt geen loting nodig om te kunnen vergelijken. In de praktijk liggen er vaak natuurlijke vergelijkingen klaar, alleen worden ze zelden bewust benut. De kunst is om vooraf te bedenken welke vergelijking je gaat maken, in plaats van achteraf te zoeken naar een cijfer dat er goed uitziet.
De eerste is de vergelijking tussen gebieden. Je start in één wijk en houdt een vergelijkbare wijk als spiegel. Dat werkt alleen als de profielen echt vergelijkbaar zijn op de kenmerken die ertoe doen: leeftijdsopbouw, inkomensniveau, woningvoorraad, verhuisdynamiek en het bestaande voorzieningenaanbod. Zijn ze dat niet, dan meet je bevolkingssamenstelling in plaats van beleid. Beschrijf die verschillen vooraf en corrigeer ervoor, of kies een andere spiegel.
De tweede is de vergelijking tussen wachtenden. Vrijwel elke aanpak start gefaseerd, omdat capaciteit nu eenmaal beperkt is. Wie later aan de beurt is, vormt een natuurlijke vergelijkingsgroep zonder dat je iemand bewust hulp onthoudt. Je onthoudt niets, je maakt de volgorde die er toch al was expliciet en meet op twee momenten. Dit is vaak de sterkste opzet die in het sociaal domein realistisch haalbaar is, en hij vraagt vooral om een tijdige afspraak met de uitvoering.
De derde is de vergelijking over de tijd. Zet je eigen registraties in een meerjarige reeks en kijk of er een trendbreuk zichtbaar is na de start. Vergelijk opeenvolgende jaargangen van dezelfde doelgroep, bijvoorbeeld iedereen die achttien werd in een bepaald jaar. En leg je eigen ontwikkeling naast de landelijke, zodat je conjunctuur en landelijk beleid eruit filtert. Losse vergelijkingen zijn zwak, maar wijzen ze allemaal dezelfde kant op, dan wordt het geheel overtuigend. Diezelfde logica gebruiken we bij het meten van de effectiviteit van schuldhulpverlening.
Naast de cijfers: de merkbare kant zichtbaar maken
Cijfers laten zien dát er iets verandert. Ze verklaren zelden hoe en waarom. Effecten als opluchting, herwonnen zelfvertrouwen, minder schaamte of het gevoel weer regie te hebben laten zich niet in een spreadsheet vangen, terwijl juist die ervaringen bepalen of een interventie beklijft. Wie alleen op indicatoren stuurt, mist het deel van het verhaal dat de uitkomst verklaart.
Bij preventie is dat extra belangrijk, omdat de groepen klein zijn en de problematiek complex. Bij vijfentwintig deelnemers heeft statistiek weinig zin, maar vijfentwintig zorgvuldig opgehaalde verhalen leveren wel degelijk patronen op. Ze laten zien voor wie de aanpak werkt, onder welke omstandigheden, en waar hij botst met de leefwereld van mensen. Dat is precies de informatie die je nodig hebt om bij te sturen.
Er zijn veel manieren om die verhalen op te halen. Korte gesprekken in de wijk geven snel zicht op wat er speelt, diepte-interviews geven ruimte voor nuance, focusgroepen maken gedeelde patronen zichtbaar en bij participatory video leggen deelnemers hun eigen ervaring vast. Waar het analyseren van al dat materiaal vroeger weken kostte, maken technieken als automatische thema-herkenning het inmiddels haalbaar om grote hoeveelheden verhalen consistent te doorzoeken.
De terugkoppeling verdient net zoveel aandacht als de analyse. Verhalen komen tot leven in beeld en geluid, in kaarten die ervaringen aan plekken of momenten koppelen, en in dashboards waarin cijfers en citaten elkaar versterken. Het kan ook andersom: bij een micro-analyse van individuele casussen vormt het verhaal het vertrekpunt, waarna je er maatschappelijke kosten en baten aan koppelt. Zo geven cijfers betekenis aan verhalen en verhalen betekenis aan cijfers.
Het toerekeningsprobleem: welk deel van het effect is van jou?
Stel dat de risico-indicatoren netjes zijn gedaald en de verhalen positief zijn. Dan komt onvermijdelijk de vraag die elke controller stelt: hoe weet je dat dit door jullie komt? In een wijk gebeuren tientallen dingen tegelijk. Er is een nieuwe aanpak van de woningcorporatie, de economie trekt aan, een school heeft een verzuimcoach aangesteld en de energieprijzen dalen. Het toerekeningsprobleem is geen detail, het bepaalt de geloofwaardigheid van je hele meting.
In een zorgvuldige berekening corrigeer je daarom op drie punten. Attributie gaat over de vraag welk deel van het effect echt door jouw inzet komt en welk deel door anderen. Deadweight gaat over wat er ook zonder jouw interventie zou zijn gebeurd, en sluit direct aan op je nulalternatief. Verplaatsing gaat over de vraag of je het probleem niet gewoon verschuift, bijvoorbeeld naar een andere wijk, een ander loket of een later moment.
Praktisch pak je dat aan door het niet zelf te verzinnen. Vraag deelnemers en professionals expliciet welk deel van de verandering zij aan de interventie toeschrijven en wat er zonder die inzet zou zijn gebeurd. Reken meerdere scenario’s door met een voorzichtige en een optimistische aanname. Vermeld de correcties zichtbaar in je rapportage. Een maatschappelijk rendement dat zonder deze correcties tot stand komt, is geen onderbouwing maar een verkoopcijfer, en het valt bij de eerste kritische vraag om.
Monetariseren blijft daarbij een middel en geen doel. Het vertalen van effecten naar euro’s helpt vooral om zichtbaar te maken waar de baten landen, want de partij die investeert is zelden de partij die profiteert. Juist dat inzicht maakt het gesprek over gedeelde financiering mogelijk. Hoe die vertaalslag werkt, staat uitgewerkt in de uitleg over de maatschappelijke kosten-batenanalyse.
Van verantwoorden naar bijsturen
De meeste effectmetingen eindigen als rapport en beginnen nooit als sturingsinstrument. Dat is zonde, want de grootste waarde zit niet in het verantwoorden achteraf maar in het verbeteren onderweg. Een gestructureerd duidingsgesprek helpt daarbij: herken je de uitkomsten, begrijp je welke mechanismen erachter zitten, wat betekenen ze in verhouding tot je doelen, en welke aanpassing volgt eruit? Zonder die vier stappen belandt het rapport in een la.
Dat vraagt om cyclisch meten in plaats van één meting aan het eind. Een monitor werkt als cockpit: je volgt een beperkte set indicatoren die direct uit je verandertheorie komt, en ziet afwijkingen op het moment dat je er nog iets aan kunt doen. Verschillende rollen hebben daarbij verschillende informatie nodig. Een bestuurder stuurt op een handvol kernindicatoren, een coördinator op trends en knelpunten, de uitvoering op instroom, doorlooptijden en bereik. Maak die niveaus expliciet, anders wordt een dashboard óf te abstract voor de praktijk óf te gedetailleerd voor het bestuur.
Duiding voorkomt bovendien verkeerde conclusies. Een dalend bereik ziet er in een grafiek uit als falen, maar kan net zo goed het gevolg zijn van een scherpere doelgroepselectie. Een stijgend aantal meldingen kan wijzen op een groter probleem of juist op een aanpak die eindelijk wordt gevonden. Cijfers zonder de signalen van professionals en deelnemers erbij leiden regelmatig tot precies de verkeerde beslissing.
Het sluitstuk is de bereidheid om te handelen naar wat je vindt. Dat betekent doorpakken op wat aantoonbaar werkt en het structureel inbedden in plaats van het opnieuw als pilot te financieren. En het betekent durven stoppen met wat niet oplevert wat je hoopte. Niet omdat het slecht bedoeld was, maar omdat de middelen te schaars zijn om ze te laten weglekken. Wie hierbij een onafhankelijke blik wil, kan terecht bij onze dienst impactmeting en effectonderzoek.
Van niet aantoonbaar naar hoogstwaarschijnlijk effectief
Preventie-effecten meten is geen kwestie van harder zoeken naar het ene cijfer dat alles bewijst. Het is een kwestie van een aannemelijke redenering opbouwen en die van meerdere kanten onderbouwen. Een expliciet nulalternatief, een uitgeschreven verandertheorie, risico-indicatoren die uit echte casuïstiek komen, een voor- en nameting, een eerlijke vergelijking en een correctie voor wat niet van jou is. Elk onderdeel afzonderlijk is bescheiden. Samen vormen ze een verhaal waar een raad of een bestuur iets mee kan.
Daar hoort de merkbare kant onlosmakelijk bij. Cijfers overtuigen het hoofd, verhalen maken invoelbaar waarom het ertoe doet. Juist bij preventie, waar de winst onzichtbaar is en de kosten zichtbaar, bepaalt die combinatie of een aanpak de volgende bezuinigingsronde haalt. Anders denken, anders doen: niet meer meten, maar beter laten zien wat er op het spel staat.
“Preventie hoeft geen kwestie van vertrouwen of hoop te zijn. Met de juiste opzet wordt het een kwestie van onderbouwde waarschijnlijkheid.”
Wil je een preventieve aanpak zo inrichten dat je er later iets zinnigs over kunt zeggen, begin dan bij het begin en niet bij de evaluatie. Bepaal vooraf wat je meet, waartegen je het afzet en wie welke informatie nodig heeft om te kunnen bijsturen. Als adviesbureau voor gemeenten denken we daar graag in mee, van de eerste verandertheorie tot de monitor die daadwerkelijk gebruikt wordt.
Veelgestelde vragen
Hoe meet je het effect van preventie als het probleem juist uitblijft?
Je meet niet het uitgebleven probleem zelf, maar de weg ernaartoe. Via een verandertheorie bepaal je welke tussenliggende uitkomsten moeten veranderen, en die volg je met een voor- en nameting. Daarnaast zet je de uitkomst af tegen een expliciet nulalternatief, zodat duidelijk is wat er zonder jouw inzet naar verwachting was gebeurd.
Wat is het nulalternatief en waarom is het zo belangrijk?
Het nulalternatief is het scenario waarin je het huidige beleid ongewijzigd voortzet, inclusief de trend die zich dan voordoet. Het is geen lege situatie waarin niets gebeurt. Zonder dit referentiepunt kun je geen effect berekenen, want elk preventie-effect is een verschil met dat scenario. Leg het vooraf vast, met een bandbreedte en zichtbare aannames.
Kun je preventie meten zonder controlegroep?
Ja, en meestal moet het ook zonder. Preventieprojecten zijn vaak te klein en te kort voor gerandomiseerd onderzoek, en hulp bewust onthouden is zelden verdedigbaar. Er zijn goede alternatieven: vergelijken met een wijk met een vergelijkbaar profiel, met mensen die later aan de beurt zijn, of met je eigen registraties over meerdere jaren.
Wat houdt de autopsiebenadering in?
Bij de autopsiebenadering analyseer je achteraf de casussen waarin het is misgegaan, om te zien welke signalen structureel aan escalatie voorafgingen. Die signalen vertaal je naar risico-indicatoren. Vervolgens meet je bij de start en aan het eind van je interventie of juist die indicatoren afnemen. Dat levert sterk indirect bewijs op dat je preventief werkt.
Hoe combineer je cijfers met verhalen in een effectmeting?
Cijfers laten zien dát er iets verandert, verhalen verklaren hoe en waarom. Haal ervaringen op met korte gesprekken, diepte-interviews of focusgroepen en zoek daarin naar terugkerende patronen. Presenteer beide naast elkaar, bijvoorbeeld in een dashboard waarin indicatoren en citaten elkaar versterken. Bij kleine groepen is dat vaak het enige eerlijke complete beeld.
Hoe voorkom je dat preventie sneuvelt bij de eerste bezuinigingsronde?
Door de opbrengst zichtbaar te maken voordat er bezuinigd moet worden. Bouw vanaf dag één een meetsysteem in, spreek af welke indicatoren wanneer worden besproken en met welke actie, en maak inzichtelijk waar de baten landen. Beloof geen besparing die je niet kunt aantonen, maar wel een risicoprofiel, meetbare tussenresultaten en een eerlijk verhaal over wat je weet en niet weet.
