28 sep Evalueren van VSV-projecten: waar kijken we naar?

De huidige vierjarige programmaperiode van de VSV-aanpak loopt af. Tijd dus om de gefinancierde projecten te evalueren. In vrijwel alle regio’s gaat het om veel verschillende interventies én doelgroepen, wat evaluatie extra complex maakt. De volgende vragen doen zich voor: tot welke effecten hebben de projecten geleid? Hoe wegen deze effecten op tegen de extra investeringen die zijn gedaan? Bij wie vallen de kosten en baten? En wat kunnen we hieruit leren voor de vervolgperiode? Hoe kunnen we dan de beschikbare middelen het beste verdelen? Veel evaluaties beperken zich echter tot gegevens over bereik en tevredenheid van de deelnemers. Daarmee zijn de genoemde (belangrijke!) vragen niet te beantwoorden. Hoe kan dit beter?

In dit artikel laten wij aan de hand van een uitgewerkt voorbeeld zien hoe de methodiek van een Maatschappelijke Kosten Baten Analyse (MKBA) kan helpen. Het levert een evaluatiesystematiek op die tegemoet komt aan de behoefte om meer te leren van de reeds uitgevoerde projecten, en die daarnaast recht doet aan de verscheidenheid aan doelgroepen en interventies. We starten met een korte uitleg van wat een MKBA is. Vervolgens lopen we de belangrijkste stappen langs: effectmeting en afweging van kosten en baten. Tot slot staan we stil bij het belang van leren en verbeteren, en hoe het MKBA denkraam daaraan kan bijdragen.

Wat is een MKBA?

Een MKBA brengt op systematische wijze alle voor- en nadelen van een interventie (hier: investeren in het voorkomen van voortijdig schoolverlaten) onder één noemer. Dat gebeurt door de effecten van de nieuwe werkwijze te vergelijken met de situatie waarin deze werkwijze niet ingevoerd zou worden. De baten van de extra maatregel(en) worden net als de kosten uitgedrukt in euro’s. Dit geldt ook voor zaken die niet direct een prijskaartje hebben, zoals kwaliteit van leven, overlast of je veilig voelen. Als de baten uiteindelijk groter zijn dan de kosten, dan zorgt het project of de maatregel voor een toename van de maatschappelijke welvaart.

Een MKBA is dus bij uitstek het geschikte instrument voor het beantwoorden van evaluatie- en afwegingsvragen. Een MKBA kijkt immers naar zowel financiële waarden, zoals voorkomen van maatschappelijke (zorg- en escalatie)kosten, als immateriële waarden, zoals kwaliteit van leven en ontwikkelingskansen. Daarnaast worden alle partijen betrokken in de analyse, dus niet alleen de partijen die participeren en investeren, maar ook overige partijen die mogelijk effect ondervinden en nadrukkelijk ook jongeren zelf.

Effectmeting

De eerste stap bij het beoordelen van een project is het in kaart brengen van de effectiviteit. Bij het voorkomen van voortijdige schoolverlaten is het aantal startkwalificaties een logische indicator. Het gaat daarbij om de nétto-effectiviteit, dus ten opzichte van het zogeheten nulalternatief, het aantal behaalde startkwalificaties in de situatie zónder extra interventie.

We illustreren dit aan de hand van een voorbeeld. Stel, we evalueren drie projecten gericht op het voorkomen van voortijdig schoolverlaten. Het eerste project behelst één uur per twee weken extra begeleiding, voor alle leerlingen op MBO-2 niveau (een ‘gemiddelde’ doelgroep, project A). Het tweede project is drie maanden extra ondersteuning in een plusvoorziening, voor MBO-2 leerlingen met een verhoogd risico op uitval, bijvoorbeeld door hun thuissituatie (project B). Het laatste project is een combinatie van zorg en onderwijs en richt zich op MBO-2 leerlingen die op het punt staan uit te vallen en die te maken hebben met complexe problematiek (project C).

Na verloop van tijd wordt gemeten hoeveel van de betrokken leerlingen uiteindelijk een startkwalificatie hebben behaald. Omwille van de vergelijkbaarheid rekenen we in alle drie de projecten met 100 leerlingen. De resultaten staan in figuur 1. Duidelijk is dat het aantal startkwalificaties onder deelnemers van project A (80 procent met startkwalificatie) en project B (eveneens 80 procent) na verloop van tijd fors hoger is dan van project C (50 procent).

Het belang van het nulalternatief

Maar door alleen te kijken naar het aantal behaalde startkwalificaties wordt geen recht gedaan aan de drie heel verschillende doelgroepen van deze interventies. Intuïtief lijkt het immers moeilijker om de leerlingen in project B en project C naar een startkwalificatie te begeleiden, dan de leerlingen in project A. Statistisch onderzoek laat zien dat dit klopt. De a-priori kans om een startkwalificatie te halen is voor leerlingen in een achterstandspositie (zoals bij project B) of met multiproblematiek (zoals in project C) lager dan voor een gemiddelde MBO-2 leerling. Dit noemen we het nulalternatief. De linkerkant van figuur 2 laat dit nulalternatief zien voor de drie projecten. Als we nu het gemeten effect vergelijken met het nulalternatief (rechts in figuur 2) zien we dat het aantal extra startkwalificaties als gevolg van project A nul is, in project B zes en in project C tien.

Afweging kosten en baten

Door rekening te houden met het nulalternatief kunnen we het netto-effect van de drie projecten met elkaar vergelijken. Zo zijn we al beter in staat om uitspraken te doen over het succes van ieder van de interventies. Echter, om een onderbouwd besluit te nemen over eventuele voortzetting hebben we ook informatie nodig over de kosten. Figuur 3 laat zien wat de kosten per leerling zijn voor de drie projecten.

Tot slot zetten we deze af tegen de maatschappelijke baten. Jongeren die mét in plaats van zonder startkwalificatie het schoolsysteem verlaten profiteren daar een heel leven van. Zij hebben meer kans op werk, een hoger loon en doen minder beroep op sociale voorzieningen, zoals uitkeringen, schuldhulpverlening en jeugdzorg. Uit onderzoek blijkt verder dat er een positief verband is tussen opleiding en mentale en fysieke gezondheid. En jongeren mét startkwalificatie hebben een aanzienlijk lager risico om in de criminaliteit terecht te komen. Voor leerlingen die uit een achterstandspositie komen geldt dit nog sterker dan gemiddeld. In een MKBA worden al deze baten gekwantificeerd en net als de kosten uitgedrukt in euro’s[1]. Dit geldt ook voor zaken die niet direct een prijskaartje hebben, zoals kwaliteit van leven of je veilig voelen. Figuur 3 brengt dan ook niet alleen de kosten, maar ook de bijbehorende baten van de extra startkwalificaties in beeld.

Methodiek draagt bij aan leren en verbeteren

De methodiek van de MKBA helpt dus bij het beantwoorden van de vraag of een project succesvol was en of de verwachte (maatschappelijke) baten opwegen tegen de extra investeringen. Maar dat is niet het belangrijkste – uiteindelijk gaat het niet om het getal onder de streep. De belangrijkste meerwaarde van de analyse zijn de handvatten die het geeft om te leren en te verbeteren. Het biedt inzicht in wat de sleutels zijn tot effectiviteit, randvoorwaarden voor succes, risico’s in de aanpak en de mogelijkheden tot optimaliseren. Het helpt te identificeren waarom een interventie wel of niet succesvol is, en draagt zo bij aan een leercyclus en het gesprek over en de overdracht van effectieve interventies.

Om dat te bereiken is het belangrijk om de analyse niet ‘achter het bureau’ te doen, maar samen met projectleiders en beleidsmakers. Niet alleen is dat de enige manier om het ‘verhaal achter de cijfers’ te leren kennen, maar er gaat ook een direct leereffect van uit. De betrokkenen leren met een andere, nieuw bril naar hun projecten kijken. Ze leren om van tevoren al na te denken over zaken als doelgroepen en het onderscheid tussen startkwalificaties en éxtra startkwalificaties. De samenwerking met zorg en re-integratie kan een extra impuls krijgen als duidelijk wordt dat de baten van onderwijsinterventies ook op die terreinen kunnen vallen. Op die manier leidt de analyse duurzaam tot een andere manier van evalueren, die enerzijds meer kwantitatief is maar die anderzijds ook meer handvatten biedt voor een gesprek over wat er echt toe doet.

Tot slot: In het licht van het bovenstaande is het vreemd dat in de vsv-aanpak wordt gewerkt met landelijke streefcijfers die voor álle regio’s en alle MBO-instellingen gelden. Eén blik op de populatiegegevens laat immers zien dat de doelgroepen sterk verschillen. Sommige regio’s kampen met veel meer achterstanden dan andere. Streefcijfers op maat, die passen bij de populatie, doen veel meer recht aan de werkelijke situatie én aan de inspanningen van gemeenten en instellingen.

-0-0-0-

[1] Dit gebeurt volgens een vaste methode en voorgeschreven rekenregels (zie onder meer de OEI-leidraad en onze handreiking voor MKBA’s in het sociaal domein ‘werken aan maatschappelijk rendement’