De effectladder

Veel interventies die in de praktijk worden gebruikt zijn niet zonder meer aan te duiden als 'bewezen effectief'. Dat betekent nog niet dat de kwaliteit van die interventies slecht is; het bewijs voor de effectiviteit ontbreekt echter.
Van Yperen en Veerman (2008) hebben een kader opgesteld waarin de effectiviteit van interventies is ingedeeld in een aantal niveaus. Zij stellen voor het begrip 'effectiviteit' en het effectonderzoek te koppelen aan het ontwikkelingsstadium waarin een interventie verkeert. Daarvoor hebben zij de zogenaamde 'effectladder' ontwikkeld.

Niveau 0: werken met impliciete kennis
Op niveau 0 van de effectladder is er sprake van een interventie die 'in de hoofden' van de uitvoerders zit. De praktijkwerkers ondersteunen bijvoorbeeld ouders op een volgens hen methodische manier, maar wat ze precies doen en waarom dat zou werken is voor anderen niet duidelijk op papier gezet. Dit kan een bijzonder effectieve interventie zijn, maar de werkwijze en resultaten zijn voor buitenstaanders niet duidelijk. Dat hindert ook de overdraagbaarheid van de interventie aan vakgenoten.

Niveau 1: goed beschreven interventies
Op niveau 1 van de effectladder is de aard van de interventie nader omschreven en gespecificeerd. De aandacht gaat vooral uit naar het doel van de interventie, de doelgroep, de aanpak en de randvoorwaarden voor de uitvoering. Door deze explicitering is de werkwijze van de interventie te begrijpen, de kans op effectiviteit enigszins in te schatten en de aanpak gemakkelijker overdraagbaar.
Bijvoorbeeld: 'Het programma voor ouders die moeten leren omgaan met hun koppige peuters bestaat uit vijf bijeenkomsten met huiswerkopdrachten: (1) De ontwikkeling en gewone problemen met peuters; (2) Kijken naar gedrag van je kind en jezelf; (3) Aandacht geven aan gewenst gedrag werkt beter; (4) Wat doe je als het echt spaak loopt?; (5) Als je kind ouder wordt.' Deze korte omschrijving laat al zien dat de interventie elementen lijkt te bevatten van bekende effectieve ouderprogramma's voor kinderen met gedragsproblemen.

Niveau 2: interventies met theoretische bewijskracht zijn veelbelovend
Het formuleren van een goede interventietheorie ('program theory') maakt een interventie in theorie effectief of 'veelbelovend'. Interventies in de databank Effectieve Jeugdinterventies op deze website voldoen minstens aan dit niveau. Op niveau 2 van de effectladder gaat het om een aannemelijk verhaal dat de interventie kan werken. Als daarbij gerefereerd wordt aan algemeen aanvaarde en met onderzoek ondersteunde theorieën komt de interventie nog sterker te staan.
Het hierboven genoemde ouderprogramma kan bijvoorbeeld onderbouwd worden door aan te sluiten bij de theorie van de zogenaamde 'coercive patterns' in opvoeden: patronen waarin ouders op steeds negatiever gedrag van hun kind met steeds negatiever opvoedersgedrag reageren, zoals dwang en dreiging. Dat gedrag kan doorbroken worden door ouders een aanpak te leren waarin zij vooral aandacht besteden aan positief gedrag van hun kind. Er is veel onderzoek dat laat zien dat dit werkt.

Niveau 3: interventies met voorlopige bewijskracht
Een goede omschrijving (niveau 1) en onderbouwing (niveau 2) laten het wat en waarom van een interventie zien. Als vastgesteld kan worden dat de geformuleerde doelen of gewenste veranderingen bereikt zijn, en bovendien is vastgesteld dat de interventie ook volgens plan verstrekt is aan de beoogde doelgroep, dan is de bewijsvoering van een effectieve interventie weer een stapje verder gebracht. Om dit allemaal te kunnen constateren moet er gemeten worden.
Het meten vormt de kern van niveau 3 van de effectladder: er zijn cijfers beschikbaar die laten zien dat de doelgroep wordt bereikt, dat de doelen van de interventie worden gerealiseerd, dat er weinig cliënten zijn die voortijdig afhaken, dat de cliënten tevreden zijn. Deze gegevens leveren de eerste indicaties op voor de effectiviteit van de interventie. Immers, als zou blijken dat bij de doelgroep maar een fractie van de doelen wordt gehaald, zouden er maar weinig mensen zijn die de interventie effectief durven noemen. Daar staat tegenover dat als wél bij velen de doelen zijn bereikt, het nog niet zeker is dat dit aan de interventie te danken is. Er kan ook sprake zijn van bijvoorbeeld veelvoorkomend spontaan herstel.

Niveau 4: interventies met causale bewijskracht zijn bewezen effectief
Interventies die voldoende causale bewijskracht hebben zijn 'bewezen effectief' te noemen: de gemeten verbetering is toe te schrijven aan de gebruikte interventie. Dit is het hoogste niveau van effectiviteit, mits de interventie ook op de andere niveaus goed ontwikkeld is. Op niveau 4 van de effectladder is er sprake van een goed omschreven, theoretisch onderbouwde en in de praktijk getoetste aanpak, waarbij bovendien is aangetoond dat de interventie beter is dan 'geen interventie' en een 'andere interventie'. Daarvoor is een vergelijking nodig met een groep die geen hulp heeft ontvangen en een groep die de interventie niet gekregen heeft maar wel een ander aanbod.

Niveaus van onderzoek en bewijskracht
Veerman en Van Yperen hebben de verschillende effectiviteitsniveaus gekoppeld aan soorten onderzoek die daarin een functie kunnen vervullen. De verschillende soorten onderzoek zijn door het Nederlands Jeugdinstituut vertaald naar verschillende niveaus van bewijskracht die de Erkenningscommissie Interventies gebruikt bij de beoordeling van de effectiviteit van interventies: hoe meer bewijskracht, hoe zekerder de uitspraak over de effectiviteit kan worden gedaan. Alles is bij elkaar op een 'effectladder' gezet die aangeeft welke stappen genomen moeten worden om een interventie naar het hoogste niveau te brengen. Een praktische gids voor het werken met deze effectladder en een toelichting op de verschillende soorten onderzoek zijn te vinden in het 'Handboek Zicht op Effectiviteit'.

Sommige niveaus van de effectladder hebben geen equivalent in erkenning van de commissie. Die niveaus moeten worden gezien als belangrijke tussenstappen om tot een erkennning te komen. Bijvoorbeeld, via doelrealisatie-onderzoek komt men erachter of een interventie bij lijkt te dragen aan het bereiken van de doelen van de preventie of zorg. Als dat niet het geval is, heeft het ook geen zin om geavanceerder onderzoek ten behoeve van een erkenning in gang te zetten.

Van effectief in de praktijk naar bewezen effectief
Voor interventies die in de praktijk gebruikt worden maar die niet of nauwelijks geëxpliciteerd, onderbouwd en effectief gebleken zijn betekent de effectladder een opeenvolging van stappen die ondernomen moeten worden om de interventie tot een bewezen effectieve status te brengen. Veerman en Van Yperen hebben handreikingen geformuleerd om van het ene naar het andere niveau te komen. In veel praktijkorganisaties is de effectladder het kader geworden om methodiekontwikkeling en verschillende soorten effectonderzoek in een gefaseerd proces te laten verlopen.

Bronnen en meer informatie

• Kazdin, A.E. (red., 2003), 'Methodological issues and strategies in clinical research' (derde editie). Washington D.C., American Psychological Association.
• Loon, D. van en B. van der Meulen (2004), 'Effectonderzoek naar vroegtijdige orthopedagogische interventies. Methodologische moeilijkheden en mogelijkheden'. Amsterdam, Boom.
• Rossi, P.H., M.W. Lipsey en H.E. Freeman (2004), 'Evaluation. A systematic approach' (7e editie). Thousand Oaks, Sage Publications.
• Shadish, W.R., T.D. Cook en D.T. Campbell (2002), 'Experimental and quasi-experimental designs for generalized causal inference'. Boston, Houghton Mifflin Company.
• Veerman, J.W. en T.A.Yperen (2007), 'Degrees of freedom and degrees of certainty. A developmental model for the establishment of evidence-based youth care. Evaluation and Program Planning', 30 (2), 212-221.
• Yperen, T.A. van (2007), 'Integraal erkend. Naar een afstemming erkenning jeugdinterventies'. Utrecht: Nederlands Jeugdinstituut.
• Yperen, T.A. van en J.W. Veerman (2008, red.). 'Zicht op effectiviteit. Handboek voor praktijkgestuurd effectonderzoek onderzoek in de jeugdzorg'. Delft: Eburon. Te bestellen op de website van uitgeverij Eburon.
• Yperen, Y. van & Bommel, M. van (2009). 'Erkenning interventies: criteria 2009 - 2010. Erkenningscommissie (Jeugd)Interventies'. Utrecht / Bilthoven: Nederlands Jeugdinstituut / RIVM.
• Wartna, B.S.J. (2005), 'Evaluatie van daderprogramma's. Een wegwijzer voor onderzoek naar de effecten van strafrechtelijke interventies speciaal gericht op het terugdringen van recidive'. Meppel, Boom Juridische Uitgevers.