H4 Evaluatief Onderzoek
4.4 Vierde generatie evaluatieonderzoek
De bovenstaande kwaliteitseisen en criteria vragen om een passende onderzoeksstrategie. De methoden van onderzoek die hier gevolgd worden komen deels uit de ‘vierde generatie evaluatieonderzoek’ en uit ‘reflectief onderzoek’. Methoden uit beide onderzoeksstrategieën maken deel uit van dit evaluatieonderzoek.
In de regel is het evalueren op basis van bepaalde normen, die ook wel prestatie- indicatoren genoemd worden, al dan niet aangevuld met kwaliteitstoetsingen, zoals het INK evaluatiemodel, toereikend om bepaalde resultaten van
beleidsinterventies te meten. Mits de juiste onderzoeksmethode wordt
aangewend kan dit soort evaluatieonderzoek tot op zekere hoogte ook voldoen aan de drie door de overheid gestelde kwaliteitscriteria: valide, betrouwbaar en bruikbaar. In de regel is dit soort evaluatieonderzoek toepasbaar bij technische en industriële processen die qua effecten gemakkelijk aan bepaalde normen getoetst kunnen worden. Voor het onderzoeken van professionele en strategische processen waar de mate van ambiguïteit hoog is, zijn deze methoden minder geschikt. Hiermee komen we bij de vraag hoe deze beleidsprocessen dan wel geëvalueerd kunnen worden.
Guba en Lincoln bieden met de Fourth Generation Evaluation (in het vervolg FGE) een bruikbare onderzoeksstrategie (Guba en Lincoln, 1989). Guba en Lincoln onderscheiden 4 generaties van evaluatieonderzoek (Guba en Lincoln, 1989: 22–45).
Zij duiden deze aan de volgende termen:
Eerste generatie : meten Tweede generatie : beschrijven Derde generatie : beoordelen Vierde generatie : onderhandelen
Volgens Guba en Lincoln hebben de eerste drie generaties hun beste tijd gehad. Ten eerste is er vaak sprake van een vertekend beeld. De doelen en intenties van de beleidsmakers worden als ijkpunt gehanteerd. Er wordt dan een consensus verondersteld tussen alle betrokkenen die er vaak niet is. Ten tweede blijkt dat de bevindingen van evaluatieonderzoek in beperkte mate gebruikt worden. De beleidsrelevantie is dus gering. Ten derde worden belanghebbenden vaak louter als informatieverstrekker gebruikt en vindt er geen gesprek plaats met de belanghebbenden, terwijl hun bevindingen er wel degelijk toe doen. Tevens is het vanuit het oogpunt van de kwaliteit van het onderzoek en de acceptatie van belang om niet voorbij te gaan aan de deskundigheid en de ervaringen van belanghebbenden. Op basis van deze kritiek komen Guba en Lincoln met een alternatief: een democratisering van het evaluatieproces waarbij ‘onderhandelen’ centraal staat. Vierde generatie evaluaties vormen een interactief proces van oordeelsvorming tussen groepen wier belangen worden geraakt door de evaluatie.
Verwachtingen, zorgen en discussiepunten
In plaats van uit te gaan van de beleidsdoelstelling gaan de auteurs uit van de verwachtingen (‘claims’), de zorgen (‘concerns’) en discussiepunten (‘issues’). Naast het beschrijven van deze drie zaken moet de onderzoeker de achterliggende motivatie en het waardenstelsel proberen te verhelderen met het oog op de onderhandelingen. Speciale aandacht gaat hierbij uit naar tegenstellingen en uiteenlopende belangen (controversen). Hoewel kwantitatieve
methoden niet uitgesloten worden, gaat de voorkeur uit naar kwalitatieve methoden van onderzoek. Deze zijn nu eenmaal geschikter om inzicht te krijgen in persoonlijke ervaringen, waarbij gevoelens, gedachten en meningen van belanghebbenden aan de orde moeten komen.
Belanghebbenden
De belanghebbenden (‘stakeholders’) zijn diegenen wier belang op het spel staat. Zij moeten dan ook actief deelnemen aan de evaluatie en zijn bij voorkeur in een vroeg stadium betrokken bij het onderzoeksproces. De belanghebbenden zijn bij voorkeur vanaf het formuleren van de vraag en doelstelling tot en met de interpretatie van de bevindingen betrokken.
Guba en Lincoln onderscheiden drie groepen belanghebbenden:
1. De ‘agents’. Dit zijn de beleidsmakers, programmamanagers, professionals, financiers, sponsors, etc. In onze situatie zijn het de directie en
leidinggevenden, maar ook het Ministerie van Justitie.
2. De ‘beneficiaries’. Hiermee wordt de doelgroep aangegeven, zoals in ons geval de TBS-patiënten en eventueel hun relaties en familie.
3. De ‘victims’. Dit zijn belanghebbenden die mogelijk schade kunnen ondervinden van het beleid. Dit is de maatschappij en in engere zin de slachtoffers van de TBS-gestelden.
Uitgaande van deze pluraliteit betekent dat het ‘onderzoeksontwerp’ zich geleidelijk aan ontwikkelt in samenspraak met de belanghebbenden. Dit impliceert een open inductieve werkwijze in plaats van een hypothetisch deductieve werkwijze.
Basisveronderstellingen
De vierde generatie evaluatieonderzoek is gegrond in een sociaal- constructivistische onderzoekstheorie.
Samengevat komt dit neer op vijf basisveronderstellingen:
1. Ontologie
Uitgangspunt is dat mensen actieve betekenisgevers zijn. Zij construeren hun (sociale) werkelijkheid in interactie met elkaar en brengen uiteenlopende achtergronden en waardenstelsels in het spel. Deze diversiteit maakt dat de ‘werkelijkheid’ meervoudig in plaats van enkelvoudig is. Beleid is dan ook op verschillende manieren uit te leggen.
2. Epistemologie
Objectiviteit in de zin van het klassieke natuurwetenschappelijk model is niet wenselijk volgens de auteurs. De onderzoeker moet juist betrokkenheid tonen in plaats van afstand nemen. Dit is een interactief, op waarde gestuurd proces, waarbij de realisatie van bepaalde veranderingen met diegenen die dit zelf ondergaan en ervaren wordt onderzocht. Hierdoor krijgt de onderzoeker meer zicht op de werkelijkheidsconstructies van de belanghebbenden zelf. 3. De aard van de verklaringen
Bepaalde gebeurtenissen, zoals veranderingen van werkwijze in een organisatie, kunnen op verschillende manieren verklaard worden. De gebeurtenissen kunnen dan ook het beste vanuit verschillende factoren en meervoudige perspectieven beschreven worden.
4. De aard van de generalisaties
Het overdragen van kennis is volgens de auteurs plaats- en tijdgebonden, en daarmee is de veralgemenisering van persoonlijke kennis en ervaringen problematisch. Door middel van gevalsbeschrijvingen kunnen de lezers kennis en plaatsvervangende ervaringen opdoen. Vervolgens kunnen ze op grond van die ervaringen bepalen in hoeverre deze inzichten overdraagbaar zijn.
5. De plaats van waarden
Keuzes van mensen, dus ook die van de onderzoeker, worden volgens Guba en Lincoln beïnvloed door waarden. Elke vraagstelling komt voort uit bepaalde waarden, maar ook de context van het onderzoek, het gebruik van een theorie en de persoonlijke waarden van onderzoeker zijn van invloed op allerlei keuzes die gemaakt worden bij het doen van onderzoek. Deze ‘waarden- geladenheid’ van onderzoek is niet alleen problematisch maar helpt ook de onderzoeker en belanghebbenden om keuzes te maken.
Kwaliteitscriteria
Het is duidelijk dat de traditioneel-wetenschappelijke criteria alleen onvoldoende zijn om de kwaliteit van een vierde generatie evaluatieonderzoek te beoordelen. Dit betekent niet dat de onderzoeker maar naar believen kan opereren.
Integendeel, deze dient zeer gedisciplineerd en navolgbaar te werk te gaan.
Geloofwaardigheid
Validiteit kunnen we hier niet langer opvatten als een relatie tussen de bevindingen en de werkelijkheid. De geloofwaardigheid van de interpretaties in de ogen van betrokkenen vormt een door Guba en Lincoln beschreven alternatief criterium
(Guba et al., 1989: 233). Door een zogenaamde ‘member check’ kan belanghebbenden
Guba en Lincoln geven vier criteria voor geloofwaardigheid van kwalitatieve evaluaties:
• Geloofswaardigheid van de interne validiteit • Generaliseerbaarheid van de resultaten • Transparantie van de onderzoeksopzet • Controleerbaarheid
Een belangrijke voorwaarde hierbij is dat de onderzoeker zelf op zijn eigen filters, die het onderzoek kunnen kleuren, openlijk en kritisch reflecteert.
Hermeneutisch en dialectisch proces
Door het actief betrekken van de belanghebbenden bij het discours is de kans dat er vertekening richting één van de partijen optreedt gering (Guba et al.,
1989: 244). Allerlei informatie en data worden op hetzelfde moment besproken
en geanalyseerd door de belanghebbenden. Hierdoor kunnen deze gegevens in samenhang worden verkend en worden aangevuld of gecorrigeerd.
Juistheid en authenticiteit
Juistheid slaat op de kwaliteit van het interactionele proces zelf. Alle
belanghebbenden moeten de ruimte hebben om hun stem te laten horen zonder dat de ‘machtsbalans’ neer bepaalde individuen of groepen overhelt (Guba et al.,
1989: 247).Authenticiteit heeft betrekking op ontwikkeling van de inzichten van alle betrokkenen in het onderzoeksproces, dus ook die van de onderzoeker zelf (Guba et al., 1989: 245). Hierbij gaat het om persoonlijk inzicht, wederzijds inzicht en om toegenomen inzichten op de werkelijkheid die mogelijk tot actie en veranderingen kunnen aanzetten.
De betekenis van de FGE voor dit onderzoek
Guba en Lincoln hebben een belangrijke bijdrage geleverd aan het doen van evaluatieonderzoek. Zij hebben niet alleen kritiek op andere vormen van evaluatieonderzoek, maar geven ook de basis voor een alternatief. Elementen van dit alternatief zullen we als onderdeel in dit evaluatieonderzoek aanwenden. In die zin is dit een aanvulling op een aantal methoden die meer tot de eerdere generaties van evaluatieonderzoek behoren. De verschillende generaties evaluatieonderzoek sluiten elkaar mijn inziens dan ook niet uit, maar kunnen als aanvulling op elkaar dienen. Hieronder zullen we kort stil staan bij de vier generaties evaluatieonderzoek en uitleg geven op welke wijze bepaalde methodieken uit de verschillende generaties in dit onderzoek worden toegepast.
Eerste generatie: Normatief (meten) evaluatieonderzoek
‘Meten’ is het verzamelen van kwantitatieve gegevens zoals bijvoorbeeld het verzamelen van recidivegegevens ter beoordeling van de TBS-behandeling.
In dit onderzoek wordt naar bepaalde normen in termen van bedrijfs- en behandelresultaten gekeken. Voorbeelden hiervan zijn de financiële positie van de organisatie, arbeidsverzuim, maar ook het aantal separaties, suïcides en recidives van de patiënten. Deze gegevens komen voornamelijk uit de Jaarplannen en Jaarverslagen en cijfermatige overzichten van de organisatie zelf.
Tweede generatie: beschrijvend evaluatieonderzoek
‘Beschrijven’ omvat het aanduiden van kernmerken van een bepaald beleid of voornemen. In het geval van de reorganisatie in de Dr. S. van Mesdagkliniek kan hierbij gedacht worden aan een beschrijving van de ondernomen activiteiten, de interactie tussen de hoofdrolspelers zoals de directie en het personeel, de eventuele oppositie hiertegen vanuit een ondernemingsraad en andere problemen en de uiteindelijke resultaten.
In dit onderzoek wordt uitgebreid verslag gedaan van de geschiedenis van de organisatie en de organisatieveranderingen. Zowel de crisisperiode (1997–1999) alsook de periode van reorganisatie en andere veranderingen (2000–2005) komen vrij uitvoerig aan de orde. Om deze gebeurtenissen te kunnen beschrijven en te beoordelen wordt gebruik gemaakt van het dramaturgisch concept
(toneelvoorstelling) van Goffman (1959).
Derde generatie: beoordelend evaluatieonderzoek
‘Beoordelen’ is het uitspreken van een finaal oordeel over de kwaliteit van de oorspronkelijke beleidsvoornemens. In het geval van een beoogde
organisatieverandering in de Dr. S. van Mesdagkliniek, waarbij met name de cultuur moet veranderen, kunnen we nagaan of de geïntroduceerde nieuwe (humane) waarden ook daadwerkelijk worden geaccepteerd en uitgedragen door personeel en herkend worden door de patiënten. Dit ‘beoordelen’ kan plaatsvinden door de uiteindelijke resultaten van de organisatieverandering te vergelijken met de oorspronkelijke doelstelling. Hieronder vallen zowel kwantitatieve gegevens alsook kwalitatieve beschrijvingen. Hierbij worden zowel feitelijke effecten alsook meningen en opinies betrokken bij het oordeel. In dit onderzoek wordt aan de hand van een enquêteonderzoek van een getrapte steekproef onder personeel, aangevuld met de medewerkers van de beveiliging, een oordeel gevraagd over de mate waarin de organisatie is geslaagd in de beoogde organisatieveranderi ngen. In het bijzonder het humaniseringsproces en de effecten daarvan op de organisatiecultuur worden hiermee onderzocht. Tevens wordt er in dit onderzoek aan de hand van een aantal thema’s (topics) in een reeks open interviews met diverse belanghebbenden, patiënten, medewerkers en externen gevraagd naar hun mening over de organisatieveranderingen. Daarbij wordt nadrukkelijk gevraagd naar voorbeelden om hun visie of mening te illustreren.
Vierde generatie: Onderhandelend evaluatieonderzoek
‘Onderhandelen’ moet hier opgevat worden als een interactief proces waarbij verschillende belanghebbenden hun stem kunnen laten horen en bijdragen aan de gezamenlijke oordeelsvorming. Bij beleidsvoornemens van medische aard kan er voor gekozen worden om patiënten, verpleegkundigen en de artsen, die dit beleid voorschrijven bij elkaar te brengen voor een dialoog. De belanghebbenden bespreken niet alleen het beleidsvoornemen zelf, maar ook de wijze waarop het evaluatieonderzoek hiernaar wordt vormgegeven. Hierbij moet er niet alleen aandacht zijn voor de overeenstemming, maar juist ook voor de tegenstellingen en dilemma’s. Dit proces kan uitmonden in consensus, maar kan ook geslaagd worden genoemd als het persoonlijk inzicht en/of wederzijds begrip is toegenomen. In dit onderzoek is het goed mogelijk om patiënten, medewerkers en externen hun mening te laten geven over het onderzoeksthema. Los van de beperkingen van de patiënten, bijvoorbeeld wanneer men moeite heeft met stressvolle situaties en drukte, is het een bijna onmogelijke opgave om een dialoog tussen de alle belanghebbenden in gang te zetten, omdat de groep van belanghebbenden vrij omvangrijk en complex is. Te denken valt aan: de slachtoffers, de omgeving van de Dr. S. van Mesdagkliniek, de Minister van Justitie, het Ministerie, de rechtbank, het Openbaar Ministerie, de patiënten en hun relaties, medewerkers, advocaten, reclasseringsambtenaren en allerlei ketenpartners, waaronder het gevangeniswezen en diverse GGZ instellingen, onderwijsinstellingen en werkgevers.
De volgende elementen uit de vierde generatie kunnen wel overgenomen worden.
• Het betrekken van zoveel mogelijk belanghebbenden bij evaluatieonderzoek. Patiënten, medewerkers en diverse externen worden nadrukkelijk bij dit onderzoek betrokken.
• Het op ‘open wijze’ benaderen van de belanghebbenden, waardoor zich nieuwe thema’s of inzichten kunnen aandienen. Deze methode levert niet alleen relevante informatie op, maar ook dient zich daadwerkelijk een nieuwe thema aan, zoals we nog zullen zien.
• Het verzamelen van zowel normatieve gegevens alsook het onderzoeken van historische en beschrijvende bronnen. Dit wordt binnen de verschillende methoden van dit onderzoek toegepast.
• Het evaluatieonderzoek draagt bij aan (gezamenlijke) oordeelsvorming en aan nieuwe inzichten. Zoals we nog zullen zien, mondt dit onderzoek uit in een zekere consensus onder de belanghebbenden op het gebied van de aanbevelingen en acties, en levert het ook een aantal nieuwe (persoonlijke) nieuwe inzichten onder de belanghebbenden op.
• Het kwaliteitscriterium geloofwaardigheid is om verschillende redenen van groot belang voor dit onderzoek. Ik kom hier straks bij het thema ‘reflectief onderzoek’ nog op terug.
• De onderzoeksresultaten worden aan het eind van het onderzoek aan de verschillende belanghebbenden voorgelegd en besproken. Dit betekent dat de concepttekst van het onderzoek, ruim een half jaar na het sluiten van de gegevensverzameling, met verschillende direct belanghebbenden wordt besproken. Van deze gesprekken wordt een verslag gemaakt en dit wordt, na akkoord van betrokkene, verwerkt in het onderzoek.
Uit het voorgaande blijkt dat dit evaluatieonderzoek is opgebouwd uit een mix van sociaal-wetenschappelijke onderzoeksmethoden die binnen het doen van evaluatieonderzoek gangbaar zijn. Er is heel duidelijk voor gekozen om niet één maar meerdere strategieën te volgen. Met dit onderzoeksontwerp verwacht ik een vollediger beeld te geven van de organisatieveranderingen en het humaniseringsproces in het bijzonder, dan een benadering vanuit slechts één perspectief. Tot slot wordt het reflectieve karakter van dit evaluatieonderzoek nog toegelicht.