Te hanteren methoden

Hieronder bespreken we een aantal gangbare onderzoeksmethoden100 _{en bepalen of ze voor ons doel} geschikt zijn.

4.2.1. Veldonderzoek

Als medewerker van bureau Zorg van de provincie Zuid-Holland en als waarnemend lid van het Regi- onaal Zorgberaad Midden-Holland zijn we jarenlang omgegaan met vertegenwoordigers van zorgin- stellingen, gemeenten en verzekeraars. Door deel te zijn van het ‘allerdaagse’ hebben we onbewust veel materiaal verzameld. Dit materiaal vormt onderdeel van onze ‘context of discovery’ (Konings- veld, 1980) en heeft ongetwijfeld een grote rol gespeeld bij het kunnen leggen van een verbinding tussen de theorie en de door ons waargenomen praktijk. Participerende observatie is dus een van de door ons gehanteerde methoden, maar wij hebben haar niet bewust en systematisch gehanteerd. Omdat zij verder geen directe rol speelt bij de toetsing van de hypothese laten we haar hier verder buiten beschouwing. Wel speelt de via participerende observatie verkregen kennis in de vorm van ‘hulptheorieën’ een rol bij de operationalisering van de theoretische begrippen (Swanborn, 1993), alsmede bij de duiding van de factoranalyses, die van zichzelf in theoretisch opzicht innerlijk zwak zijn (Yin, 1993).

4.2.2 Experiment

Het doel van een experiment is het toetsen van een causale uitspraak. In ons geval: zijn X1 (koppe- ling van het netwerk) en X2 (omgevingscomplexiteit) een oorzaak van Y (geschiktheid)? En vervol- gens, als dit zo blijkt te zijn: hoe sterk is dan de invloed van respectievelijk X1 en X2 op Y? (Swan- born, 1981). Tegen deze achtergrond lijkt het experiment voor ons doel het meest geschikt. In de regel zijn de eenheden en het aantal bij het experiment betrokken variabelen klein. Hieraan kan worden voldaan. Bij de zorg zijn weliswaar veel organisaties betrokken, maar het aantal net- werken waarin zij geclusterd zijn is niet groot (uiteraard afhankelijk van de keuze van de casussen). Het aantal variabelen – in essentie drie – is evenmin groot.

Bij een experiment moet je voorts systematisch variatie kunnen aanbrengen in de onafhankelijke variabelen. Hier wringt hem de schoen. Aan deze voorwaarde is veel lastiger te voldoen, ook al is het aantal (pre- en quasi-) experimentvarianten groot. Zuiver experimentele ontwerpen gaan uit van meerdere groepen, die al dan niet aan bepaalde omstandigheden zijn blootgesteld en/of metin- gen op verschillende tijdstippen (zie onderstaande tabel).

Tabel 4: zuiver experimentele ontwerpen.

Zuiver experimenteel ontwerp 1: alleen nameting, met controlegroep

tijdstip t1 t2

groep I R X 01 experimentele groep groep II R 02 controlegroep

Zuiver experimenteel ontwerp 2: vóór- en nameting, met controlegroep tijdstip t1 t2

groep I R 01 X 02 experimentele groep groep II R 03 04 controlegroep Zuiver experimenteel ontwerp 3: Solomon 4 groepenontwerp tijdstip t1 t2

groep I R 01 X 02 experimentele groep groep II R 03 04 controlegroep groep III R X 05 experimentele groep groep IV R 06 controlegroep

100_{Swanborn (1981) noemt alleen de hier genoemde methoden als zijnde de belangrijkste vormen. Daarnaast behandelt hij}

ook enkele symbolisch interactionistisch en etnomethodologisch methoden, die zich evenwel niet goed laten combineren met het nomothetische karakter van onze onderzoek.

0 staat voor 'observation', 'waarneming'; het wil zeggen dat er gemeten wordt ofwel gegevens worden verzameld

X wil zeggen: de betreffende groep ondergaat de 'ingreep' (krijgt bijv. een film te zien); de andere groep krijgt de film niet te zien.

t1 = tijdstip 1 en t2 = tijdstip 2

R staat voor randomiseren. Naast randomiseren zijn matchen en homogeniseren nog andere methoden waarmee allerlei ex- terne factoren onder controle gehouden kunnen worden. Zij komen niet in de plaats van randomiseren, maar worden er aan toegevoegd. Deze tabel is overgenomen uit Baarda en De Goede, 1995.

Idealiter wordt bij een experiment bij toeval bepaald welke eenheden de stimulus ondergaan en welke niet. Er wordt dan vanuit gegaan dat bepaalde kenmerken gelijk verdeeld zijn over de expe- rimentele groep en de controlegroep en dus, als zij zouden samenhangen met de afhankelijke vari- abele, niet als storend optreden (dit heet randomiseren; daarnaast zijn homogeniseren en matching methoden om allerlei externe factoren onder controle te houden). Met behulp van statistiek kan vervolgens worden nagegaan in hoeverre verschillen op de afhankelijke variabele tussen de experi- mentele en de controlegroep zijn toe te schrijven aan toeval of aan de systematische werking van de onafhankelijke variabelen. Bij gebruik van één van bovengenoemde zuivere experimentele ont- werpen zijn er in principe geen andere interpretaties mogelijk dan dat de experimentele variabelen causaal van invloed zijn op de afhankelijke variabele. Wel is het de vraag of een experiment dat op een bepaalde plaats, op een bepaald tijdstip en onder bepaalde omstandigheden is gehouden, zon- der meer generaliseerbaar is naar andere plaatsen, tijdstippen en omstandigheden. Bij experimen- ten is vaak niet zozeer de interne validiteit als wel de externe validiteit een probleem.

Aangezien wij gebruik gaan maken van bestaande netwerken kan aan de belangrijke voorwaarden van randomiseren101 _{en systematische variatie van de onafhankelijke variabelen, niet worden vol-} daan. Het enige systematische verschil bij de netwerken is de financiële en personele steun die zij van de provincie hebben aanvaard en gekregen.

In dat geval zouden we nog ons toevlucht kunnen nemen tot de pre-experimentele ontwerpen (zie onderstaande tabel):

Tabel 5: pre-experimentele ontwerpen. Pre-experimenteel ontwerp 1: één groep, alleen nameting tijdstip t1 groep I X 01 Pre-experimenteel ontwerp 2: één groep, voor- en nameting tijdstip t1 t2 groep I 01 X 02

Pre-experimenteel ontwerp 3: 'vergelijking van 2 (bestaande) groepen, alleen nameting tijdstip t1

groep I X 01 'experimentele groep' groep II 02 controlegroep

0 staat voor 'observation', 'waarneming'; het wil zeggen dat er gemeten wordt ofwel gegevens worden verzameld X wil zeggen: de betreffende groep ondergaat de 'ingreep' (krijgt bijv. een film te zien); de andere groep krijgt de film niet te zien.

t1 = tijdstip 1 en t2 = tijdstip 2

Er is hier geen sprake van random toewijzing van onderzoekseenheden aan de groepen.

Omdat wij niet systematisch de onafhankelijke variabelen kunnen variëren, noch alleen al om prak- tische redenen in de tijd meerdere metingen kunnen doen, vallen ontwerpen 2 en 3 af. Alleen aan ontwerp 1 is te voldoen, maar die is dermate zwak dat niets gezegd kan worden over de causaliteit. Het experiment als onderzoeksmethode valt daarmee voor ons doel af.

101_{Alleen nog achteraf zou met een frequentieverdelingscontrole bepaald kunnen worden in hoeverre de netwerken qua sa-}

4.2.3 Survey research

Een survey onderzoek heeft volgens Singleton102 _{de volgende kenmerken:}

1. er is een groot aantal onderzoekselementen (personen, huishoudens, organisaties, bedrijven) dat met behulp van een aselecte steekproef is gekozen om de betreffende populatie te represente- ren

2. de onderzoeksgegevens worden verzameld met behulp van een gestandaardiseerde vragenlijst in een persoonlijk of telefonisch interview of via een schriftelijke vragenlijst (of tegenwoordig: elektronisch via het internet). De vragen worden op precies voorgeschreven wijze gesteld; ook de beantwoording wordt volgens gegeven richtlijnen vastgelegd

3. de verzamelde antwoorden worden numeriek verwerkt en geanalyseerd met behulp van statisti- sche werkwijzen.

Singleton’s omschrijving komt in grote lijnen overeen met de definitie die Albinski al in 1971 aan survey onderzoek gaf: “Wij zullen dus een onderzoek tot het survey type rekenen, wanneer wij met een empirisch onderzoek te maken hebben, dat betrekking heeft op een veelheid van objecten en wanneer de gegevens hiervan in werkelijke situaties verzameld zijn en statistisch verwerkt worden." Terecht merkt Albinski daarbij op dat “we ons terdege moeten realiseren dat de verschillen tussen de verschillende typen onderzoek (…) slechts betrekkelijk en soms zeer vaag zijn”. Zo kunnen de re- sultaten van observatie of een survey weer tot input dienen bij de bovenbesproken experimentele opzet.

De opvallendste eigenschap van een survey is dus de grootschaligheid, wat Gadourek in 1969, op zoek zijnde naar een goede Nederlandse vertaling van het woord, bracht tot de aanduiding: ‘het massa onderzoek’.

Baarda en de Goede wijzen op nog een ander opvallend kenmerk: het gaat om één meting op één bepaald moment of in één periode. Men spreekt in dat verband wel over een één moment survey. Tot slot vinden Hinnen en Roelofs surveys bij uitstek geschikt om meer te weten te komen “over motieven, ervaringen, waarden, normen, voorkeuren of opinies van een bepaalde doelgroep”. Dit alles tezamen lijkt op onze situatie van toepassing. Het aantal te bevragen, bij de zorg betrok- ken organisaties is groot. In Zuid-Holland ruim 1.000. Qua beschikbare tijd en middelen is één me- ting met behulp van een gestandaardiseerde schriftelijke vragenlijst het hoogst haalbare. Behalve op papier kunnen onze respondenten de vragenlijst straks ook via internet elektronisch invullen. En voor de verwerking en analyse willen wij ook zo veel mogelijk van de elektronica en standaard stati- sche methoden gebruik maken. Ons voorgenomen onderzoek vertoont daarmee alle trekken van een survey.

Aan een survey zitten wel een paar nadelen. Bedacht moet worden dat op grond van gegevens die verzameld zijn met behulp van een eenmalig survey onderzoek, problematisch uitspraken te doen zijn over causale verbanden tussen kenmerken. De mogelijkheden om de onderzoeksresultaten te generaliseren zijn daarentegen misschien wel beter dan bij een zuiver experiment. Experimenten hebben immers door hun randomisering vaak een hoge interne validiteit, maar een lage externe va- liditeit omdat men vaak genoegen moet nemen met de patiënten of cliënten die zich in een bepaal- de periode aandienen. Nadelen bij een survey zijn daaraan tegenovergesteld, ze zitten hem meer in de interne validiteit en de causaliteit. Om van een causaal verband tussen twee of meer kenmerken te kunnen spreken, moet immers aan drie voorwaarden zijn voldaan:

1. er moet co-variatie of een statistisch verband tussen de variabelen bestaan;

2. de variabele die je beschouwt als onafhankelijke variabele, moet in de tijd vooraf gaan aan de afhankelijke variabele;

3. er moet onder meer aangetoond worden dat het verband tussen beide niet ‘spurious’ of een schijnverband is (Blalock, 1970).

Wij komen hier in hoofdstuk 7, de Conclusie, nog even op terug.

4.2.4 Case study

In de paragraaf over het experiment kwam al het duale karakter van ons onderzoek ter sprake.

102

Enerzijds moeten de gegevens bij een groot aantal respondenten opgehaald worden, anderzijds zijn de onderzoekseenheden waar het hier om gaat – de zorgnetwerken – tamelijk gering in aantal. De theorie en de hypothesen hebben immers betrekking op kenmerken en het gedrag van netwerken en niet op de elementen waaruit ze bestaan (NB: wij nemen hier dus een ‘realistisch’ standpunt in: netwerken bestaan echt en zijn iets essentieels anders dan louter een optelsom van zijn samenstel- lende delen, zoals een voetbalteam iets anders is dan enkel elf spelers, zoals de ‘nominalist’ het zou zien). Dit maakt dat ons onderzoek tevens trekken vertoont van een case study.

De casestudy is volgens Van der Zwaan de meest gebrekkige van de onderzoekstypen (Gerding). De vergelijkende studie, het longitudinale onderzoek en het (veld)experiment zijn naar zijn mening vanuit methodologisch onderzoek aanzienlijk sterker. Yin is het daar niet mee eens. In zijn boek ´Applications of case study research´ gaat hij uitgebreid op de casestudie in. Volgens Yin kan deze onderzoeksvorm wel degelijk ook een belangrijke functie vervullen bij deductief onderzoek. Als een casestudie is ingebed in een helder conceptueel schema, kan de casestudie via een systematische bewijsvoering (‘a chain of evidence’) de basis voor verklaring van verschijnselen vormen. Het komt dan aan op de vergelijking van het empirische waargenomen patroon met het theoretisch veronder- stelde patroon. Bij dit zogenaamde ‘pattern matching’, wordt er in het onderzoeksmateriaal ge- zocht naar data die de geconstrueerde verklaring versterken en data die conflicteren met de ver- meende verklaring103 _.

De casestudie heeft meer voordelen. Zo laat zij, anders dan bij het experiment, de verwevenheid van het verschijnsel met zijn context intact. Casestudies zijn volgens Yin dan vooral een geschikte onderzoeksmethode als je causale relaties probeert vast te stellen en niet enkel een situatie wilt verkennen of beschrijven. De belangrijkste reden om deze methode te gebruiken is dan dat het on- derzoek zowel een bepaald fenomeen èn zijn context moet omvatten, omdat:

ƒ de context verklarende variabelen verondersteld wordt te bevatten aangaande het fenomeen, of ƒ de grenzen tussen fenomeen en omgeving niet duidelijk gegeven zijn.

Beide gaan in ons geval op: de complexiteit van de omgeving is in de door ons gebruikte theorie één van de onafhankelijke variabelen. Voorts zijn de netwerken in de praktijk moeilijk af te grenzen, wat sluit het in en wat sluit het uit? Horen bijvoorbeeld de individuele patiënt en huisarts wel of niet bij het zorgnetwerk?

Daar komt nog bij dat volgens de United States General Accounting Office (GAO) de casestudie bij uitstek `een methode om te leren van een complex geval´ is (onze cursivering, JV). Een complex geval impliceert “dat input en output niet direct of accuraat aan elkaar gerelateerd kunnen wor- den. Daar zijn verschillende redenen voor: er zijn misschien veel invloeden, en die invloeden kun- nen onderling op een niet-lineaire manier interacteren." Ook dit lijkt bij uitstek van toepassing. Er zijn verder volgens Yin vier punten van belang bij een case studie:

1. je moet de belangrijkste eenheid bepalen (volgens de GAO “waarschijnlijk de meest kritische ei- genschap van een case studie”);

2. je moet bepalen of je een of meerdere cases gaat bestuderen;

3. je moet aangeven hoe je die ene of meerdere cases gaat selecteren. Selectiecriteria zouden kunnen zijn:

ƒ kritiek voor de theorie die je toetst, de case is een kritieke case; ƒ topic relevantie, sommige cases zijn het beste;

ƒ makkelijk en toegankelijk;

4. je moet kiezen uit op z´n minst twee datastrategieën of je zou ze expres allebei kunnen kiezen. Ad 1) de belangrijkste eenheid is in ons geval het interorganisationele zorgnetwerk;

Ad 2) wij zijn van plan meerdere zorgnetwerken op patronen in verband met causale relaties met elkaar te vergelijken;

Ad 3) in principe willen we alle voorkomende netwerken op één moment transversaal onderzoe- ken;

Ad 4) de keuze uit datastrategieën is hierboven uitgekomen op survey onderzoek.

103_{Yin onderscheidt drie methoden bij het analyseren van casussen: explanation building, pattern-matching en times-series}

In termen van Yin valt ons onderzoek dan te kenschetsen als een meervoudige, verklarende case studie voor data in verband met causale relaties104_.

Echter gezien vanuit de optiek van de surveymethode doen we niets anders dan de antwoorden van honderden respondenten aggregeren tot een beperkt aantal totalen. Maar daarmee verandert niet het feitelijke karakter van het onderzoek, het blijft het nog steeds een surveyonderzoek, Wij zijn het ondanks de wat hybride trekken van het onderzoek met deze laatste zienswijze eens.

Wij werken ons onderzoeksontwerp hieronder verder uit. De operationalisatie van de onderzoeksva- riabelen behandelen we in een aparte paragraaf aan het eind van dit hoofdstuk.