Externe validiteit

Externe validiteit heeft betrekking op de generaliseerbaarheid van de gegevens. Zijn er bijvoorbeeld voorspellingen te doen hoe vaak en wanneer

175 Onderzoeksopzet, uitwerking en resultaten worden regelmatig met begeleiders en promotoren besproken en bekritiseerd.

een verschijnsel voorkomt. Kwalitatief onderzoek richt zich op het unieke van het verschijnsel en de mogelijke variaties, en niet op de vraag hoe vaak het voorkomt. Het gaat in dit onderzoek vooral om een verkenning en beschrijving van deze ervaringen. Dit beperkt de generaliseerbaarheid van de onderzoeksconclusies maar maakt een bepaalde vorm van generaliseren zeker niet onmogelijk. Maso en Smaling onderscheiden twee vormen van generalisatie in kwalitatief onderzoek: inductieve generalisatie en analoge generalisatie (Maso en Smaling 1998: 74 en 75). In deze subparagraaf be-kijk ik in hoeverre deze beide vormen van generalisatie in mijn onderzoek toepasbaar zijn.

Met inductieve generalisatie wordt de variabiliteit van een verschijnsel beschreven. Dit gebeurt wanneer de onderzoeker ‘doelgericht naar ver-schijnselen zoekt die afwijken van de reeds onderzochte, met het doel een getrouw beeld van de voorkomende variatie te verkrijgen’ (Maso en Smaling 1998: 74). Deze wijze van generaliseren past volgens Smaling goed bij (dit) exploratieve onderzoek dat sterk in de praktijk is geworteld (Smaling 2003: 7). Het gaat hier juist niet om het a-select trekken van respondenten, maar om het select trekken, waarbij de onderzoeker op zoek gaat naar wat Smaling en Maso de ‘extreme gevallen’ noemen en de gevallen die verschil-len met degene die al eerder zijn onderzocht.

De mogelijkheid van inductieve generalisatie in mijn onderzoek is dus nauw verbonden met de wijze waarop de respondenten en kerken worden geselecteerd. Ook in mijn onderzoek streef ik met doelgericht steekproef-trekken naar een zo groot mogelijke variabiliteit¹⁷⁶. Het streven bij inductieve generalisatie is om net zo lang door te gaan met doelgericht steekproef-trekken totdat alle mogelijke variaties zijn beschreven en er een punt van verzadiging is bereikt. Bereik ik dit verzadigingspunt ook in mijn onderzoek? Wat betreft de selectie van de kerken, was op voorhand al duidelijk dat dit punt van verzadiging niet wordt gehaald. In mijn eigen, nog onvolledige onderzoek naar de verschillende vormen van oecumenische vieringen (zie bijlage 3.1) werd mij al snel duidelijk dat met het driemaal herhalen van het experiment in drie verschillende gemeenten, lang niet alle variatiemogelijk-heden in kaart zijn gebracht. Ik heb gekozen voor een beperkte en eindige opzet van het onderzoek. In meer dan drie gemeenten een viering organiseren was praktisch niet haalbaar binnen de termijn van dit promotie-onderzoek.

Wat betreft de selectie van respondenten voor het interview heb ik er echter wel naar gestreefd om dit verzadigingspunt te bereiken. Hier zocht ik doelgericht naar respondenten die verschilden van diegenen die ik eerder had geïnterviewd. Het enquêteformulier bood mij de mogelijkheid om de deelnemers met een extreme ervaring in verschillende groepen in te delen (bijvoorbeeld naar leeftijd, kerkelijke achtergrond en randkerkelijkheid). Wanneer ik na afloop van de ene viering vooral randkerkelijken of ouderen had geïnterviewd, probeerde ik bij de volgende viering voorrang te geven aan personen uit de nog niet door mij benaderde groepen met een extreme ervaring. Zo probeerde ik alle variaties te beschrijven.

Dit betekent dat ik aan het einde van het onderzoek, aan de hand van de inductieve generalisatie, geen uitspraken kan doen over de wijze waarop performancekunst in de oecumenische liturgie kan worden geïntegreerd. Immers het aantal casus was hiervoor te klein en ik heb niet alle mogelijke variaties op dit gebied onderzocht. Waar ik meer met zekerheid over kan zeggen is de variatie aan religieuze ervaringen die in deze vieringen met de performances is opgetreden. Maar met deze wijze van generaliseren is de mogelijkheid om uitspraken te doen over toekomstige vieringen nog zeer beperkt. Ik kan zo alleen uitspraken doen over de drie door mij onderzochte vieringen. Om ook over toekomstige vieringen met performances een uitspraak te kunnen doen is analoge generalisatie nodig.

Analoge generalisatie

Smaling stelt dat een ‘analogieredenering aannemelijk is wanneer men goede gronden heeft om aan te nemen dat bepaalde kenmerken van het onderzochte geval relevant zijn voor de onderzoeksconclusie, en voorts dat een ander, niet-onderzocht geval, die relevante kenmerken ook heeft’ (Maso en Smaling 1998: 74). Om analogieredenering bij toekomstige vieringen mogelijk te maken, moeten daarom de kerkgemeenten waarin deze vieringen plaatsvonden zeer duidelijk worden beschreven. Zo wordt er aan de lezer van het onderzoeksverslag een handvat geboden om zelf te kunnen onderzoeken welke uitkomsten een viering met performances in de ‘eigen’ gemeente kan genereren. Mijn taak is het om duidelijk en aannemelijk te maken op welke factoren men moet letten om de analogieredenering te laten opgaan. Er is volgens Smaling een aantal criteria die de argumentatie van de analogieredenering overtuigend of sterker maakt (Smaling 2003: 13, en Maso en Smaling 1998: 76).

1 De door mij onderzochte gemeente moet, in vergelijking met een gemeente die in de toekomst zo’n viering wil uitvoeren, meer overeen-komsten dan verschillen kennen met deze gemeente.

2 De geconstateerde overeenkomsten tussen de door mij onderzochte gemeente en de gemeente die in de toekomst een viering wil organi-seren, moeten relevant zijn voor de conclusie.

3 De conclusies met betrekking tot de onderzochte gemeente moeten door andere vergelijkbare gevallen worden ondersteund.

4 De conclusies zijn waarschijnlijker wanneer er, ondanks grote verschil-len tussen de door mij onderzochte kerken, in al deze kerken toch eenzelfde verschijnsel voorkomt. De verschillen tussen de kerken lijken dan de uitkomst – zoals bijvoorbeeld de religieuze ervaringen bij een aantal deelnemers - niet te beïnvloeden.

5 De analogieredenering wordt ook sterker wanneer de overeenkomsten en verschillen tussen de gemeenten/vieringen en hun relevantie voor de conclusie, empirisch en theoretisch onderbouwd kunnen worden. Smaling voegt hier nog aan toe dat wanneer de conclusie, los van de analogieredenering zelf, aannemelijker is, de analogieredenering ook sterker wordt. In dit onderzoek is het daarom van belang dat ik ook onafhankelijk van de onderzoeksresultaten aannemelijk weet te maken dat een viering

met performances een religieuze ervaring kan oproepen (zie voor deze redenatie hoofdstuk 2).

Om de analogieredenering verder mogelijk te maken, moet ik in mijn analyse duidelijk maken welke verschillen en overeenkomsten er bestaan tussen de kerken waar een viering met performances heeft plaatsgevonden. Verder moet ik aangeven welke verschillen en overeenkomsten relevant zijn voor het oproepen van een religieuze ervaring. Deze verschillen en overeen-komsten moeten zoveel mogelijk empirisch en theoretisch onderbouwd worden. Deze analogieredenering is, zo benadrukken Smaling en Maso, ‘geen deductief-geldige redenering en leidt evenmin tot kwantitatieve waarschijnlijkheidsuitspraken’ (Maso en Smaling 1998: 76). Zij biedt echter andere kerkgemeenten wel een handvat om te kijken welke resultaten, welke ervaringen, zij kunnen verwachten wanneer zij een viering met performances in hun gemeente organiseren. De analogieredenering is voor mij vooral een belangrijke toevoeging aan de handleiding voor kunstenaars en kerkgemeenten.