4. Methodologisch kader
4.1.5 Interne en externe validiteit en betrouwbaarheid
De interne validiteit van een enquête wordt bepaald door in de voorbereiding de begrippen goed te operationaliseren, zodat de enquête meet wat er gemeten moet worden. Het gaat dan om begripsvaliditeit, inhoudsvaliditeit en ecologische validiteit. De begripsvaliditeit geeft aan in hoeverre de enquête meet wat gemeten moet worden. Daarvoor is eerst tijdens een literatuurstudie (zie theoretisch kader) gekeken naar hoe de verschillende al bestaande onderzoeken het begrip (factor) definiëren en welke dimensies hierbij aan het begrip worden gekoppeld. Om deze dimensies te kunnen meten zijn ze gegoten in indicatoren en items. Deze items zijn als vragen opgenomen in de enquête. De enquête meet op die manier daadwerkelijk de factoren waar het onderzoek om draait. Daarnaast zijn de vragen zo geformuleerd dat een ieder weet wat ermee wordt bedoeld en ambigue begrippen zijn zoveel mogelijk toegelicht in de enquête. Tegelijkertijd is rekening gehouden met de inhoudsvaliditeit. De inhoudsvaliditeit is de mate waarin de dimensies van het te meten begrip vertegenwoordigd zijn in de vragen, oftewel de dekking. Door het nauwkeurig operationaliseren van de begrippen is de kans klein dat er vragen vergeten zijn die een bepaalde dimensie hadden moeten meten. Daarnaast wordt elke dimensie door meerdere vragen in de enquête gemeten. Ook met de ecologische validiteit is rekening gehouden, dus de mate waarin de meetresultaten overeenkomen met de alledaagse praktijk. Daarvoor is het aantal vragen (24) in de enquête beperkt gehouden en is ervoor gekozen om alleen meerkeuzevragen te gebruiken. Hiermee wordt voorkomen dat de aandacht van de respondent verslapt. Verder is de anonimiteit van de respondent gegarandeerd door niet te vragen naar contactgegevens. Hiermee wordt voorkomen dat er sociaal wenselijke antwoorden worden gegeven. Alvorens de enquête online te zetten, is deze eerst getest onder een paar proefpersonen om te kijken of er voor hen onduidelijkheden waren.
De externe validiteit van een enquête wordt gewaarborgd door een steekproefpopulatie die representatief is voor de onderzoekspopulatie. In paragraaf 4.1.2 is al gebleken dat dit niet het geval is. De conclusies die worden getrokken zullen gelden voor de steekproefpopulatie, maar er kan dus niet met honderd procent zekerheid worden gezegd dat ze ook gelden voor de
onderzoekspopulatie.
De betrouwbaarheid wordt bepaald door de mate waarin een meting vrij is van willekeurige meetfouten, oftewel in hoeverre de resultaten uit het onderzoek op toeval berusten. Ten eerste gaat het over de herhaalbaarheid van het onderzoek. De vraag is dan of een meting die na het onderzoek plaatsvindt dezelfde resultaten oplevert als de meting van tijdens het onderzoek. Om dit vast te stellen wordt in SPSS steeds gekeken naar het significantieniveau. Als een verband niet significant is, dan bestaat de mogelijkheid dat het op toeval berust en dan zal de bijhorende hypothese niet worden aangenomen. Ten tweede gaat het over de interne consistentie van het onderzoek. Interne consistentie is de mate van samenhang (homogeniteit) tussen meerdere vragen/items die worden gebruikt om een factor te meten. Zo wordt in de enquête bijvoorbeeld een tweetal vragen gesteld om te meten hoeveel vaardigheden iemand heeft. Deze vragen moeten goed bij elkaar passen om er zeker van te zijn dat met deze vragen het overkoepelende begrip ‘vaardigheden’ wordt gemeten. Om hier zeker van te zijn, hebben alle bij elkaar horende vragen dezelfde antwoord categorieën gekregen. Volgens is gekeken of de Cronbach’s Alpha significant is, dus of de vragen (variabelen) genoeg met elkaar correleren. Wanneer dit zo is, kan met zekerheid worden gezegd dat de vragen samen het overkoepelende begrip meten.
4.2
Gebruik van participatieresultaten door
gemeenten
4.2.1 Dataverzamelingsmethode
Om erachter te komen in hoeverre gemeenten de participatieresultaten willen gebruiken en welke rol ze willen aannemen op het moment dat deze resultaten worden gegenereerd, is er een kwalitatief onderzoek uitgevoerd middels semigestructureerde interviews (zie paragraaf 4.2.3) met gemeentelijke medewerkers die zich bezighouden met vergunningverlening en/of de Omgevingswet. Bij dit soort interviews wordt er een algemeen interviewschema gehanteerd waarin de vragen en de volgorde van de vragen niet vaststaan. In totaal zijn er acht hoofdvragen geformuleerd waar verder op kan worden doorgevraagd. Alle interviews zijn in juli en augustus 2020 afgenomen tijdens een videogesprek van maximaal een uur. De voorkeur ging uit naar face- to-face interviews, maar door de uitbraak van het Coronavirus was dit niet mogelijk. De
gemeentelijke medewerkers zijn op één manier uitgenodigd voor een interview. Op LinkedIn zijn zij geselecteerd door op functietitel te zoeken. De geselecteerde personen hebben een
persoonlijk bericht op LinkedIn gehad met de vraag of ze willen meewerken aan een interview. Er is voor een interview gekozen omdat hiermee goed doorgevraagd kan worden naar
achterliggende gedachtes. Hierdoor komt gedetailleerde informatie vrij. Daarnaast kan een interview overal plaatsvinden, dus ook in een omgeving waar de geïnterviewde zich het meest op zijn gemak voelt. Tot slot kunnen de vragen en de volgorde worden aangepast nadat enkele interviews al hebben plaatsgevonden. Dit kan bijvoorbeeld aan de orde zijn als blijkt dat de opzet van het interview niet blijkt te werken. Ook tijdens een interview kan de interviewer sturing geven aan het gesprek om de best mogelijke antwoorden te krijgen. Er is dan ook voor een semigestructureerd interview gekozen, omdat hierbij enigszins mag worden afgeweken van het interviewschema, waardoor het mogelijk wordt om op sommige onderwerpen door te vragen.
4.2.2 Onderzoekspopulatie en steekproefpopulatie
In totaal zijn er veertien interviews afgenomen. Deze groep is te klein om representatief te zijn voor de onderzoekspopulatie, want hiertoe behoren alle gemeentelijke medewerkers van Nederland. Pas bij enkele (tientallen) duizenden interviews zou de steekproefpopulatie
representatief kunnen zijn voor de onderzoekspopulatie. Het aantal geïnterviewden is misschien niet voldoende om representatief te zijn, maar dit is bij een kwalitatief onderzoek ook een minder strenge vereiste. Bij dit soort onderzoeken gaat het meer om de beredenering dan om het vinden van statistische verbanden.
Aan de hand van een paar sociaal-demografische kenmerken is wel bekeken hoe de
onderzoekspopulatie is verdeeld. De functie van de geïnterviewden is bekend (zie tabel 13), als ook de gemeenten waarvoor ze werken (zie afbeelding 1). Verder is bekend dat vijf
geïnterviewden van het vrouwelijk geslacht zijn en 9 van het mannelijke geslacht. Verdere informatie over de geïnterviewden wordt hier niet benoemd om de anonimiteit te waarborgen. Om deze rede zijn de verschillende sociaal-demografische kenmerken van een geïnterviewde ook niet aan elkaar
4.2.3 Operationalisatie
Het stroomschema in paragraaf 3.2.5 laten zien dat een gemeente een aantal keuzes kan maken omtrent het gebruik van
participatieresultaten in hun
vergunningverleningsproces. Wanneer een gemeente ervoor kiest om de participatieresultaten te gebruiken binnen het vergunningverleningsproces, kan ze er vervolgens voor kiezen om te controleren of deze resultaten behoorlijk zijn gegenereerd of om de vergunningaanvrager hierop te vertrouwen. Daarnaast kan ze er ook nog voor kiezen om een vergunningaanvrager actief te stimuleren en te ondersteunen. Deze keuzes zijn verwerkt in een aantal interviewvragen.
Dimensies Items Willen
gebruiken
Als de vergunningaanvrager participatie heeft georganiseerd, gaan jullie dit dan gebruiken binnen het vergunningverleningsproces?
Waarom? Hoe?
Als de vergunningaanvrager op een goede manier participatie heeft
georganiseerd, heeft de gemeente dan geen taak meer aan het in kaart brengen van belangen?
Waarom wel?
Afbeelding 1: Gemeentes waar de geïnterviewden voor werken
Tabel 13: Functies van de geïnterviewden
Functie
Projectleider Participatie en Omgevingswet Regisseur Omgevingsvergunningen
Specialist Omgevingswet
Allround Vergunningverlener Omgevingswet Procesmanager Omgevingswet
Participatieadviseur Fysieke Leefomgeving Programmamanager Implementatie Omgevingswet
Projectleider Omgevingsvergunningen Strategisch Adviseur Beleid en Ontwikkeling Projectleider Dienstverlening Omgevingswet Senior Medewerker Team Klantcontact Omgeving
Programmamanager Omgevingswet Projectcoördinator Omgevingswet Programmanager Implementatie Omgevingswet
Waarom niet?
Gaat motiveren Als jullie de participatieresultaten willen gebruiken, gaan jullie
vergunningaanvragers dan motiveren om participatie te organiseren, aangezien het niet verplicht is?
Waarom wel? Op welke manier?
Waarom niet?
Willen controleren
Als jullie de participatieresultaten willen gebruiken, gaan jullie deze dan controleren of vertrouwen jullie erop dat deze behoorlijk zijn gegenereerd?
Waarom controleren? Waarop controleren?
Waarom vertrouwen?
Heeft bepaalde verwachtingen
Als jullie gaan controleren, wat verwachten jullie dan van de vergunningaanvrager omtrent de voorbereiding van participatie?
Waarom?
Als jullie gaan controleren, wat verwachten jullie dan van de vergunningaanvrager omtrent de inrichting van participatie?
Waarom?
Als jullie gaan controleren, wat verwachten jullie dan van de vergunningaanvrager omtrent het gebruik van participatieresultaten?
Waarom?
Gaat
ondersteunen
Als jullie de participatieresultaten willen gebruiken, gaan jullie
vergunningaanvragers dan ondersteunen bij het organiseren van participatie, aangezien niet iedereen dezelfde kennis, vaardigheden en middelen heeft?
Waarom wel? Op welke manier?
Waarom niet?
Tabel 14: Dimensies en items bij het 'gebruik van participatieresultaten'
4.2.4 Data-analysemethode
Alle interviewopnames zijn geüpload in het transcribeerprogramma Amberscript. Dit is een programma dat spraakopnames omzet naar tekst. Handmatig transcriberen is veel werk waarbij de focus op een gegeven moment kan afnemen. De tekst die Amberscript heeft geproduceerd is echter wel nauwkeurig nagekeken door ondertussen de spraakopnames te beluisteren.
Vervolgens zijn alle teksten gecodeerd door te zoeken naar tekstfragmenten waarin iets werd gezegd over de dimensies die in dit onderzoek centraal staan. Deze tekstfragmenten zijn gelabeld onder de noemer van de desbetreffende dimensie. Vervolgens zijn alle tekstfragmenten met dezelfde labels bij elkaar gezocht om zo inzichtelijk te maken hoe alle geïnterviewden zich uitspreken over een bepaalde dimensie.
4.2.5 Interne en externe validiteit en betrouwbaarheid
Bij een semigestructureerd interview wordt de interne validiteit bepaald door begripsvaliditeit, inhoudsvaliditeit en ecologische validiteit. Daarvoor is eerst tijdens een literatuurstudie (zie theoretisch kader) gekeken naar hoe in al bestaande onderzoeken het begrip (factor) wordt gedefinieerd en welke dimensies hierbij aan het begrip worden gekoppeld. Om deze dimensies te kunnen meten zijn ze gegoten in items. Deze items zijn als vragen opgenomen in de interviews. Het interview meet op die manier daadwerkelijk de factoren waar het onderzoek om draait. Daarnaast zijn de vragen zo geformuleerd dat een ieder weet wat ermee wordt bedoeld en
ambigue begrippen zijn zoveel mogelijk toegelicht tijdens het interview. Tegelijkertijd is rekening gehouden met de inhoudsvaliditeit. Door het nauwkeurig operationaliseren van de begrippen is de kans klein dat er vragen vergeten zijn die een bepaalde dimensie hadden moeten meten. Daarnaast wordt elke dimensie door meerdere vragen in het interview gemeten. Ook met de ecologische validiteit is rekening gehouden. Daarvoor is onder andere het aantal vragen (acht hoofdvragen met verdiepingsmogelijkheden) in het interview beperkt gehouden om te voorkomen dat de aandacht van de geïnterviewden verslapt. Verder is de anonimiteit van de geïnterviewden gegarandeerd door ze in het resultatenhoofdstuk niet bij naam en toenaam te noemen. Hiermee wordt voorkomen dat ze sociaal wenselijke antwoorden gaan geven. Dit is ook bevorderd door het feit dat de interviews zijn afgenomen middels videogesprekken. De
geïnterviewden zaten in hun eigen vertrouwde omgeving waardoor de kans groter is dat ze zich op hun gemak voelden en eerlijker antwoordden.
Externe validiteit van een interview wordt gewaarborgd door een steekproefpopulatie die representatief is voor de onderzoekspopulatie. In paragraaf 4.2.2 is al gebleken dat dit niet het geval is. De conclusies die worden getrokken zullen gelden voor de steekproefpopulatie, maar er kan dus niet met honderd procent zekerheid worden beweerd dat ze ook gelden voor de
onderzoekspopulatie.
De betrouwbaarheid wordt bepaald door de mate waarin een meting vrij is van willekeurige meetfouten, oftewel in hoeverre de resultaten uit het onderzoek op toeval berusten. Ten eerste gaat het om de herhaalbaarheid van het onderzoek. Het is onmogelijk om tijdens de
onderzoeksperiode ter controle de meting voor een tweede keer uit te voeren. Daarom zijn alle interviewtranscripten opgenomen als bijlage (zie bijlage 2). Daarmee is inzichtelijk op welke wijze de onderzoeksresultaten zijn verkregen. Ten tweede worden met het transcribeerprogramma eventuele fouten in de uitwerking van de interviews voorkomen. Dit komt de betrouwbaarheid ten goede.