Validiteit en betrouwbaarheid van dit onderzoek

De validiteit en betrouwbaarheid hangen van veel verschillende factoren af. In deze paragraaf zullen de meest belangrijke onderdelen van dit onderzoek besproken worden om daarna aandacht te besteden aan de storingsbronnen die Van Thiel (2007: 59, 93-95) benoemt.

53

4.5.4.1 Operationalisatie

Om een oordeel over de validiteit en betrouwbaarheid van dit onderzoek te kunnen vellen is het allereerst de vraag of de indicatoren voor de theoretische constructen correct zijn opgesteld, oftewel of de operationalisatie van een goede kwaliteit is. Voor elk theoretisch construct is een unieke indicator opgesteld zodat elk theoretisch construct zijn individuele maatstaf heeft en er geen verwarring of confounding kan optreden. Dit garandeert de interne validiteit van dit onderzoek. Daarnaast zijn de indicatoren zo opgesteld dat ze zo nauwkeurig mogelijk een variabele kunnen meten en goed in staat zijn onderscheid te maken tussen de verschillende soorten waarden die in de empirie voorkomen ten einde de nauwkeurigheid (een van de twee elementen van betrouwbaarheid) van dit onderzoek te bewerkstelligen. Toch is er een indicator die met betrekking tot de nauwkeurigheid enigszins zorgen baart, de indicator voor de mate van problematiek. Deze indicator is gebaseerd op de interpretatie van beleidsambtenaren, maar ieder individu interpreteert de werkelijkheid om zich heen op eigen wijze en het is goed mogelijk dat verschillende beleidsambtenaren een bepaalde situatie met verschillende scores classificeren. Het gaat hier echter om het inzicht van professionals die dagelijks met dergelijke materie van doen hebben en over het algemeen een goed inzicht hebben in de kwaliteit van de gemeentelijke PWV. Het is dan ook de verwachting van dit onderzoek dat de toegepaste indicator in voldoende mate in staat is tot een nauwkeurige variabele te komen.

4.5.4.2 Enquête

Op basis van twee indicatoren, de mate van problematiek en de vraag of een gemeente actief beleid voert, is er een enquête opgesteld. De kwaliteit van deze enquête is het volgende punt dat van grote invloed is op de validiteit en betrouwbaarheid van dit onderzoek. Dit onderzoek heeft rekening gehouden met verschillende criteria voor het opstellen en uitvoeren van een enquête: er is een pilot uitgevoerd onder deskundigen, er is een begeleidende brief met toelichting toegevoegd en enkele vragen zijn voorzien van een begeleidende uitleg. Daarnaast zijn de vragen merendeels van gesloten aard en waar mogelijk voorzien van antwoordmogelijkheden op basis van een Likertschaal. Vaktechnisch of wetenschappelijk jargon is zo veel mogelijk vermeden en de antwoordmogelijkheden zijn zó geformuleerd dat ze elkaar uitsluiten en elkaar niet overlappen. Er is bewust geen steekproef toegepast; de gehele populatie is aangeschreven om de externe validiteit van dit onderzoek te kunnen garanderen. Dit zorgt ook voor een stevige fundatie van de consistentie van dit onderzoek. Dit onderzoek heeft ervoor gekozen om geen controlevariabelen in de vragenlijst op te nemen om zo de vragenlijst zo kort en bondig mogelijk te houden, in de hoop een zo hoog mogelijk responspercentage te behalen. Om non-response te voorkomen is er ook een herinneringsmail verstuurd die zeer effectief bleek. Dit onderzoek prijst zich dan ook gelukkig met een responspercentage van meer dan 30% en een proportionele verdeling naar regio en inwonersaantal, wat de representativiteit van de onderzoekspopulatie ten opzicht van de gehele populatie versterkt.

4.5.4.3 Deskresearch

Om de scores voor de andere vier variabelen vast te stellen (economische factoren, politieke oriëntatie, wethouder lokaal of landelijk en uitvoeringscapaciteit), is gebruik gemaakt van deskresearch met als bronnen de database Statline van het CBS, de Gids gemeentebesturen en data die rechtstreeks van gemeenten is verkregen. Deze bronnen kunnen de validiteit en betrouwbaarheid van dit onderzoek beïnvloeden, maar men mag van dergelijke bronnen verwachten dat de betrouwbaarheid en validiteit van een hoog niveau zijn.

4.5.4.4 Dataverwerking

De data waar de variabelen die voor dit onderzoek worden toegepast uit bestaan, wordt, met uitzondering van de variabelen politieke oriëntatie wethouder en wethouder lokaal of landelijk, digitaal verzameld, verwerkt en opgeslagen.

54 De data voor de variabelen actief beleid en mate van problematiek wordt aan de hand van de digitale enquête verzameld. Hiervoor wordt gebruik gemaakt van het softwareprogramma Survey monkey dat het mogelijk maakt de responsies op deze enquête digitaal aan de hand van een Excelbestand te verzamelen en verwerken. Voor de variabelen economische factoren en uitvoeringscapaciteit zal de database van CBS, CBS Statline, geraadpleegd worden. De data die door het CBS vrijelijk beschikbaar wordt gesteld wordt aan de hand van downloadbare Excelbestanden verworven en verwerkt. Omdat de data voor deze vier variabelen aan de hand van digitale bestanden wordt verworven is het mogelijk in Excel een digitale dataset samen te stellen door Excel de opdracht te geven de diverse gegevens op basis van de naam van een gemeente en variabele automatisch te rangschikken. Hierdoor is de kans op fouten tijdens de dataverwerking veel kleiner dan bij een handmatige invoer van deze gegevens. Desalniettemin zal de dataset steekproefsgewijs gecontroleerd worden op eventuele onvolkomenheden.

Aan deze dataset worden vervolgens de gegevens voor de variabelen politieke oriëntatie wethouder en wethouder lokaal of landelijk toegevoegd. Voor de verzameling van deze gegevens zal er eerst een digitaal bronbestand gecreëerd worden dat vervolgens, voor zover dat mogelijk is, meermaals steekproefsgewijs op invoerfouten wordt nagelopen. Zodra de gegevens in het digitale bronbestand compleet zijn worden deze gegevens net zoals voor de vier andere variabelen aan de dataset toegevoegd door Excel de opdracht te geven de diverse gegevens op basis van de naam van een gemeente en variabele automatisch te rangschikken.

Als de dataset compleet is wordt er nogmaals een steekproefsgewijze controle op de juistheid van de gegevens uitgevoerd, wordt het digitale bestand opgeslagen en wordt er een back-up gecreëerd. Als de dataset tijdens de loop van het onderzoek wordt aangepast door bijvoorbeeld het eventueel verwijderen van casussen, dan zal er naderhand nogmaals een steekproefsgewijze controle worden uitgevoerd om er zeker van te zijn dat de wijziging correct is doorgevoerd en geen invloed heeft gehad op de overige data waaruit de dataset bestaat.

4.5.4.5 storingsbronnen

Van Thiel benoemt drie soorten en drie specifieke storingsbronnen waarvan de invloed op dit onderzoek nu een voor een worden besproken.

Als men de onderzoeksmethode en meetinstrumenten van dit onderzoek als storingsbronnen in ogenschouw neemt dan kan het risico op meetafwijking door het lerende vermogen van de onderzoeksobjecten direct op nihil gesteld worden. Met betrekking tot het onderwerp van probleemplukken is het namelijk de eerste keer dat gemeenten onderwerp van onderzoek zijn (op een dergelijke schaal) en zij hebben dan ook niet de kans gehad om van een eerdere ervaring leren. Daarnaast zijn tijdens dit onderzoek steeds dezelfde meetinstrumenten toegepast zonder deze tijdens de loop van het onderzoek aan te passen. Op basis van deze storingsbron is het dan ook niet mogelijk dat de vergaarde data niet vergelijkbaar is en de geldigheid van de theoretische constructen wordt dus niet aangetast.

Kijkt men naar de onderzoeker als storingsbron dat moet ten eerste worden opgemerkt dat deze zich terdege bewust is geweest van de bias die hij (op meerdere fronten) met zich meedraagt. Daarnaast kan dit onderzoek alleen maar hopen dat er geen (grote) fouten tijdens de uitvoering van dit onderzoek zijn gemaakt maar dit is natuurlijk niet op voorhand uit te sluiten.

De onderzoekseenheden als storingsbron leveren ook geen risico voor de validiteit op, omdat er geen sprake is van waarnemingen over een langer tijdsbestek maar van waarnemingen op slechts een enkel moment.

De operationalisatie als storingsbron is reeds behandeld. Wel kan nog worden opgemerkt dat het niet toepassen van controlevragen betekent dat de vragen niet statistisch op betrouwbaarheid kunnen worden gecontroleerd. Dit tast de betrouwbaarheid van dit onderzoek dus enigszins aan.

55 Ten aanzien van non-response als storingsbron hoeft dit onderzoek niet te vrezen voor aantasting van de externe validiteit van dit onderzoek. Enerzijds omdat dit onderzoek geen gebruik maakt van een steekproef en anderzijds omdat de respondenten het aanzienlijke percentage van meer dan 30% van de populatie beslaan en deze proportioneel verdeeld zijn naar regio en inwonersaantal.

De laatste storingsbron, sociaalwenselijke antwoordtendenties, kan zich ook binnen dit onderzoek voordoen. Het is bijvoorbeeld goed mogelijk dat respondenten de mate van problematiek binnen hun gemeente rooskleuriger proberen voor te stellen dan daadwerkelijk het geval is om negatieve beeldvorming te voorkomen. Dit onderzoek heeft respondenten er echter nadrukkelijk op gewezen dat de vergaarde data en onderzoeksresultaten geanonimiseerd worden en dat dergelijk gedrag dus geen enkel doel dient. Het is ook mogelijk dat respondenten de situatie binnen hun gemeente juist negatiever afschilderen dan daadwerkelijk het geval is, omdat ze de problematiek onder de aandacht proberen te brengen, maar dit onderzoek verwacht dat de kans dat dit voorkomt zeer klein is. Om de kans op sociaalwenselijke antwoordtendenties te verkleinen heeft dit onderzoek een pilot uitgevoerd en enkele kleine tekstuele aanpassingen gedaan, en zijn de antwoordmogelijkheden van de gesloten vragen zo veel mogelijk op basis van een Likertschaal opgesteld. Daarnaast is het de aanname van dit onderzoek dat de respondenten, beleidsambtenaren van de afdelingen bouw en/of wonen, over het algemeen professioneel en deskundig genoeg zijn om zich van dergelijk gedrag te onthouden.