3. Methodologisch kader
3.5. Operationalisatie van variabelen
3.5.1. Afhankelijke variabele
Variabele Stipulatieve definitie Meetwijze
Gradatie van burgerparticipatie
Het betrekken van burgers bij de typen van producten die de gemeente aanbiedt op een wijze die correspondeert met een van de vijf treden van de participatieladder Enquête & interviews Dimensies Indicatoren Informeren
- Burgers op de hoogte gehouden van genomen beslissing - Burgers geen inbreng in beslissing
- Niet voortvloeiend uit algemene of juridische plicht, maar uit vrijwillige keuze
Raadplegen - Burgers gesprekspartners van gemeente
- Burgers geraadpleegd over problemen
- Burgers kunnen mening uiten over een aantal aan hen voorgelegde keuzes
Samen beslissen - Burgers geraadpleegd over problemen
- Burgers aangespoord om ideeën/opties uit te denken
- Gemeente en burgers besluiten samen over de vervolgstappen - Uitvoering van vervolgstappen door gemeenten
Samen handelen - Burgers en gemeenten hebben een gezamenlijk probleemagenda
- Burgers en gemeenten komen overeen wat de beste oplossingen zijn
- Burgers en gemeenten vormen samen een partnerschap om de oplossingen uit te voeren
Ondersteunen initiatieven
- Burgers door gemeenten geholpen bij ontwikkelen en verwezenlijken van onafhankelijk bedachte plannen
- Burgers vragen toestemming/gemeenschapsgeld om zelf overheidstaken uit te voeren
3.5.2. Onafhankelijke variabelen
Variabele Stipulatieve definitie Meetwijze
Doel van
burgerparticipatie
Wat beoogd wordt te bereiken met het inzetten van burgerparticipatie bij een bepaald type product
Enquête & interviews
Dimensies Indicatoren
Educatie
- Informeren van de burger - Beslissing al genomen - Weinig beleidsruimte
Overhalen
- Steun krijgen voor aanbevolen (beleids)optie - Burgers laat betrekken bij besluitvorming - Weinig onenigheid/conflict
Meten
- Waarden en houdingen achterhalen
- Achterhalen of burgers bereid zijn concessies te doen - Peilen van steun (i.v.m. politieke haalbaarheid)
Ontdekking
- Zoeken naar (representatieve) probleemdefinitie - Gezamenlijke taal ontwikkelen
- Evaluatiecriteria ontwikkelen
Legitimiteit
- Veel onenigheid/conflict
- Burgers betrekken bij bedenken, afwegen en/of kiezen (beleids)optie
- Zorgen voor representatieve beslissingen Tabel 3.3. Operationalisatie ‘doel van burgerparticipatie’.
Variabele Stipulatieve definitie Meetwijze
Aard van het (beleids)onderwerp
De aard van het (beleids)onderwerp en het (beleids)probleem dat aan een type product ten grondslag ligt
Enquête & interviews
Dimensies Indicatoren
Mate van conflict - Wel/Geen eensgezindheid over normen en waarden van
(beleids)onderwerp
Hoge mate van
vertrouwen in informatie over het onderwerp
- Vertrouwen in- en aanwezigheid van relevante kennis die vereist is om het probleem op te lossen
Lage mate van
vertrouwen in informatie over het onderwerp
- Relevante kennis die vereist is om het probleem op te lossen: o Ontbreekt;
o Is verouderd; o Is twijfelachtig.
- Objectiviteit van informatie(bron) twijfelachtig Aantal
keuzemogelijkheden
- Hoeveelheid mogelijke (beleids)opties beperkt, weinig of oneindig
- (Beleids)opties concreet/afgebakend of abstract/onbegrensd?
Kennis over de gevolgen zeker of marginale risico’s en zekerheid dat gevolg zich voordoet is te berekenen
- Aanwezigheid van kennis over de (waarschijnlijke) gevolgen beleidsoptie
- Voordelen en risico’s van gevolgen worden afgewogen
Kennis over de gevolgen onzeker of onbekend en risico’s en zekerheid dat gevolg zich voordoet is lastig/niet te berekenen
− Afwezigheid van kennis over de (waarschijnlijke) gevolgen beleidsoptie
− Voorkeur voor incrementele aanpassingen
− Voorkeur voor minimaliseren van ongewenste gevolgen
Variabele Stipulatieve definitie Meetwijze
Rolopvatting van ambtenaren
Impliciete veronderstellingen die ambtenaren hebben van de functie en het functioneren van de overheid en hun eigen rol daarin, die richtinggevend zijn voor het concrete gedrag en de keuzes die zij maken Enquête & Interviews Dimensies Indicatoren De kleurloze ambtenaar
- Bovenal verantwoordelijk voor implementeren van beleid - Verantwoording vooral afgelegd aan politieke bazen - Burger dient onvrede via stembureau te uiten
De deskundige
- Bovenal verantwoordelijk voor het maken van waardevrije en rationele besluiten
- Expertise/taak is legitimatie van handelwijzen
- Zekere arrogantie ten aanzien van vertegenwoordigers van deelbelangen
- Respect voor andere experts
- Burgers zijn cliënten van bureaucratie die bouwen op expertise ambtenaar
De onderhandelaar
- Bovenal vertegenwoordiger van bepaald belang - Gericht op bereiken compromis met andere belangen - Burgers zijn investeerders/aandeelhouders in publiek belang - Ambtenaren moeten verstandig investeren namens burgers om het
rendement voor de gemeenschap en individuele investeerders te maximaliseren
De verbinder
- Bovenal verantwoordelijk om met burgers tot gezamenlijke probleemdefinitie- en aanpak te komen
- Betrokkenheid burger voorwaarde voor ontwikkelen goede voorstellen (met draagvlak en zijn zinvol)
- Sprake van gezamenlijk leerproces waarbij voorkeuren en opvattingen voor wederzijdse beïnvloeding vatbaar zijn
- Burgers en ambtenaren zijn samen verantwoordelijk om sterke en gezonde gemeenschappen te onderhouden en burgers hebben als (mede-)eigenaren een verplichting hierin een actieve rol te nemen - Voor ontwikkeling burgerschap is het van belang dat iedereen meedoet aan het inrichten van het publieke domein en deze ambtenaar biedt hierin ondersteuning
3.6. Validiteit en betrouwbaarheid
De validiteit en betrouwbaarheid hebben betrekking op de methodologische kwaliteit van het onderzoek (Bleijenbergh, 2016, p. 119). Dit onderzoek behelst een mixed-methods onderzoek, maar legt de nadruk op het kwalitatieve gedeelte van het onderzoek. Vandaar dat de validiteit en betrouwbaarheid met name worden beoordeeld op een wijze dat past bij kwalitatief onderzoek. Wanneer onderzoekers het hebben over de validiteit van kwalitatief onderzoek, doelen zij op onderzoek waarvan de opzet plausibel, geloofwaardig, vertrouwenswaardig en zodoende verdedigbaar is (Burke Johnson, 1997, p. 282). Daaropvolgend verwijst de betrouwbaarheid naar een deugdelijke uitvoering van het onderzoek (Van Zwieten & Willems, 2004, p. 631). Deze paragraaf gaat in op de methoden die zijn gebruikt om de betrouwbaarheid en de validiteit van het onderzoek te waarborgen. Tot slot wordt – ondanks dat dit onderzoek de nadruk legt op het kwalitatieve gedeelte van het onderzoek – kort stilgestaan bij enkele risico’s van mixed-methods onderzoek die op dit onderzoek van toepassing kunnen zijn.
3.6.1. Interne validiteit
De validiteit bestaat uit enerzijds de interne validiteit en anderzijds de externe validiteit (Bleijenbergh, 2016, pp. 119-120). De ‘interne validiteit’ richt zich op de kwaliteit van de conclusies van het onderzoek. De onderzoeker dient hierbij te reflecteren op de vraag of er wellicht systematische vertekening kan zijn in de wijze waarop is waargenomen of geanalyseerd (Bleijenbergh, 2016, p. 120). Hierbij dient de onderzoeker zichzelf af te vragen of wel gemeten wordt wat hij wilde meten en of er geen andere mogelijke verklaringen voor de genoemde problematiek bestaan.
Ter verbetering van de interne validiteit is in dit onderzoek ‘triangulatie’ toegepast. Triangulatie is het naast elkaar leggen en vergelijken van informatie en conclusies door het gebruiken van meerdere
databronnen om het verschijnsel te begrijpen, meerdere onderzoeksmethoden om het verschijnsel te
bestuderen en/of meerdere theorieën om de data te interpreteren en te verklaren (Burke Johnson, 1997, p. 283; Mays & Pope, 2000, p. 51). In dit onderzoek worden data verzameld vanuit meerdere bronnen – ambtenaren die verantwoordelijk zijn voor verschillende typen van producten –, wat maakt dat het onderzochte verschijnsel vanuit verschillende perspectieven wordt bekeken. Het voordeel hiervan is dat een vertekening van de conclusies, omdat deze slechts vanuit één perspectief zijn getrokken, wordt vermeden (Bleijenbergh, 2016, p. 110). Daarnaast worden er ook meerdere methoden gebruikt – enquête en interviews – om de data te verzamelen. Het combineren van verschillende methodes kan de kwaliteit van de waarneming vergroten, omdat beide vormen van dataverzameling en analyse elkaar kunnen aanvullen en elkaars tekortkomingen kunnen compenseren (Bleijenbergh, 2016, pp. 14-15, 44 & 110). Tot slot vindt er
patronen voorspeld die samenhangen met de mogelijkheden van- of keuze voor bepaalde treden van de participatieladder en vervolgens is door middel van de analyse bepaald in hoeverre deze patronen overeenkomen met de resultaten, hetgeen ‘pattern matching’ wordt genoemd (Burke Johnson, 1997, pp. 282-283). Het verschijnsel vanuit meerdere theorieën onderzoeken en het vergelijken van de verwachte patronen met de resultaten, kan helpen bij het ontwikkelen van meer overtuigende verklaringen van het verschijnsel.
Verder zullen de interviews ten behoeve van de ‘interpretatieve validiteit’, wat doelt op het correct begrijpen en schetsen van de zienswijzen, gedachten, gevoelens, intenties en ervaringen van de geïnterviewden, uitgewerkt worden in geanonimiseerde transcripten. Het citeren van passages uit deze transcripten – die de exacte woorden van de geïnterviewden bevatten – in de analyse van dit onderzoek, zorgt ervoor dat de lezer zelf de perspectieven van deze ambtenaren kan ervaren.
3.6.2. Externe validiteit
De ‘externe validiteit’ doelt op de vraag of de bevindingen van het onderzoek zijn te generaliseren naar een grotere populatie (Bleijenbergh, 2016, p. 120). Kwalitatief onderzoek is echter lastig te generaliseren naar andere mensen, omgevingen en momenten (Burke Johnson, 1997, pp. 289-290). De redenen hiervoor zijn dat de onderzochte mensen en omgeving(en) niet willekeurig zijn gekozen en dat kwalitatief onderzoek zich doorgaans richt op het documenteren van specifieke in plaats van universele bevindingen. Vandaar dat de letterlijke uitkomsten van een casestudy – gericht op specifieke bevindingen over een bepaalde case – niet te generaliseren zijn (Bleijenbergh, 2016, p. 12). De onderzochte patronen die samenhangen met het verschijnsel kunnen mogelijk wel generaliseerbaar zijn. Hiervoor geldt namelijk dat des te meer de mensen en omstandigheden in het onderzoek lijken op de groep/omstandigheden waarnaar gegeneraliseerd wordt, des te meer de generalisatie verdedigbaar is (Burke Johnson, 1997, p 290).
In dit onderzoek wordt uitgebreid stilgestaan bij het geven van informatie – wie/wat wordt onderzocht, op basis waarvan de caseselectie en selectie van databronnen heeft plaatsgevonden en de methodes van dataverzameling en data-analyse – die de lezer kan helpen een goed oordeel te vellen over of de patronen in dit onderzoek te generaliseren zijn naar bepaalde (andere) groepen. Bovendien kan het onderzoek op basis van deze informatie worden gerepliceerd. Dit komt de externe validiteit ten goede omdat de ‘replicatielogica’ ervan uitgaat dat des te vaker de bevindingen bevestigd worden in een replica van het onderzoek dat is uitgevoerd met andere groepen mensen, des te meer het verdedigbaar is de conclusies van het onderzoek te generaliseren (Burke Johnson, 1997, p. 290).
3.6.3. Betrouwbaarheid
waarnemingseenheden, wat het moeilijk maakt om deze afwijkingen uit te sluiten. In dit onderzoek wordt dit onder andere gecompenseerd doordat er ook een enquête wordt gehouden met een groter aantal waarnemingseenheden en doordat de uitspraken beperkt zullen worden tot het domein dat in dit onderzoek wordt onderzocht (Bleijenbergh, 2016, p. 120). Daarnaast vergroot ook de keuze voor een semigestructureerd interview de betrouwbaarheid omdat voorgestructureerde vragen ervoor zorgen dat alle geïnterviewden dezelfde vragen krijgen voorgelegd (Bleijenbergh, 2016, p. 74).
In kwalitatief onderzoek wordt het criterium van betrouwbaarheid echter vaak vervangen door de ‘controleerbaarheid van de dataverzameling’ (Bleijenbergh, 2016, p. 120). Door inzichtelijk te maken welke keuzes zijn gemaakt tijdens het selecteren van respondenten of documenten en door de interviewdata zorgvuldig vast te leggen in transcripten – zoals in dit onderzoek is gedaan – is dit proces door anderen na te volgen. Het vorenstaande komt de ‘interne betrouwbaarheid’ ten goede, wat doelt op een mogelijke vertekening van de resultaten door de invloed van een individuele onderzoeker (Van Zwieten & Willems, p. 631). Daarnaast wordt de interne betrouwbaarheid ook gewaarborgd doordat dit onderzoek is onderworpen aan een ‘peerreview’, dat een reflectie van collega-onderzoekers inhoudt ten behoeve van het doorlichten van de interpretatie van de data door de onderzoeker (Burke Johnson, 1997, p. 287).
Tot slot komt het uitgebreid stilstaan bij de selectie van respondenten en documenten in dit onderzoek – naast de externe validiteit zoals in 3.7.2. staat beschreven – ook de ‘externe betrouwbaarheid’ of repliceerbaarheid van het onderzoek ten goede (Van Zwieten & Willems, p. 632). Met deze informatie kan een andere onderzoeker het onderzoek repliceren en dezelfde resultaten verkrijgen als in dit onderzoek zijn verkregen.