Om tot een goede beantwoording van de onderzoeksvraag te komen, worden twee fasen binnen het onderzoek onderscheiden. In de eerste plaats moet er een toetsingsmodel met evaluatie-criteria worden opgesteld, waarmee kan worden vastgesteld in hoeverre de inhoud van een GVVP aansluit op de inhoudelijke doelstellingen uit de SUMP richtlijnen. Vervolgens vindt de daadwerkelijke
toetsing van GVVPs plaats, aan de hand van het toepassen van het toetsingsmodel dat is opgesteld in de eerste fase en uitspraken op basis van SMART criteria.
Dit hoofdstuk beschrijft de onderzoeksmethoden die hierbij gebruikt worden. Er wordt daarbij gebruik gemaakt van kwalitatieve onderzoeksmethoden. Kwalitatieve onderzoeksmethoden staan voor alle manieren om gegevens te verzamelen of te categoriseren, die niet-numeriek van aard zijn. Dat zijn onder andere interviews, document analyses en observaties (Saunders et al., 2011).
3.2.1. Opstellen van een toetsingsmodel met evaluatie-criteria
De eerste stap op weg naar het empirisch onderzoek waarbij GVVPs getoetst worden, is het opstellen van een toetsingsmodel met evaluatie-criteria. De tweede stap is vervolgens het uitwerken van case studies in de vorm van het analyseren van GVVPs.
Strategie
Uit de klassieke benadering van beleidsevaluatie bleek dat beleidsdoelstellingen ingezet kunnen worden als instrument om het beleid waar deze op terug slaan te evalueren. Deze opvatting wordt in dit onderzoek overgenomen. Om het evalueren van GVVPs mogelijk te maken, moeten daarom aan de hand van de SUMP doelstellingen evaluatie-criteria worden opgesteld waarmee kan worden vastgesteld ‘in hoeverre’ het gemeentelijk beleid overeen komt met de doelstellingen die met een ‘SUMP proof’ document worden nagestreefd.
Om tot een toetsingsmodel te komen, wordt gekozen voor het ‘deskresearch’ als
onderzoeksstrategie. Over het algemeen gaat het in deze strategie om het gedeelte van het
onderzoek, waarbij wordt gewerkt met bronnen, die zowel kwantitatief als kwalitatief kunnen zijn en in verschillende vormen kunnen zijn vastgelegd (Klumper, 2014). In dit onderzoek wordt in de eerste plaats gebruik gemaakt van schriftelijke kwalitatieve bronnen in het uiteenzetten van de SUMP doelstellingen en het opstellen van een toetsingsmodel met evaluatiecriteria dat daaruit voorkomt. De methodologie die gehanteerd wordt in de eerste onderzoekstap is een combinatie van
documentenanalyse, aangevuld met het voeren van expert-interviews. Methodologie
De eerste onderzoeksmethode die naar wordt toegepast in het uitwerken van een toetsingsmodel voor GVVPs, is een documenten analyse.
Bij documenten analyse gaat het om een beschouwing van geschreven bronnen met een
communicatieve functie, waaruit de betekenis en bruikbaarheid voor het onderzoek geïnterpreteerd moet worden. Vaak worden hier vooraf vragen voor opgesteld die beantwoord worden tijdens het analyseren van de documenten (Reulink & Lindeman, 2005). In dit onderzoek wordt hoofdzakelijk gebruik gemaakt van twee sleuteldocumenten.
Een eerste belangrijke bron in het onderzoek is het document ‘Guidelines – developing and implementing a Sustainable Urban Mobility Plan’, uitgegeven door het European Platform on Sustainable Urban Mobility Plans, in opdracht van de Europese Commissie in 2009. Dit document
beschrijft de richtlijnen waaraan stedelijk verkeers- en vervoersbeleid moet voldoen, om zodoende als SUMP beschouwd te kunnen worden.
Een andere belangrijke bron komt voort uit een onderzoek dat het CROW-KpVV in 2012 heeft uitgevoerd. Het instituut heeft een onderzoek uitgevoerd naar de overeenstemming van de SUMP richtlijnen met GVVPs. In het onderzoek zijn zowel de procesmatige als inhoudelijke doelstellingen van SUMP richtlijnen gebruikt om GVVPs te analyseren. Het overnemen van SUMP richtlijnen als voorwaarde voor Europese subsidie voor steden, wordt daarbij als argument voor het uitvoeren van het onderzoek gezien.
Het onderzoek is beschreven in het document Sump, what’s in it for me?, uitgebracht in 2012 door het CROW-KpVV. Het voornaamste doel van de analyse van dit document is het bepalen van de mogelijkheden voor een toetsingskader voor inhoudelijke SUMP doelstellingen. Het toetsingskader dat door het CROW-KpVV toegepast is in de toetsing van GVVPs wordt daarbij als voorbeeld gebruikt voor de ontwikkeling van een toetsingskader voor dit onderzoek.
Naast deze twee documenten, worden Europese en nationale beleidsdocumenten gebruikt ter onderbouwing van het toetsingskader.
Naast de uitvoering van een documentenanalyse gebruik gemaakt van expert interviews. Een expert- interview kan worden toegepast indien een speciaal type respondenten bij het onderzoek wordt betrokken. Het gaan dan om personen die invloedrijk, vooraanstaand en goed geïnformeerd zijn op een bepaald gebied. De deskundigheid van deze respondenten kan waardevolle informatie
opleveren, omdat zij goed op de hoogte zijn van een breed scala aan aspecten binnen de organisatie of het beleid dat ze vertegenwoordigen (Reulink & Lindeman, 2005).
Het gebruiken van expert interviews als onderzoeksmethode, wordt in dit onderzoek toegepast als aanvulling en verdieping op de kennis uit de documentenanalyse. Het gaat daarbij om een kritische reflectie op de inhoudelijke SUMP doelstellingen. Binnen de toepassing van expert-interviews kan in dit kader worden gedacht aan gesprekken met personen die betrokken zijn of zijn geweest bij het opstellen van de SUMP richtlijnen en dus kennis hebben over dit thema op Europees niveau. Dit zijn leden van de Europese Commissie, maar ook andere specialisten die vanuit hun achtergrond ervaring hebben met SUMP beleid.
De expert interviews worden uitgevoerd op basis van een vooraf opgestelde vragenlijst, inhoudelijk overeenkomend met de opbouw van een semi-gestructureerd interview. Bij een semi-gestructureerd interview staat het gespreksverloop voorafgaand aan het interview grotendeels vast, doordat er vooraf vragen zijn opgesteld. Deze vragen geven richting aan het interview, maar het open karakter van de vragen biedt echter wel de mogelijkheid om eventueel dieper in te gaan op een bepaald thema (Saunders, 2011).
Voor het opstellen van evaluatiecriteria wordt zodoende gebruik gemaakt van een
documentenanalyse, waarin twee documenten leidend zijn en daarnaast vinden interviews plaats met experts op Europees en nationaal niveau. Op basis van deze bronnen wordt het evaluatiekader opgesteld.
3.2.2 Evaluatie van SUMP richtlijnen in GVVPs
In de tweede onderzoeksstap vindt de daadwerkelijke toetsing van GVVPs plaats, op basis van het toetsingsmodel dat is opgesteld in de eerste fase van het onderzoek.
Strategie
Een voor de hand liggende kwalitatieve onderzoeksstrategie waarmee dit onderzoek kan worden uitgevoerd is het uitvoeren van case studies. Met een case studie vindt empirisch onderzoek plaats, waarmee een fenomeen of situatie als onderzoeksobject binnen haar context kan worden
onderzocht. Dit maakt het mogelijk om een het onderzoeksobject intensief te analyseren, waarbij bepaalde eigenschappen gedetailleerd kunnen worden beschreven (Flyvbjerg, 2006).
Met het uitvoeren van case studies kan worden bepaald in hoeverre resultaten uit een afzonderlijke case ook naar voren komen in andere cases. Dit maakt het mogelijk om onderzoeksresultaten te generaliseren en dat leidt er toe dat case studies over het algemeen als betrouwbaarder kunnen worden beschouwd (Yin, 2003a). De generaliseerbaarheid van de onderzoeksresultaten en de mate waarin conclusies een representatief beeld van de werkelijkheid geven bepalen de externe validiteit van een onderzoek (Korzilius, 2008).
Het beeld dat volgt uit de generalisatie van de uitgewerkte case studies kan volgens Flyvbjerg (2006) gebruikt worden om diepgaander vervolgonderzoek mogelijk te maken. Het uitvoeren van de generalisatie van resultaten uit de case studies draagt dan bij aan het vormen van hypotheses hiervoor, om op basis daarvan verwachtingen over vergelijkbare cases te kunnen onderbouwen Dit sluit aan op de descriptieve methodologische inslag van dit onderzoek.
Daarnaast kunnen conclusies van dit onderzoek mogelijk ook van betekenis zijn voor andere Nederlandse gemeenten, waarvan de GVVPs niet zijn gebruikt in de toetsing op inhoudelijke doelstellingen uit de SUMP richtlijnen.
Methodologie
Het uitwerken van de case studies bestaat uit een analyse van een selectie van GVVPs. De onderzoeksmethode die hierbij wordt gehanteerd is een documentenanalyse. Het gaat daarbij volgens de beschrijving uit subparagraaf 3.2.1 om een beschouwing van geschreven bronnen met een communicatieve functie, waaruit de betekenis en bruikbaarheid voor het onderzoek
geïnterpreteerd moet worden (Reulink & Lindeman, 2005).
De bronnen waar het in dit geval om gaat zijn de GVVPs die geëvalueerd worden op basis van het toetsingskader uit de eerste onderzoekstap. De citaten die in deze documenten worden gedaan, worden zodanig geïnterpreteerd dat deze bruikbaar zijn voor het onderzoek.
Zoals naar voren kwam in hoofdstuk 2, wordt bij het analyseren van de documenten gebruik gemaakt van SMART criteria. Aan het eind van elke paragraaf in de hoofdstukken van de GVVP analyse, wordt op basis van de SMART criteria een overzicht gegeven van hoe sterk de aansluiting op de SUMP doelstellingen is.
Aan elk onderdeel van de SMART criteria wordt in tabellen een scores toegekend die het mogelijk maken om cases te vergelijken.
Criteria voor GVVP selectie
Er zijn verschillende criteria te bedenken op basis waarvan GVVPs geselecteerd kunnen worden. In het officiële beleidsdocument waarin de richtlijnen voor het ontwerpen en implementeren van een SUMP worden beschreven, wordt door de Europese beleidsmakers uitgegaan van steden met een inwoneraantal van minimaal 100.000 personen. In deze steden zijn over het algemeen grotere mobiliteitsopgaven daarmee is het verkrijgen van Europese subsidies mogelijk ook aannemelijker. Daarnaast zal het mobiliteitsbeleid van grote steden in mindere mate worden beïnvloed door omliggende steden, waardoor een in zekere mate onafhankelijk mobiliteitsbeleid kan worden geformuleerd.
De GVVPs die in dit onderzoek worden geselecteerd, zijn conform de SUMP richtlijnen afkomstig van steden met meer dan 100.000 inwoners, zij representeren een groot deel van de vergelijkbare andere steden in Nederland.
Daarbij wordt als tweede overweging meegenomen dat een GVVP niet ouder dan 10 jaar mag zijn, waarmee wordt getracht een zo recent mogelijk beleid te evalueren.
Op basis van deze overwegingen zijn uiteindelijk de volgende steden gekozen: Amersfoort,
Eindhoven, Emmen en Almere. Tabel 2geeft een overzicht van de kerngegevens van deze steden.
Stad Inwoner aantal Jaar van vaststelling GVVP
Amersfoort 153.000 2013
Eindhoven 225.000 2013
Emmen 107.000 2012
Almere 198.000 2012