Kritische Reflectie

In deze paragraaf wordt teruggekoppeld op het onderzoek, daarbij wordt kritisch gekeken naar de zwakke plekken en onderdelen die beter zouden kunnen. Hieruit volgen leerpunten en

aanbevelingen voor het doen van een vergelijkbaar vervolgonderzoek. Theoretische benadering

Dit onderzoek heeft voorzien in de mogelijke behoefte een theoretische benadering van de evaluatie van GVVP beleid in Nederland uit te werken. Uit de literatuur bleek dat een evaluatie zoals in dit onderzoek niet past binnen de principes van een klassieke evaluatietheorie of de ‘performance principle’ theorie, omdat er feitelijk geen sprake kan zijn van een evaluatie van het SUMP beleid omdat het geen invloed kan hebben gehad in de opzet van GVVPs.

De theorie is echter wel bruikbaar geweest voor het opzetten van het onderzoek. De inzichten uit de evaluatieliteratuur hebben bij gedragen aan het opzetten van een adequaat en systematisch

toetsingskader voor GVVPs.

Hoewel de aard van het onderzoek vanuit theoretisch wetenschappelijke context mogelijk als afwijkend is te noemen, heeft de keuze voor een pragmatische invulling en toepassing van de theorie, geleid tot een werkbaar empirisch model, dat zeer waarschijnlijk toepasbaar is op vergelijkbare GVVPs.

Het ontbreken van een geschikte theorie hoeft dus per definitie niet te betekenen dat een onderzoek niet uitvoerbaar is. Een analyse van theorieën die gerelateerd kunnen worden aan het thema kan inzichten bieden in de manier waarop het onderzoek geconstrueerd wordt. Maar mogelijk had een uitgebreider literatuuronderzoek een andere en meer bruikbare invulling van het onderzoek kunnen betekenen.

Toetsingskader

Het onderzoek is toepasbaar in het beoordelen van de mogelijkheid of gemeenten in aanmerking kunnen komen voor Europese subsidies. De notitie dat het implementeren van SUMP beleid in de toekomst een voorwaarde zal vormen voor deze subsidie en het feit dat er geen concreet

toetsingskader bestaat op Europees of nationaal niveau, verklaart de behoefte aan dergelijk

onderzoek. Dit onderzoek levert daarmee een bijdrage aan de kennis en mogelijkheid van steden om hun beleid te kunnen toetsen aan de inhoudelijke SUMP doelstellingen en daarmee de toekomstige Europese standaard.

Op basis van de vijf inhoudelijke SUMP doelstellingen is het toetsingskader opgesteld. Hieruit volgt welke onderdelen essentieel zijn in de implementatie van een SUMP en hoe daarmee in de SUMP doelstellingen wordt voorzien. Op die manier is het toch mogelijk geweest om op een

geconstrueerde manier een beleidsevaluatie uit te voeren naar de inhoud van GVVPs en de verhouding daarvan tot de SUMP doelstellingen.

Het opstellen van het toetsingskader is gedaan op basis van literatuur en interviews. Omdat er op Europees niveau geen concreet toetsingskader voor GVVPs bestaat, is de uitwerking van de SUMP doelstellingen gebaseerd op interpretatie. Dat was voldoende voor het doen van dit onderzoek, maar

het is denkbaar dat er verschillende opvattingen kunnen bestaan over de invulling van een doelstelling, waardoor een ander toetsingskader met andere onderzoeksresultaten mogelijk is. Interviews

Er is geprobeerd de interviews op een eenduidige manier af te nemen, om zo aan vergelijkbare data voor alle gemeenten te komen. Het feit dat de SUMP doelstellingen een brede interpretatie mogelijk maken, resulteert er echter ook in dat de antwoorden van de geïnterviewde personen soms ver uit elkaar liggen. Dit kan tevens gewijd worden aan de verschillen in positie en rol die deze personen innamen ten opzichte van de SUMP wetgeving. De inschatting is echter dat de consequentie hiervan voor de onderzoeksresultaten beperkt zijn geweest, omdat de beleidsdocumenten van de

gemeenten als een belangrijk ankerpunt hebben gediend voor de interpretatie van de interviews en de beoordeling van de mate waarin de GVVPs voldoen aan de SUMP doelstellingen.

Beleidscontext

In het onderzoek is nagegaan in hoeverre op gemeentelijk niveau invulling wordt gegeven aan de SUMP doelstellingen. Echter moet onderkend worden dat voor de daadwerkelijke uitvoering van het SUMP beleid door gemeenten, ook de rol en afhankelijkheid van andere partijen niet kan worden genegeerd. Zonder andere overheden (Rijk, provincies en EU) en samenwerking met private partijen bij het opstellen en uitvoeren van GVVPs, is het niet mogelijk om in de uitwerking van het SUMP beleid te voorzien.

Dat betekent dat de resultaten van het onderzoek enkel iets zeggen over de gemeentelijke plannen, maar niet over de daadwerkelijke uitwerking van beleid zoals dit in de dagelijkse besluitvorming tot stand komt. Het overeenstemmen van de gemeentelijke verkeer- en vervoersplannen aan de SUMP richtlijnen op planniveau is daarmee geen voorwaarde voor overeenstemming in de uiteindelijke uitwerking van het gemeentelijke beleid.

Methodiek van scoring

De formuleringen in de GVVPs zijn geanalyseerd op basis van SMART criteria. Deze methode wordt doorgaans toegepast in het beoordelen van de sterkte van doelstellingen. In dit onderzoek is de methode gebruikt in een poging richting te geven aan uitspraken over de mate waarin GVVP inhoud voldoet aan SUMP richtlijnen. Dit bood de mogelijkheid om vast te stellen hoe sterk formuleringen zijn en hoe daarmee de aandacht voor een bepaald SUMP onderdeel beschouwd moet worden. Het gebruik van deze methode heeft als implicatie dat niet alle onderdelen van de methode vaak even sterk naar voren komen. Vooral het onderdeel ‘tijdgebondenheid’ is iets dat onderbelicht blijft. Dit resulteert in onevenredig lage SMART scores, waardoor in praktijk een vertekend beeld ontstaat van de werkelijke aandacht die naar bepaalde SUMP onderdelen uitgaan. Voor vervolgonderzoek betekent dit dat het gebruik van SMART criteria als methodiek van scoring van GVVP inhoud dus kan leiden tot vertekening en het daarom mogelijk minder geschikt is als instrument om toe te passen in dit verband.

Representativiteit

doen van algemene uitspraken.

De selectie van casestudies is gebaseerd op een klein aantal criteria, waaronder het aantal inwoners en het jaar van publicatie van het GVVP. De essentie van dit onderzoek is daarmee niet gericht op het generaliseren van GVVP inhoud, maar vormt een verkenning.

In praktische zin staan in elk geval een deel van de inzichten uit de vier onderzochte GVVPs model voor GVVPs van een aantal andere middelgrote steden en gemeenten in Nederland. Dat was althans het achterliggende doel van de gehanteerde selectie van GVVPs.

De opzet van het onderzoek vraagt echter om een grotere pool van cases om te komen tot meer algemene inzichten. Gezien de complexiteit van het onderwerp, is het moeilijk om te komen tot uitspraken die eenvoudig kunnen worden gegeneraliseerd.

Proces en persoonlijke leerpunten

Het schrijven van dit onderzoek heeft meer tijd in beslag genomen dan vooraf was verwacht. Ik heb een te lichte inschatting gemaakt van de complexiteit van het evalueren van GVVP beleid. Het vinden van direct bruikbare theorie bleek niet mogelijk. De manier om hiermee om te gaan was nieuw voor mijn begrip over het doen van onderzoek.

Het opstellen van het toetsingsmodel was minder eenvoudig dan ik dacht. Het uitwerken van de SUMP doelen, het vinden van de juiste bronnen en vervolgens het vinden van algemene regels in de verschillende interpretaties van de uitwerking van SUMP doelen is complex en tijdrovend.

Het vinden van geschikte cases nam ook relatief veel tijd in beslag. Het zoeken naar selectiecriteria leek in de eerste instantie een belangrijk aspect van het onderzoek, maar achteraf blijkt dat enkele globale criteria voor de GVVP selectie al voldoende waren om te komen tot uitspraken in de verkenning van de aansluiting tot de SUMP richtlijnen.

Een ander onderdeel wat niet eenvoudig was, was het vinden van een methode om te kunnen oordelen over ‘de mate van voldoen aan de richtlijnen’. Het beantwoorden van de ‘in hoeverre’ vraag, vraagt om een gestructureerde methode. Gekozen is voor het aangeven van gradaties van voldoening in de vorm van de score op SMART criteria.

Hoewel het toepassen van SMART criteria niet geheel de juiste methoden blijkt te zijn, heeft dit wel bijgedragen aan mijn kennis over het effectief formuleren van beleid.

Het toetsen van GVVPs aan de hand van het toetsingsmodel vergde met name veel tijd voor het eerste GVVP. Deze toets fungeerde als pilot voor de andere cases en moest meermaals opnieuw worden uitgevoerd, omdat in de eerste instantie de GVVP doelen centraal stonden. Toen bleek dat dit niet te koppelen was met de SUMP doelen, is gekozen voor een analyse waarbij SUMP doelen centraal stonden en waarbij alle aansluitende formuleringen in het GVVP hieraan gekoppeld werden. Dit werd vervolgens toegepast in de andere GVVP toetsingen, die minder tijd in beslag namen. Deze draai in het onderzoek en de toepassing van de SMART criteria zijn zaken die ik vooraf niet had zien aankomen en veel tijd vergden, maar die creativiteit en inventiviteit vroegen. Dit waren erg leerzame momenten ten tijde van het schrijven van dit onderzoek.

Ik ben vooraf te optimistisch geweest over de werkelijke werkdruk die een dergelijk onderzoek in praktijk vraagt.