T OELICHTING DEELVRAGEN

Om een antwoord te kunnen geven op de hoofdvraag van dit onderzoek worden dertien woonvisies met drie verschillende methoden, via een kwantitatieve inhoudsanalyse beoordeeld. De scores van de woonvisies worden bepaald aan de hand van vooraf vastgestelde criteria. Uiteindelijk krijgt iedere woonvisie drie eindscores: één op basis van de Planchecker (deelvraag 1a), één op basis van de VEH (deelvraag1b) en één op basis van de VNG (deelvraag 1c). Daarnaast worden per model verschillende deelscores onderscheiden.

3.5.2.1. Vergelijking deelscores

Voor dit onderzoek worden de eindcijfers en, voor zover mogelijk, de deelcijfers van de verschillende instrumenten met elkaar vergeleken. Het vergelijken van de deelcijfers is belangrijk omdat als de vergelijkbare deelscores niet overeenkomen de eindscores in feite ook niet goed te vergelijken zijn. Echter, het vergelijken van de deelscores is niet zo één op één te doen als het vergelijken van de eindscores; de thema’s van de verschillende instrumenten komen niet allemaal overeen en bovendien wijkt ook mogelijk de inhoud van op het oog vergelijkbare thema’s af. Zo onderscheidt de VNG bijvoorbeeld binnen het thema Proces twaalf doelgroepen die betrokken moeten worden bij het opstellen van de woonvisie. De VEH onderscheidt ook drie doelgroepen, maar verdeelt hiervoor drie criteria over twee verschillende thema’s: Visie en ambitie en uitwerking van de visie. Het thema Proces van de VNG heeft verder geen overeenkomst met deze twee thema’s van de VEH. Om toch enkele vergelijkingen te kunnen maken is besloten om de vergelijkingen te baseren op de overeenkomst in algemene focus van de specifieke thema’s en niet op de criteria of trefwoorden die de thema’s bevatten. Het thema Proces van de VNG wordt dus alleen vergeleken met de duidelijk onderscheiden procesthema’s van de VEH en niet ook met thema’s die vooral gefocust zijn op andere beleidsaspecten.

Een ander belangrijk punt is dat in enkele gevallen bepaalde thema’s worden samengenomen, zodat deze vergeleken kunnen worden met één ander thema; bijvoorbeeld het thema Onderzoek van de VEH wordt vergeleken met alle analyse thema’s van de VNG. In dit geval wordt het gemiddelde cijfer over de drie analysethema’s van de VNG berekend. Hieronder volgt een toelichting op de vergelijkingen die gemaakt zullen worden.

Het thema Verleden van de Planchecker bekijkt in hoeverre het beleidsstuk een analyse van de ongewenste situatie bevat. Deze focus komt overeen met de onderzoeksthema’s van beide checklists. Voor de VEH gaat dit om het thema Onderzoek. Voor de VNG omvat dit de thema’s Analyse verleden, Analyse heden en Analyse toekomst. De ‘ongewenste situatie’ wordt hier opgevat in zowel een verleden, heden als toekomstperspectief. (Hoe heeft de situatie zich over de afgelopen jaren ontwikkeld, hoe ziet de situatie er op dit moment uit en welke verwachtingen zijn er wat betreft de ontwikkelingen in de toekomst?). Om ook het toekomstaspect hier op te nemen lijkt wellicht tegenstrijdig met de titel van de module van de Planchecker (Verleden), maar een ongewenste situatie kan niet goed beschreven worden als er geen toekomstperspectief aan verbonden wordt; er moet beschreven worden waarom de situatie ongewenst is voor in de toekomst.

Ook zullen de analysethema’s van de VNG en VEH met elkaar vergeleken worden. Hoewel duidelijk is dat het clusterthema Analyse van de VNG en het thema Onderzoek van de VEH duidelijke verschillen vertonen in hun criteria, zijn ze wel gefocust op hetzelfde aspect van het beleidsstuk: het in kaart brengen van de ‘huidige situatie’. Dat zij daarbij op andere aspecten focussen is voor de vergelijking hier niet van belang.

De module Externe beleidsoriëntatie checkt of in het beleidsstuk rekening gehouden wordt met ontwikkelingen en beperkingen vanuit de omgeving van het beleid. Deze omschrijving lijkt overeen te komen met het thema Kaders uit de checklist van de VNG. In dit thema van de checklist van de VNG worden zowel landelijke, provinciale als lokale kaders opgegeven waar de gemeenten rekening mee moeten houden bij het opstellen van hun woonvisie.

De Planchecker heeft twee modules die samen het aspect proces moeten dekken. De eerste module is Besluitvorming, gericht op het beoordelen of het beleidsstuk een goede basis vormt voor besluitvorming. De tweede module is de module Totstandkoming, welke checkt of in het beleidsstuk wordt beschreven of het beleid tot stand is gekomen vanuit een heldere opdracht en door het betrekken van externen. De checklist van de VNG heeft ook een thema Proces, deze kan dus eenvoudig vergeleken worden met het clusterthema van de Planchecker. De checklist van de VEH heeft verschillende thema’s die procesmatige aspecten van het beleid moeten beoordelen, dit zijn de thema’s Aanleiding en geschiedenis, Uitvoeringsagenda en Monitoring. Deze drie thema’s worden samengenomen om deze te vergelijken met de procesthema’s van de Planchecker en de VNG.

Tot slot zijn er nog de twee specifieke modules van de Planchecker. De module Inhoud intern checkt of de kernbegrippen van het beleidsterrein behandeld worden. De module Inhoud extern checkt of in het beleidsstuk rekening wordt gehouden met aanpalende beleidsterreinen. Deze foci van de Planchecker lijken het meest samen te vallen met de thema’s Onderdelen van de visie, Kwaliteit van het bouwen en Doelgroepen van de VNG. En met de thema’s Visie en ambitie en Uitwerking van de visie en ambitie van de VEH. Aangezien de checklists van de VNG en VEH puur gericht zijn op woonbeleid zijn de kernbegrippen van het beleidsterrein bij deze checklists uiteraard verspreid over alle thema’s. Echter, veel van de kernbegrippen zijn ook geconcentreerd in de genoemde thema’s en daarom is besloten dat het thema Inhoud intern hier wel meegenomen kan worden in de vergelijking. Aanpalende beleidsterreinen, zoals leefbaarheid, bereikbaarheid en duurzaamheid worden ook behandeld in de genoemde thema’s van de checklists van de VNG en VEH. Een ander belangrijk aspect dat naar voren komt in de genoemde thema’s van de VNG en VEH is de focus op de toekomst; bij de VEH wordt bijvoorbeeld in het thema Visie en ambitie het criterium gesteld dat aangegeven moet worden wanneer iets als een succes moet worden beschouwd. Bij de VNG wordt in het thema Onderdelen van de visie onder andere gesteld dat de geplande ingrepen beschreven moeten worden (voor een compleet overzicht van de criteria zie bijlagen 1 en 2). Om deze reden wordt ook het thema Toekomst van de Planchecker meegenomen in de vergelijking van eerder genoemde thema’s van de VNG en VEH. De module Toekomst van de Planchecker checkt in hoeverre het beleidsstuk gericht is op het bereiken van doelen.

De module Interne beleidsoriëntatie van de Planchecker, die checkt of het beleidsstuk de uitvoerbaarheid van het beleid bespreekt is lastig te vergelijken met één van de thema’s van de andere instrumenten. Deze module wordt dus met geen enkel thema uit de checklists vergeleken.

Hieronder wordt voor het overzicht een lijst gepresenteerd met de vergelijkingen die gemaakt zullen worden:

1. Verleden Planchecker - Analyse verleden, Analyse heden en Analyse toekomst VNG 2. Verleden Planchecker – Onderzoek VEH

3. Analyse verleden, Analyse heden en Analyse toekomst VNG – Onderzoek VEH 4. Externe beleidsoriëntatie Planchecker – Kaders VNG

5. Besluitvorming en Totstandkoming (clusterthema Proces) Planchecker - Proces VNG 6. Besluitvorming en Totstandkoming (clusterthema Proces) - Aanleiding en geschiedenis,

Uitvoeringsagenda en monitoring VEH

7. Proces VNG - Aanleiding en geschiedenis, Uitvoeringsagenda en monitoring VEH

8. Toekomst, Inhoud intern en Inhoud extern (clusterthema Inhoud) Planchecker - Onderdelen van de visie, Kwaliteit van het bouwen en Doelgroepen VNG

9. Toekomst, Inhoud intern en Inhoud extern (clusterthema Inhoud) Planchecker - Visie en ambitie en Uitwerking van de visie en ambitie VEH

10. Onderdelen van de visie, Kwaliteit van het bouwen en Doelgroepen VNG - Visie en ambitie en Uitwerking van de visie en ambitie VEH

3.5.2.2. Berekening scores checklists

Voor het berekenen van de eindscores van de checklists moet de keuze gemaakt worden of alle thema’s even zwaar moeten wegen, of dat alle criteria even zwaar moeten wegen. De vraag is dus: gaat het om de compleetheid van de thema’s, of om de compleetheid van de criteria?

Wanneer alle criteria even zwaar zouden wegen, dan wegen de thema’s met meer criteria zwaarder mee in de berekening van de eindscore dan de thema’s met minder criteria. Andersom, als alle thema’s even zwaar zouden wegen, dan wegen de criteria in de thema’s met meer criteria in verhouding minder zwaar mee in de eindscoreberekening dan de thema’s met minder criteria. De Planchecker bundelt de acht thema’s die bekeken worden in dit onderzoek in drie aparte thema’s. De modules Toekomst, Verleden, Interne beleidsoriëntatie en Externe beleidsoriëntatie worden samengevat in het clusterthema Beleid. Besluitvorming en Totstandkoming worden samengevat in het clusterthema Proces. En de thema’s Inhoud intern en Inhoud extern worden samengevat in het clusterthema Inhoud. Voor deze drie clusterthema’s wordt een gemiddelde score berekend. Aan de hand van deze drie gemiddelden wordt het eindcijfer voor de compleetheid berekend (zie ook figuur 4). De 120 criteria binnen het clusterthema Beleid wegen dus even zwaar mee in de eindscoreberekening als de 60 criteria binnen het clusterthema Proces (of het clusterthema Inhoud).

Verschil tussen de Planchecker en de checklist van de VEH is dat bij de Planchecker de 60 criteria binnen het clusterthema Proces twee keer zoveel wegen als de 120 criteria binnen het clusterthema Beleid (120/60). Bij de checklist van de VEH weegt het criterium binnen het thema Monitoring (1 criterium) twaalf keer meer mee in de eindscore dan criteria in het thema Uitwerking visie en ambitie (12 criteria). Wanneer de thema’s even zwaar zouden wegen bij de checklist van de VEH, dan verliest/wint een woonvisie erg snel veel punten binnen een thema met weinig criteria; het thema Monitoring bij de VEH is of een 10 waard, of een 0. Als een woonvisie bijvoorbeeld heel goed zou scoren bij het thema Uitwerking visie en ambitie, maar niks over monitoring zegt dan gaat de score dus erg hard achteruit. In dit geval zou een woonvisie waarin in verhouding weinig criteria behandeld worden snel dicht bij de score kunnen komen

van een woonvisie die veel meer criteria behandeld, maar binnen andere thema’s. Aan de andere kant; wanneer alle criteria even zwaar zouden wegen, zou het overslaan van een heel thema weinig invloed hebben als deze weinig criteria bevat.

Uiteindelijk is er voor gekozen om ieder thema even zwaar mee te laten wegen. Ten eerste omdat het overslaan van een heel thema – wat niet voor niets door de instanties onderscheiden is – wel invloed moet hebben op het eindcijfer. De verschillende thema’s zouden gezien kunnen worden als hoofdstukken; dat het ene hoofdstuk wat langer moet zijn/meer elementen moet bevatten dan het andere wil niet zeggen dat het kortere hoofdstuk minder belangrijk is. Bovendien krijgen de enkele criteria die gesplitst zijn bij de bewerking van de checklists zo niet onevenredig veel gewicht. (Hoe de eindcijfers eruit hadden gezien als over de criteria was gerekend is wel opgenomen in bijlagen 8 en 9, bij de VNG lijkt het weinig verschil te maken, bij de VEH daarentegen heeft deze keuze wel enige invloed op de rangordening.)

3.5.3.3. Berekening samenhang

Met de eind- en deelscores van de drie instrumenten worden twee berekeningen uitgevoerd die berekenen in hoeverre de scores van de verschillende woonvisies per model samenhangen. Hierbij wordt gekeken naar samenhang in absolute zin en samenhang in relatieve zin.

Om te berekenen in hoeverre de drie methoden overeenkomen in hun absolute eindscores en deelscores is simpelweg het gemiddelde verschil tussen de eindscores (per thema) berekend. Echter, een grote absolute afwijking tussen de scores hoef niet te betekenen dat de instrumenten het niet eens zijn over de relatieve kwaliteit van de woonvisies. Het zou kunnen dat een instrument systematisch hoger of lager scoort. In dit geval zal de absolute afwijking hoog zijn en de samenhang dus niet sterk lijken. De relatieve samenhang zal in dit geval wel sterk zijn. De relatieve samenhang wordt berekend met de Pearson productmoment-correlatietoets. In dit onderzoek wordt eenzijdig getoetst aangezien een positief verband verwacht wordt.

De Pearson product-momentcorrelatietoets is ‘strenger’ dan een rangordecorrelatie-toets, niet alleen moet de rangorde moet gelijk zijn om een perfecte score te behalen, de absolute afwijking tussen de scores moet ook gelijk zijn. De absolute gemiddelde afwijking, die hier ook apart inzichtelijk wordt gemaakt, wordt dus meegenomen in de correlatietoets.