V ERGELIJKING SCORES METHODEN

4.2.1.V

In deze paragraaf zal de samenhang tussen de eindcijfers van de Planchecker, VNG en VEH besproken worden. In onderstaand overzicht zijn de eindscores van de verschillende methoden naast elkaar gezet. Daarbij is ook het verschil tussen de eindcijfers van verschillende methoden berekend. De groene cellen voor de eindcijfers geven het hoogste eindcijfer dat het instrument gegeven heeft aan. De rode cellen het laagste cijfer dat het instrument gegeven heeft aan. Bij de kolommen die de absolute verschillen presenteren geven de rode cellen het grootste verschil aan tussen de eindscores van de instrumenten, de groene cellen het kleinste verschil.

VNG Eindcijfer voldoende VNG Eindcijfer onvoldoende VNG Thema's voldoende VNG Thema's onvoldoende VEH Eindcijfer voldoende VEH Eindcijfer onvoldoende VEH Thema's voldoende VEH Thema's onvoldoende

Tabel 9. Eindscores drie methoden en absolute verschillen tussen eindscores

De scores van de Planchecker en de VEH liggen het dichtst bij elkaar. Gemiddeld is er een verschil van 0,7 punten tussen de eindscores van beide instrumenten. De VEH geeft acht keer een hoger cijfer dan de Planchecker en vijf keer een lagere score. Er zijn geen scores die precies gelijk zijn. Een paired-samples t-test (tweezijdig getoetst) wijst uit dat het gemiddelde cijfer van de Planchecker en het gemiddelde cijfer van de VEH niet significant verschilt; t(12)= -1,567, p = .143. Dit houdt in dat er een kans van 14,3% is dat het gevonden gemiddelde verschil op toeval berust. Er kan hier dus niet met zekerheid worden vastgesteld of de gemiddelde cijfers in de werkelijke populatie dezelfde afwijking zullen vertonen.

De scores van de Planchecker en de VNG liggen verder uit elkaar. Zij verschillen gemiddeld 1,3 punten per score. De VNG geeft twee keer een hoger cijfer dan de Planchecker en elf keer een lager cijfer. Er zijn geen scores die precies gelijk zijn. Het verschil tussen de gemiddelde eindcijfers van de instrumenten is hier wel significant; t(12)= 3,728, p = .003.

Duidelijk is dat de scores van de VNG en de VEH het verst van elkaar af liggen, met een gemiddeld verschil van 1,6 punten tussen de scores. De VEH geeft elf keer een hoger cijfer dan de VNG en twee keer een lager cijfer. Er zijn wederom geen cijfers die precies overeenkomen. Ook hier is het verschil tussen de gemiddelde eindcijfers significant; t(12)= -4,564, p = .001 Figuur 11. maakt in een grafiek inzichtelijk in hoeverre de scores van de verschillende instrumenten per gemeente overeenkomen. In de grafiek is duidelijk te zien dat de scores van de VNG over het algemeen het laagst liggen. De Planchecker houdt in de meeste gevallen het midden tussen de scores van de VEH en VNG.

PC VNG VEH Absoluut verschil PC – VNG Absoluut verschil PC – VEH Absoluut verschil VNG - VEH DEAL 7,2 3,6 6,4 3,6 0,8 2,8 Oost-Groningen 5,7 2,3 5,8 3,4 0,1 3,5 De Marne 5,9 4,4 5,3 1,5 0,6 0,9 Leek 7,2 6,2 7,6 1,0 0,4 1,4 Marum 7,6 6,3 7,9 1,3 0,3 1,6 Zuidhorn 7,4 6,3 8,2 1,1 0,8 1,9 Groningen 5,3 4,4 6,2 0,9 0,9 1,8 Haren 5,5 4,5 6,0 1,0 0,5 1,5 Hoogezand-Sappemeer 5,5 5,8 5,4 0,3 0,1 0,4 Slochteren 5,1 4,3 4,4 0,8 0,7 0,1 Ten Boer 3,5 4,1 5,4 0,6 1,9 1,3 Veendam 5,9 5,6 5,5 0,3 0,4 0,1 Winsum 6,1 4,7 7,5 1,4 1,4 2,8 Gemiddelde 6,0 4,8 6,3 Gemiddeld absoluut verschil ^{1,3 0,7 1,6}

Fig. 11. Vergelijking eindscores drie methoden

De bovenstaande grafiek laat niet alleen de afstand tussen de scores van de verschillende instrumenten zien (absolute samenhang), ook de lineaire samenhang is uit de grafiek af te leiden (in hoeverre maken de lijnen dezelfde beweging?). Om deze overeenstemming inzichtelijker te maken is de Pearson product-momentcorrelatietoets uitgevoerd. Tussen de Planchecker en de VEH is de sterkste correlatie gevonden: r =.736, p=.002. Dit betekent dat 54 procent (r2) van de variantie van het ene instrument verklaard kan worden vanuit de variantie van het andere instrument.

Voor de Planchecker en de VNG is de samenhang matig: r=.613, n=13, p<.013. De eindresultaten van de VNG en VEH hangen het minst met elkaar samen: r=.517, n=13, p<.035. Uit de genoemde correlaties kan worden afgeleid dat bij vergelijking van de resultaten van de Planchecker en de VNG 62 procent van de variantie onverklaard blijft. Tussen de scores van de VNG en VEH is maar liefst 73 procent van de variantie onverklaard. Zie ook de spreidingsdiagrammen in bijlage 11 voor meer inzicht in de afwijkingen van de scores.

4.2.2.V

Voor de vergelijking van de deelcijfers van de verschillende instrumenten is dezelfde procedure uitgevoerd als bij het beoordelen van de samenhang tussen de eindcijfers van de verschillende instrumenten. Eerst zijn de absolute verschillen tussen de thema’s berekend, waarop een t-test is uitgevoerd om de significantie van de gemiddelde verschillen te bepalen. Vervolgens is met de Pearson product-momentcorrelatie getoetst in hoeverre de deelscores in relatieve zin met elkaar samenhangen. Er zijn in totaal tien vergelijkingen gemaakt:

Thema Onderzoek:

1. Verleden Planchecker - Analyse verleden, Analyse heden en Analyse toekomst VNG 2. Verleden Planchecker – Onderzoek VEH

3. Analyse verleden, Analyse heden en Analyse toekomst VNG – Onderzoek VEH 0 0,5¹ 1,5² 2,5³ 3,5⁴ 4,5⁵ 5,5⁶ 6,5⁷ 7,5⁸ 8,5⁹ PC VNG VEH

Thema Kaders:

4. Externe beleidsoriëntatie Planchecker – Kaders VNG Thema Proces:

5. Besluitvorming en Totstandkoming (clusterthema Proces) Planchecker - Proces VNG 6. Besluitvorming en Totstandkoming (clusterthema Proces) - Aanleiding en geschiedenis,

Uitvoeringsagenda en monitoring VEH

7. Proces VNG - Aanleiding en geschiedenis, Uitvoeringsagenda en monitoring VEH Thema Inhoud en Toekomst

8. Toekomst, Inhoud intern en Inhoud extern (clusterthema Inhoud) Planchecker - Onderdelen van de visie, Kwaliteit van het bouwen en Doelgroepen VNG

9. Toekomst, Inhoud intern en Inhoud extern (clusterthema Inhoud) Planchecker - Visie en ambitie en Uitwerking van de visie en ambitie VEH

10. Onderdelen van de visie, Kwaliteit van het bouwen en Doelgroepen VNG - Visie en ambitie en Uitwerking van de visie en ambitie VEH

In bijlage 10 is een overzicht opgenomen met de absolute verschillen tussen de deelscores per instrument per gemeente. Hier zijn alleen de gemiddelde absolute verschillen weergegeven in tabel 10. Voor deze waarden is evenals voor de eindcijfers een paired-samples t-test (tweezijdig getoetst) uitgevoerd om te bepalen in hoeverre de verschillen tussen de gemiddelden significant zijn. De resultaten hiervan zijn weergegeven in tabel 11. In bijlage 11 zijn spreidingsdiagrammen en grafieken te vinden die de samenhang tussen de verschillende vergelijkbare deelscores inzichtelijk maken.

Wat betreft de resultaten die gepresenteerd staan in tabellen 10 en 11 vallen een aantal zaken op. Allereerst blijkt dat maar de helft van de gemeten verschillen tussen de gemiddelde vergelijkbare deelscores significant zijn. De verschillen tussen de gemiddelden van de Planchecker en de VEH zijn in geen enkel geval significant. Ook de verschillen tussen de gemiddelden binnen het thema Inhoud en Toekomst zijn voor geen enkel instrument significant. Dat de verschillen tussen de gemiddelden niet allemaal significant zijn wil zeggen dat hier geen bewijs kan worden geleverd dat in de werkelijke populatie een gelijk verschil wordt gevonden. In enkele gevallen is die aanwijzing zelfs vrij sterk.

Voor de Planchecker en de VNG zijn alle gevonden verschillen wel significant, met uitzondering dus van het thema Inhoud en Toekomst. Voor de verschillen tussen de resultaten van de VNG en VEH geldt hetzelfde.

PC – VNG PC - VEH VNG - VEH

Thema Onderzoek 2,9 2,6 2,2

Thema Kaders 2,5

Thema Proces 1,7 1,3 1,7

Thema Inhoud en Toekomst 0,9 0,5 0,8

PC – VNG PC - VEH VNG - VEH Thema Onderzoek t(12)=5,005, p = <.0001 t(12)=.517, p = . 615 t(12)=-3,649, p = .003 Thema Kaders t(12)=2,758, p = .017 - - Thema Proces t(12)=2,192, p = .049 t(12)=-.399, p = .697 t(12)=3,105, p = .009 Thema Inhoud en toekomst ^{t(12)=1,123, p = .284 t(12)=-.109, p = .915 t(12)=-1,485, p = .163} Tabel 11. Overzicht mate van significante tussen de gemiddelde verschillen van de verschillende deelscores

Nu duidelijk is in hoeverre de absolute scores van elkaar afwijken wordt ook nog gekeken in hoeverre de scores op de verschillende thema’s in relatieve zin overeenkomen. De resultaten van de Pearsontoets staan weergegeven in tabel 12. In de tabel is te zien dat het thema Inhoud en Toekomst in verhouding tot de andere vergeleken thema’s binnen iedere vergelijking het sterkst samenhangt. Wat verder opvalt, is dat de correlatie tussen de deelscores van de VNG en VEH voor alle thema’s sterker zijn dan de andere vergeleken instrumenten. Dit springt des te meer in het oog omdat de VNG en VEH qua eindcijfer juist het meest van elkaar afwijken.

De Planchecker en de VNG vertonen voor ieder thema een vrij zwakke samenhang. Echter, de gevonden correlaties zijn, met uitzondering van het thema Inhoud en toekomst, in geen geval erg significant. Voor de Planchecker en VEH geldt hetzelfde; met uitzondering van het thema Inhoud en toekomst, zijn de correlaties matig tot slecht, maar niet significant.

PC – VNG PC - VEH VNG - VEH

Thema Onderzoek r =.129 , p<.337 r = -.334 , p<.132 r =738 , p<.002

Thema Kaders r =.384 , p<.097 - -

Thema Proces r =.431 , p<.071 r =.538 , p<.029 r =.744 , p<.002 Thema Inhoud en toekomst r =.644 , p<.009 r =.788 , p<.001 r =.815 , p<.000 Tabel 12. Correlaties tussen deelscores