O PVALLENDE RESULTATEN

In de tabellen 13 tot en met 16 staan alle resultaten samengevat die inzicht moeten geven in de mate van samenhang tussen de verschillende instrumenten. Een belangrijke tabel om de gegevens hier te interpreteren is tabel 14. Deze tabel geeft aan in hoeverre de gevonden verschillen op de gemiddelde cijfers van de instrumenten significant zijn. In totaal zijn er binnen dit onderzoek dertien vergelijkingen gemaakt met de cijfers die naar voren kwamen uit de drie instrumenten. Voor zes van deze vergelijkingen is, blijkend uit een t-toets, geen overtuigend bewijs gevonden dat de gevonden verschillen een betrouwbaar beeld geven van de werkelijke situatie. Bij het trekken van conclusies met betrekking tot deze vergelijkingen is dus voorzichtigheid geboden. De overige vergelijkingen zijn wel betrouwbaar te noemen; in vijf van de gevallen is de kans dat de hier gevonden resultaten op toeval berusten minder dan 1%. Conclusies met betrekking tot deze vergelijkingen hebben dus een meer solide basis.

5.1.1.C

Wat betreft de eindcijfers kan in het beste geval kan slechts 54% van de variantie tussen twee instrumenten verklaard worden (PC- VEH: r =.736, p=.002). Ook het gevonden gemiddelde verschil tussen deze twee instrumenten is het kleinst met 0,7 punt. Het is echter niet met zekerheid vast te stellen of dit gemiddelde verschil representatief is voor de hele populatie. Voor de twee andere vergelijkingen blijft in het slechtste geval 72% van de variantie onverklaard (VNG-VEH: r =.517, p=.035) en in het andere geval blijft 62% van de variantie onverklaard (PC-VNG: r =.613, p=.013). De gevonden verschillen tussen de gemiddelde eindcijfers van de Planchecker – VNG (1,3 punten) en VNG-VEH (1,6 punten) blijken wel significant. Deze cijfers geven dus een vrij betrouwbaar beeld van de werkelijke situatie.

Een ander belangrijk resultaat dat naar voren komt in dit onderzoek is dat de resultaten van de Planchecker erg sterk samenhangen met de omvang van woonvisies; hoe omvangrijker de woonvisie hoe hoger het cijfer. De gevonden correlatie tussen de eindscore van de planchecker en de omvang van de woonvisies (gemeten in aantal woorden) is de sterkste samenhang die gevonden is in dit onderzoek (r =.911 , p=<.0001). Een simpel aspect als woordaantal blijkt dus een betere voorspeller van de beoordeling die de Planchecker gaat geven dan de analyses van andere instrumenten die zich richten op hetzelfde tekstaspect als de Planchecker. Maar liefst 83% van de variantie tussen de Planchecker en de omvang van de woonvisies kan verklaard worden. Hier valt de samenhang tussen eindresultaten van de verschillende instrumenten bij in het niet.

Alles bij elkaar genomen kan op basis van de huidige gegevens geconcludeerd worden dat de drie instrumenten dusdanig afwijken in hun oordeel op het gebied van volledigheid, dat geen

van de instrumenten op dit moment ingezet kan worden als valide tekstanalyse-instrument om de volledigheid van woonvisies mee te beoordelen.

5.1.2.C

Wat betreft de deelscores moet in het achterhoofd gehouden worden dat een overeenstemming van 100 procent niet zo snel voor zal komen binnen de deelscores. Zoals besproken in paragraaf 3.2.3. wijkt de indeling van criteria in bepaalde thema’s soms af. Toch zouden in veel gevallen hogere correlaties verwacht mogen worden dan er nu naar voren komen. Voor alle vergelijkingen tussen de instrumenten geldt dat binnen het thema Inhoud en Toekomst de hoogste correlatie te vinden is. De deelscores van de VNG en VEH hangen in alle gevallen het sterkst samen ten opzichte van dezelfde vergelijkingen bij andere instrumenten. In het gunstigste geval is 66% van de variantie te verklaren (VNG-VEH, thema Inhoud en Toekomst: r =.815 , p=<.0001). Alle correlaties buiten het thema Inhoud en Toekomst en buiten de vergelijking van VNG en VEH zijn zwak te noemen.

Ook wat betreft de deelscores moet hier dus geconcludeerd worden dat de gevonden correlaties in veel gevallen teleurstellend zijn. Nu zijn de gevonden correlaties tussen de resultaten binnen het thema Inhoud en toekomst van .815 (VNG-VEH) en .788 (PC-VEH) niet slecht, maar een aanzienlijk deel van de variantie tussen de resultaten blijft onverklaard. In de volgende paragraaf wordt ingegaan op de vraag welke factoren de samenhang tussen de resultaten mogelijk beïnvloeden. Hier wordt onder andere besproken hoe de relatief hogere mate van samenhang binnen het thema Inhoud en toekomst nog verder versterkt zou kunnen worden.

5.2.M

5.2.1.M

Voor dit onderzoek zijn zowel de eindcijfers als de deelcijfers die naar voren komen uit de analyses met de verschillende instrumenten vergeleken. Een belangrijk punt waar rekening mee moet worden gehouden wanneer de deelscores van de verschillende instrumenten met elkaar vergeleken worden, is dat de eerste zes thema’s van de Planchecker (Toekomst, Verleden, Interne beleidsoriëntatie, Externe beleidsoriëntatie, Besluitvorming, Totstandkoming) toepasbaar zouden moeten zijn op beleidsstukken van ieder beleidsterrein. Een onderwerp als migratie in de checklist van VNG binnen het thema Analyse verleden, zal niet voorkomen in de trefwoordenlijst van het thema Verleden van de Planchecker; het onderwerp migratie is immers niet van belang als je de Planchecker zou willen toepassen op bijvoorbeeld verkeersbeleid.

De meer algemene insteek van de algemene thema’s van de Planchecker heeft het onvermijdelijke gevolg dat de trefwoorden binnen deze thema’s ook algemener/abstracter zijn. Een voorbeeld van een willekeurig trefwoord is het woord rol in het thema Besluitvorming. Hoewel dit trefwoord zeker naar zaken met betrekking tot besluitvorming kan verwijzen, zijn er ook tal van voorbeelden te verzinnen waarin dit trefwoord in een context voorkomt waarin het helemaal niets met besluitvorming te maken heeft. (Bijvoorbeeld: ‘De verbeterde bereikbaarheid van de gemeente heeft een belangrijke rol gespeeld in de sterke bevolkingsgroei van de afgelopen jaren’.) Kortom, omdat er geen regels zijn gegeven over de context waarin abstracte trefwoorden voor moeten komen, is de kans aanwezig dat er ruis ontstaat in de resultaten. Dat wil zeggen; de Planchecker selecteert waarschijnlijk woorden die meetellen voor het cijfer op een module, terwijl het betreffende woord niet gerelateerd is aan het onderwerp dat het beoogt te detecteren. Hierdoor worden de resultaten vertekend.

Een sterke aanwijzing voor ruis in de resultaten van de Planchecker is de sterke samenhang tussen de resultaten van de Planchecker en de omvang van de woonvisies. Bij de checklists van de VNG en VEH is deze samenhang veel minder sterk. Door de abstractie van de trefwoorden zou iedere tekst een goede score kunnen behalen met de Planchecker; de trefwoorden zijn in veel gevallen zo algemeen dat ze ook in andere tekstgenres dan beleidsteksten voor zouden kunnen komen. De resultaten zouden in een dergelijk geval niet te interpreteren zijn; een woord als rol heeft in een roman vrij zeker niets met het thema Besluitvorming te maken. Duidelijk is dat hoe abstracter de trefwoorden, hoe meer behoefte aan regels voor de context waarin het trefwoord voor moet komen om het resultaat te kunnen interpreteren.

5.2.2.M

De aanname dat de abstractie van de trefwoorden ruis veroorzaakt zou verschillende resultaten van dit onderzoek kunnen verklaren. Ten eerste verklaart het de slechte overeenstemming tussen de deelscores van de algemene thema’s van de Planchecker en de vergelijkbare thema’s van de checklists, tegenover een relatief betere overeenstemming van de specifieke thema’s van de Planchecker en de vergelijkbare thema’s van de checklists. De specifieke modules van de Planchecker bevatten trefwoorden die specifiek gericht zijn op een bepaald beleidsterrein, in dit geval woonbeleid. Het gaat om de modules Inhoud intern en Inhoud extern. In dit onderzoek zijn de specifieke modules van de Planchecker in de vergelijkingen gecombineerd met de algemene module Toekomst. Desalniettemin correleren alle instrumenten het sterkst met elkaar binnen de vergelijking van de inhoudsmodules plus het thema Toekomst.

De trefwoorden binnen de specifieke modules zijn over het algemeen minder abstract; een voorbeeld van een trefwoord/criterium uit de module Inhoud intern is woningbehoefte. Dit trefwoord verwijst naar een vastomlijnder concept dan een woord als rol en heeft in die zin dus minder context nodig om geïnterpreteerd te worden. Er zal zich daarom minder snel een mogelijkheid voordoen waarin dit woord in verschillende contexten in verschillende modules zou passen. Concrete trefwoorden vertonen zogezegd een sterkere binding met een bepaald thema. Hoewel het woord woningbehoefte in de Planchecker nooit in een algemene module voor zal komen, blijkt uit de checklists van VNG en VEH dat de meeste criteria voorkomen in vergelijkbare thema’s. Zo komt het woord woningbehoefte bij beide checklists voor binnen de onderzoeksthema’s.

De constatering dat meer concrete criteria sterker met elkaar samenhangen zou ook kunnen verklaren waarom de vergelijkbare deelscores van VNG en VEH juist vaak dicht bij elkaar liggen, terwijl de eindscores van beide instrumenten juist het verst uit elkaar liggen; de meer concrete criteria binnen de thema’s zijn simpelweg beter te vergelijken. De afwijking tussen de eindcijfers van deze twee instrumenten is dan wellicht deels te verklaren met het feit dat niet alle thema’s van de VNG en VEH met elkaar vergeleken zijn. Het thema Kaders van de VNG is met geen van de thema’s in de checklist van de VEH te vergelijken.

Belangrijk om op te merken is dat, hoewel de deelscores van de VNG en VEH in verhouding dichter bij elkaar liggen dan de deelscores van de Planchecker en de checklists, de overeenstemming hier nog steeds als verbeterbaar wordt beschouwd. Hier wordt dieper op ingegaan in de volgende paragraaf.

5.2.3.M

Hoewel is geconstateerd dat de thema’s die meer concrete trefwoorden bevatten sterker met elkaar samenhangen dan thema’s met abstracte trefwoorden blijft het een feit dat deze sterkere samenhang niet overtuigend is. Een voor de hand liggende oorzaak voor dit gebrek aan samenhang is dat de criteria nog niet specifiek genoeg zijn geformuleerd. Ter illustratie: Zowel de checklist van de VNG als de checklist van de VEH bevatten een criterium monitoring. In de woonvisie van één van de gemeenten die gelezen is voor dit onderzoek, wordt een aantal keren genoemd dat monitoring belangrijk is. Het woord monitoring komt dus een aantal keren voor, maar inhoudelijk weet de lezer eigenlijk niets; wordt er vervolgens ook daadwerkelijk gemonitord? Zo ja, wat wordt er precies gemonitord? Hoe wordt er gemonitord? Wie zijn hier bij betrokken? Wanneer moet er worden ingrepen? De pure aanwezigheid van een trefwoord kan dus inhoudelijk nietszeggend zijn. Om een scherper beeld te krijgen van de mate waarin een criterium is uitgewerkt zal het criterium verfijnd moeten worden.

Nu is de checklist van de VNG een stuk verfijnder dan de checklist van de VEH. Zoals besproken in paragraaf 3.5.2 wordt de vraag of er doelgroepen betrokken worden bij de opstelling van de woonvisie bij de VNG over twaalf criteria verdeeld en bij de VEH over drie. Dit heeft uiteraard invloed op de resultaten. Om een voorbeeld te geven: het criterium uitvoeringsagenda komt in allebei de checklists voor. De VNG geeft als criterium dat er een uitvoeringsagenda aanwezig moet zijn, maar hier blijft de vraag hoe een goede uitvoeringsagenda eruit ziet. De VEH onderscheidt hiervoor verschillende kenmerken; een goede uitvoeringsagenda bevat concrete plannen, is uitgezet in tijd en er zijn taken toegewezen aan verantwoordelijken. Hoewel het criterium van beide checklists dus goed te vergelijken is, komt de score op dit criterium in beide checklists vaak niet overeen.

Er is veel voor te zeggen om alle criteria zo veel mogelijk te verfijnen, omdat dit meer overeen met de specifieke informatiedoelen van de lezer; de lezer wil niet ‘een uitvoeringsagenda’ zien, maar een goede uitvoeringsagenda waar bij duidelijk is welke stappen, wanneer gezet gaan worden en door wie. In het kort wordt hier geconcludeerd dat voor zowel de abstracte trefwoorden als voor de meer concrete trefwoorden geldt dat er meer duidelijkheid nodig over de context waarin de trefwoorden voor moeten komen om de resultaten van de verschillende instrumenten dichter bij elkaar te brengen.