VOORWOORD Drie tekstanalyse-instrumenten, dertien woonvisies en 2646 alinea

VOORWOORD

Drie tekstanalyse-instrumenten, dertien woonvisies en 2646 alinea’s, te categoriseren in 129 criteria... Het kostte wat tijd, maar hier ligt (eindelijk) mijn afgeronde masterscriptie. Voor deze scriptie ben ik dank verschuldigd aan Hemmo Hemmes. In de eerste plaats voor de mogelijkheid om deze scriptie uit te voeren. Daarnaast ook voor zijn input en zeker voor zijn geduld. Hoewel de conclusie van dit onderzoek wellicht niet is waar op was gehoopt, hoop ik dat dit onderzoek een zinvolle bijdrage kan leveren aan verdere stappen in zijn missie om de kwaliteit van beleidsteksten te verbeteren. Verder wil ik graag Kees de Glopper bedanken voor zijn begeleiding tijdens dit onderzoek.

KORTE

SAMENVATTING

Beleidsnota’s zijn vaak onderwerp van veel kritiek. Er zijn verschillende tekstanalyse-instrumenten bekend die trachten tekstuele problemen in de nota’s te verhelpen. In het hier beschreven onderzoek staat een nieuw ontwikkeld tekstanalyse-instrument centraal; de Planchecker.

De Planchecker is ontwikkeld door Hemmes, eigenaar van het bedrijf Topstukken. Met Topstukken richt Hemmes zicht op het verbeteren van de kwaliteit van beleid. De Planchecker is dan ook specifiek ontwikkeld om beleidstukken te beoordelen. Met de Planchecker kan onder andere volledigheid, relatieve aandacht per beleidsaspect, gehalte vaag taalgebruik en de beknoptheid van een beleidstekst worden getoetst. Een belangrijke eigenschap van de Planchecker is dat deze geautomatiseerd is. De Planchecker geeft dus snel een resultaat. Dit onderzoek richt zich op de vraag of deze resultaten ook valide zijn.

In dit onderzoek wordt alleen de functionaliteit om volledigheid van beleid te beoordelen onder de loep genomen. Hiertoe worden de resultaten die de Planchecker levert vergeleken met de resultaten van twee checklists die de volledigheid van woonvisies beoordelen. Eén checklist is opgesteld door de Vereniging Eigen Huis, de andere checklist is opgesteld door de Vereniging Nederlandse Gemeenten. Alle drie de instrumenten geven een totaalscore voor volledigheid en beoordelen daarnaast ook de volledigheid van specifieke deelgebieden van het beleid; er wordt bijvoorbeeld apart beoordeeld in hoeverre de procesmatige aspecten gedekt zijn in de woonvisie. De volledigheidscores worden bij alle drie de instrumenten gebaseerd op de aan/afwezigheid van trefwoorden.

INHOUDSOPGAVE

1. INLEIDING... 6

2. ACHTERGROND ... 7

2.1. Karakterisering beleidsstuk... 7

2.2. Klachten over beleidsstukken... 8

2.2.1. Lezersvriendelijkheid ... 8

2.2.2. Informatiegehalte ... 9

2.2.3. Oprechtheid ... 10

2.3. Oorzaken van de klachten ... 10

2.3.1. Geen eenduidige criteria... 10

2.3.2. Heterogene doelgroep ... 12

2.3.3. Heterogene schrijfgroep ... 13

2.3.4. Hiërarchische organisatie ... 14

2.3.5. Reviseren lastig ... 14

2.3.6. Onduidelijke feedback ... 14

2.3.7. Doelen schrijver en doelen lezer komen niet overeen... 15

2.3.8. Eigenschappen schrijvers ... 15

2.4. Oplossingen voor de problemen? ... 15

2.5. Tekstevaluatiemethoden ... 16

2.5.1. Formuleringen ... 16

2.5.2. Structuur ... 18

2.5.3. Inhoud ... 18

2.5.4. Evaluatiemethoden met meerdere aandachtspunten ... 23

2.5.5. Oprechtheid ... 24

2.5.6. Samenvatting tekstevaluatiemethoden ... 25

2.6. Verbinding onderzoek ... 26

3. METHODE ... 27

3.1. De Planchecker ... 27

3.1.1. Werking en doel Planchecker ... 27

3.1.2. Ontwikkeling Planchecker ... 29

3.1.3. Opmerkingen opzet Planchecker ... 29

3.2. Methoden waarmee de Planchecker vergeleken wordt ... 30

3.2.1. Verantwoording keuze methoden ... 30

3.2.2. Checklists Vereniging Eigen Huis en Vereniging Nederlandse Gemeenten ... 31

3.3. Afbakening onderzoekselementen ... 33

3.4. Data ... 33

3.4.1. Gebruikte data ... 33

3.4.2. Opmerkingen over de data ... 34

3.5. Onderzoek ... 35

3.5.1. Vraagstelling ... 35

3.5.2. Toelichting deelvragen ... 36

3.6. Betrouwbaarheid en validiteit onderzoek ... 39

3.6.1. Validiteit ... 39

3.6.2. Betrouwbaarheid... 40

4. RESULTATEN ... 42

4.1. Resultaten methoden ... 42

4.2. Vergelijking scores methoden ... 45

4.2.1. Vergelijking eindscores ... 45

4.2.2. Vergelijking deelscores ... 47

4.3. Invloed omvang woonvisie... 49

4.4. Samenvatting alle resultaten in tabellen ... 50

5. CONCLUSIE ... 51

5.1. Opvallende resultaten ... 51

5.1.1. Conclusie overeenkomst eindcijfers... 51

5.1.2. Conclusie overeenkomst deelcijfers ... 52

5.2. Mogelijke verklaringen resultaten ... 52

5.2.1. Mogelijke verklaring slechte samenhang algemene modules ... 52

5.2.2. Mogelijke verklaring resultaten vanuit ruis ... 53

5.2.3. Mogelijke verklaring ontoereikende samenhang concrete criteria ... 54

5.3. Algemene conclusie ... 54

6. DISCUSSIE ... 56

6.1. Kanttekeningen methode ... 56

6.2. Praktische implicaties en vervolgonderzoek ... 57

6.2.1. Criteria verfijnen ... 57

6.2.2. Geavanceerdere zoektechniek gebruiken ... 57

6.3. Opmerkingen over functies van de Planchecker die buiten dit onderzoek vallen ... 58

6.3.1. Relatieve aandachtscore ... 58

6.3.2. Score voor beknoptheid ... 58

BIJLAGEN CD-ROM... 61

Bijlage 1. Format VNG ... 61

Bijlage 2. Format VEH ... 61

Bijlage 3. Verantwoording en toelichting checklist VNG ... 61

Bijlage 4. Verantwoording en toelichting checklist VEH ... 61

Bijlage 5. Tekstvolgende analyses per gemeente ... 61

Bijlage 6. Categorisering alinea’s VNG ... 61

Bijlage 7. Categorisering alinea’s VEH ... 61

Bijlage 8. Resultaten VNG ... 61

Bijlage 9. Resultaten VEH ... 61

Bijlage 10. Overzicht verschillen deelscores ... 61

Bijlage 11. Grafieken vergelijking scores ... 61

1.

INLEIDING

Een gebrek aan duidelijkheid in teksten is vaak een grote frustratie voor de lezer. Bij de overheid is er al jarenlang aandacht voor dit probleem. Sinds 1973 bestaat in Nederland een comité voor begrijpelijke taal in publieke documenten en sinds 1981 voert de overheid officieel beleid om bureaucratische taal te vermijden (Janssen & Neutelings, 2001). Ondanks de aandacht die wordt besteed aan het verbeteren van tekstkwaliteit, verstommen de klachten niet. Zowel over de communicatie tussen overheid en burger als over de communicatie tussen beleidsmedewerkers en besluitvormers bestaan klachten. Wat betreft deze laatste vorm van communicatie ziet Hemmo Hemmes, bestuurskundige en beleidsontwerper, een taak voor zich weggelegd. Met zijn bedrijf Topstukken stelt hij zich de missie kwaliteit van beleid te verbeteren. Hiertoe ontwikkelde Hemmes de Planchecker. De Planchecker is een geautomatiseerd tekstanalyse-instrument dat beleidsstukken binnen enkele minuten scoort op verschillende inhoudelijke thema’s.

In dit scriptieonderzoek staat de vraag centraal of de Planchecker adequaat relevante informatie en relevante hiaten in de beleidsstukken, specifiek woonvisies, detecteert. Door middel van vergelijking met andere modellen wordt de concurrente validiteit van de Planchecker vastgesteld. De hoofdvraag van dit onderzoek is als volgt geformuleerd:

Is het prototype van de Planchecker een geschikt instrument om de volledigheid van woonvisies mee te bepalen?

2.

ACHTERGROND

2.1.

K

Er zijn verschillende definities voor het begrip beleid. Janssen (1991) destilleerde uit de definities van Hoogerwerf (1985), Glasbergen (1984), Kuypers (1986), Hoppe (1983), Rosenthal, Van Schendelen & Ringeling (1984) en Kreukels (1980) de volgende definitie:

Men spreekt van beleid wanneer een beleidsvormende instantie, de actor, zich ten doel stelt door middel van gepland handelen problemen ten aanzien van een bepaalde doelgroep op te lossen, te verminderen of te voorkomen.

Beleidsmedewerkers uit verschillende disciplines werken samen aan de plannen om het probleem op te lossen. Hoogerwerf (1985, in: Van der Loo, 1992) onderscheidt verschillende fasen in het ontwerpproces. Samengevat komt het neer op een:

1. Analysefase:

 analyse van de opdracht;

 analyse van het beleidsprobleem (dat wil zeggen beschrijven en beoordelen van de huidige situatie);

 analyse van de mogelijke causale relaties tussen probleem en huidige situatie. 2. Ontwerpfase:

 formuleren doelen, middelen en eventueel evaluatiecriteria met alternatieven;  uitvoeren effectenanalyse en kosten-batenanalyse;

 keuze definitieve doelen en middelen op basis van effecten- en kosten-batenanalyse, (en aan de hand daarvan het ontwerpen van het uitvoeringsplan).

3. Schrijven van de beleidsnota

De beleidsnota - ook wel aangeduid als beleidsplan, beleidsschets, discussienota, adviesnotitie, (eind)rapport, beleidsvoornemens, meerjarenplan, etc. (Janssen, 1991; Van der Loo, 1992)- is in eerste instantie een voorstel. De belangrijkste communicatieve functies van de beleidsnota zijn informeren en overtuigen (Janssen, 1991; Van der Loo, 1992). De lezers moeten geïnformeerd worden over de situatie rondom het probleem en moeten overtuigd worden van de effectiviteit van de voorgestelde plannen om dit probleem op te lossen. In het geval van een gemeentelijke nota (waar in dit onderzoek sprake van is) moet allereerst de wethouder het beleidsvoorstel accepteren voordat het voorstel kan worden ingediend bij de gemeenteraad. Vervolgens moet de gemeenteraad instemmen met het voorstel. Alvorens een voorstel naar de gemeenteraad gaat, wordt het voorstel vaak besproken in een raadscommissie. De raadscommissie is samengesteld uit raadsleden, waarbij iedere fractie uit de gemeenteraad vertegenwoordigd is. De raadcommissie is gespecialiseerd in een aantal onderwerpen en adviseert de gemeente over het voorstel van de wethouder. Als de gemeenteraad instemt met het voorstel wordt het beleid vastgesteld om vervolgens tot uitvoering te worden gebracht.

om deze doelen te bereiken. De kwaliteit van beleidsnota’s is echter vaak onderwerp van kritiek. Hierover gaat de volgende paragraaf.

2.2.

K

Veel initiatieven van de overheid om communicatie te verbeteren zijn gericht op de verbetering van overheidscommunicatie met de burger. Echter, ook de volksvertegenwoordiging zelf klaagt over de teksten die zij onder ogen krijgen. De klachten hebben betrekking op verschillende tekstniveaus. Een onderzoek van Neutelings en Janssen (1999) onder 25 Kamerleden toont aan dat de klachten als volgt verdeeld zijn:

Formulering niet duidelijk 25%

Structuur warrig: 17%

Hoeveelheid informatie niet juist 19% Beleidstekst niet eerlijk 39%

In de volgende paragrafen worden deze klachten verder toegelicht.

2.2.1.

L

Klachten over de lezersvriendelijkheid betreffen zowel formulering als structurering en zijn daarmee de grootste ergernis van de Kamerleden (42%). Wat betreft de formulering hebben de klachten vaak betrekking op de lengte van zinnen, of op het gebruik van onnodig moeilijke woorden. Als we kijken naar de initiatieven vanuit de overheid om teksten begrijpelijker te maken, dan blijkt verbetering vaak gezocht te worden op dit niveau; het zins- en woordniveau, ook wel het oppervlakteniveau. De keuze voor een focus op verbetering van lange zinnen en moeilijke woorden lijkt een logische; het gaat om concreet aanwijsbare problemen die eenvoudiger kunnen worden opgelost dan bijvoorbeeld inhoudelijke problemen of problemen met betrekking tot de oprechtheid van de tekst. Bovendien zijn de regels voor het woord- en zinniveau eenvoudig op iedere (beleids)tekst toe te passen.

Ook de structuur van beleidsnota’s kan op kritiek rekenen. Een slechte structuur maakt het de lezer erg moeilijk om de informatie te vinden die hij zoekt. Kamerleden hebben het gevoel dat beleidsschrijvers niet tegemoet willen komen aan hun lezersbehoeften (o.a. Neutelings en Janssen, 1999), maar de ‘keuze’ van de schrijver om een dergelijke onduidelijke tekst te produceren is niet (geheel) te wijten aan de onwil van de schrijver, waarover meer in de volgende paragraaf.

Oriënterend hulpmiddel Afwezig in Samenvatting 12 Inleiding 2 Inhoudsopgave 2 Conclusie 19 Aanbiedingsbrief 10 Register 21

Tabel.1. Onderzoek afwezigheid oriënterende hulpmiddelen in beleidsnota’s (Neutelings 1998, p.20)

In hetzelfde artikel beschrijft Neutelings dat Kamerleden gemiddeld een kwart van hun tijd besteden aan oriënterend lezen. Ook Vaessen (2003) laat met haar onderzoek zien dat men vooral samenvattingen en conclusies leest van paginalange adviesrapporten. Het ontbreken van deze onderdelen is dus erg hinderlijk voor de lezers, terwijl er volgens Neutelings (1998) geen strategische reden voor kan zijn om deze elementen niet toe te voegen; als de samenvatting afwezig is, dan moet de lezer zelf de belangrijke informatie vergaren door de verschillende hoofdstukken door te pluizen. Een schrijver die niet wil dat de lezer zijn voor kritiek gevoelige voorstellen vindt, doet er beter aan een informatieve samenvatting op te nemen met neutrale informatie volgens Neutelings. Des te meer omdat blijkt dat de lezer vaak niet veel verder komt dan de samenvatting, zoals blijkt uit onderzoek van Vaessen (2003). In tabel 2 zijn haar bevindingen te zien wat betreft de aandacht die verschillende tekstonderdelen krijgen van beleidslezers. Onderdeel Percentage gelezen - Samenvatting 16% 1. Inleiding 6% 2.Theoretische achtergrond 5%

3. Aanpak en methodiek per kostenpost 4%

4. De diverse kostenposten 3%

5. Huidige heffingen, vrijstellingen en subsidies 0,5%

6. Resultaten 1,5%

7. Gevoeligheidsanalyses 3%

8. Indicatie van de verwachte effecten 7%

9. Conclusies en aanbevelingen 19%

Bijlagen 1%

Tabel. 2. Percentage dat gelezen wordt per tekstonderdeel (Vaessen, 2003, p.125)

2.2.2.

I

zeer gebrekkig vormgegeven inhoudselementen en de relatie daartussen. Dit laatste punt lijkt meer een kwestie van structuur te zijn.

Het tekort aan informatie is hinderlijk omdat lezers van beleidsstukken lezen met een bepaald doel; ze willen antwoord op specifieke vragen op basis waarvan ze hun mening kunnen vormen. Lezers formuleren voor zichzelf voorafgaand aan het lezen verschillende informatievragen, bijvoorbeeld ‘Wat zijn de doelen van dit beleid?’. De informatie wordt gezocht om deze te kunnen beoordelen; aan de informatievragen zijn dus beoordelingsvragen gekoppeld, bijvoorbeeld ‘Zijn de doelen van dit beleid acceptabel?’. De informatie- en beoordelingsvragen vormen de basis voor de inhoudelijke eisen van de lezer (Neutelings, 1997). Wordt de vraag van de lezer niet beantwoord, dan kan deze geen gefundeerde mening vormen. Besluitvorming wordt zo dus bemoeilijkt

Te veel informatie kan eveneens het behalen van de informatie- en beoordelingsdoelen in de weg staan. Volksvertegenwoordigers lezen liever een beknopte tekst.

2.2.3.

O

39% van de klachten in het onderzoek van Neutelings en Janssen (1999) hadden betrekking op het aspect oprechtheid, of beter gezegd de onoprechtheid van beleidsteksten Een belangrijke oorzaak van ‘onoprechte teksten’ is dat de communicatieve doelen van de schrijver overheerst worden door strategische doelen (meer hierover in paragraaf 2.3.7). Om consensus over de inhoud van de nota te bereiken (of bewaren) worden strategische trucs ingezet, zoals het verzwijgen van argumenten, of het toevoegen van schijnargumenten. Ook resulteren de strategische doelen vaak in vage formuleringen. De oprechtheid van een tekst wordt dus eigenlijk verdoezeld door een combinatie van de eerdergenoemde klachten: vage formuleringen, vage structurering en het verzwijgen van bepaalde inhoud/argumenten.

Het gebrek aan oprechtheid staan de beoordelingsdoelen van de schrijver in de weg, omdat hun vragen niet duidelijk beantwoord worden. De strategische trucjes dienen een doel voor de schrijver, maar worden vaak doorzien door de lezer en hebben geen positieve invloed op het imago van ‘de beleidsschrijver’ onder besluitvormers (o.a. Neutelings en Janssen, 1999).

2.3.

O

Beleidsdocumenten die de inhoudelijke en communicatieve eisen van de lezers schenden leiden tot ergernis en irritatie. Waarom is het zo lastig om een goed en duidelijk beleidsstuk te produceren waar iedereen tevreden mee is? In deze paragraaf worden verschillende oorzaken van de problemen beschreven.

2.3.1.

G

Wanneer men de functie van een tekst vast kan stellen, kunnen hier criteria aan verbonden worden. Het ene beleidsstuk is echter het andere niet en hier ligt dus een probleem (Van der Loo, 1992; Pander Maat, Van der Loo & De Jong, 1990). Zowel beleidswetenschappers als beleidsschrijvers hebben uiteenlopende ideeën over zowel de functie van beleidsnota’s als de eisen die aan beleidsnota’s gesteld moeten worden.

2.3.1.1. Overtuigingen beleidswetenschappers

verschillende modellen en adviezen voor beleidsteksten een aantal criteria te onderscheiden. De modellen waren afkomstig uit zowel de taalbeheersingsliteratuur als uit de beleidswetenschappelijke literatuur. Het abstraheren van een duidelijke lijst criteria bleek niet eenvoudig vanwege tegenstrijdigheden, maar uiteindelijk kwamen de volgende criteria naar voren:

1. Inhoudelijke criteria: een beleidsstuk bevat minimaal (a) een beschrijving van de huidige situatie (b) een beschrijving van het te voeren beleid (c) een inhoudelijke relatie van redengeving tussen a en b (toelichting of argumentatie).

2. Een goed beleidsstuk geeft duidelijk de verhouding tussen de voorgestelde doelen en middelen aan.

3. Een goed beleidsstuk draagt argumenten aan voor de gekozen middelen. Hierbij moeten in ieder geval de effectiviteit en efficiëntie van de middelen besproken worden en bij voorkeur moeten de gekozen oplossingen/middelen vergeleken met alternatieve oplossingen/middelen. Deze argumenten moeten de tekstinhoud aanvaardbaar maken voor de lezer.

Deze punten lijken vrij basaal, maar worden praktisch allemaal regelmatig niet nageleefd. Wat betreft punt één, de inhoudelijke criteria, ontbreekt vooral de relatering van huidige situatie aan het te voeren beleid. Dat wil zeggen dat veel informatie in de nota’s niet lijkt te worden opgenomen om het voorgestelde beleid te motiveren. Pander Maat, Van der Loo & De Jong verklaren deze ‘schending’ met de observatie dat veel beleidsnota’s een breder doel lijken te dienen dan het motiveren van beleid. Veel informatie lijkt te worden opgenomen om achtergrondinformatie te geven over het beleidsterrein of over reeds lopende projecten waarmee het beschreven beleid verbonden is. Deze informatie dient dan primair om achtergrondkennis te geven over de context waarin het voorgestelde beleid geplaatst moet worden en wordt daarom niet direct verbonden aan het voorgestelde beleid.

Het tweede criterium, de verhouding aangeven tussen doelen en middelen, kan het beste worden nageleefd als men een doel-middelenopbouw hanteert in de tekst. Neutelings en Janssen (1999) onderscheiden echter tal van andere belangrijke basisstructuren voor beleidsteksten: aanleiding-gevolg, reden-handeling/besluit, conclusie-argument, probleem-oplossing, oorzaak-gevolg, vraag-antwoord, criteria-plannen/voorstellen. Pander Maat, Van der Loo & De Jong (1990) observeerden dat er vaak een structuur gehanteerd wordt die meer geënt is op de structuur van de instantie, zodat bijvoorbeeld bijdragen van verschillende expert-auteurs gemakkelijk per hoofdstuk kunnen worden ingedeeld. Gevolg is dat middelen niet expliciet aan hun doelen gerelateerd worden, maar naar organisatiesector gesegmenteerd worden.

terug te komen in het beleidsstuk. Het beleidsstuk is dan dus slechts een uitwerking en vastlegging van het al bepaalde beleid.

Samengevat kan worden gezegd dat er niet één vorm of één specifieke inhoud bestaat voor een beleidsnota. De vorm en inhoud worden bepaald door doelgroep en functie en deze verschillen per situatie. Deze situatie moet per beleidsnota ingeschat worden en kan volgens Pander Maat, Van der Loo & De Jong (1990) niet volledig in één model worden vastgelegd.

2.3.1.2. Beleidsschrijvers

Beleidsschrijvers moeten per situatie inschatten welke vorm en inhoud het beleidsstuk moet krijgen. Interviews van Jeliazkova en Hoppe (1997) tonen echter aan dat beleidsschrijvers in de loop der jaren vrij rigide persoonlijke definities ontwikkelen van wat een goed beleidsstuk inhoudt en dat deze opvattingen niet situatieafhankelijk zijn. Jeliazkova en Hoppe onderscheidden op basis van de interviews vier typen beleidsschrijvers die ieder een andere opvatting hebben over de doelstelling van een nota. Ze onderscheiden het betoog, gericht op het doorzichtig maken van de besluitvorming en het beleidsanalytisch onderbouwen van politieke besluiten. Een tweede vorm die wordt onderscheiden is het pleidooi, dat gericht is op het bedienen van de politieke leiding in het bereiken van haar doelen. Daarnaast is er het advies, dat voornamelijk beschouwingen geeft over de oplossing van een beleidsprobleem en tot slot wordt het essay onderscheiden, waarin vooral nieuwe ideeën gelanceerd worden, gericht op het beïnvloeden van het denken op de lange termijn.

Met de geobserveerde uiteenlopende opvattingen over de doelen van beleidsstukken is het niet verrassend dat in het onderzoek weinig punten van overeenstemming naar voren komen wat betreft de eisen die de beleidsschrijvers aan een goed beleidsstuk stellen. Het feit dat men rekening moet houden met financiële, juridische en voorlichtingsaspecten en dat men een planning moet opnemen in het verslag waren de enige inhoudelijke punten waarvan alle beleidsschrijvers vonden dat deze in een beleidsstuk aanwezig moesten zijn.

2.3.2.

H

Beleidsteksten worden door verschillende groepen gelezen. Neutelings en Janssen (1999) onderscheiden interne en externe lezers. Onder de interne lezers vallen:

 De schrijfgroep: een beleidsstuk wordt over het algemeen door meerdere personen geschreven (zie ook de volgende subparagraaf). Deze groep is continu in onderhandeling over vorm en inhoud.

 Beoordelaars: leidinggevenden of anderszins verantwoordelijken voor de inhoud, bijvoorbeeld financieel deskundigen.

 Interne besluitvormers: de hoogste ambtenaar (minister, gedeputeerde, wethouder), zij beslissen over het eindproduct en het daarin vervatte beleid, en zijn dus de belangrijkste interne lezers.

Onder de externe lezers vallen onder andere:

 Externe besluitvormers: parlement, Provinciale Staten, gemeenteraad  Journalisten

Al deze groepen hebben een uiteenlopend niveau van voorkennis en uiteenlopende eisen en wensen waarin zij tegemoet willen worden gekomen (Van der Loo, 1992; Vaessen, 2003; Janssen, 1991). Waar moet de schrijver zich dan op richten? Van der Loo (1992) beschouwt de schrijfgroep, de externe besluitvormers en de vertegenwoordigers uit het beleidsveld als de drie belangrijkste lezers. In de praktijk lijken schrijvers zich in de hoofdzaak op de schrijversgroep en de leidinggevende te richten. Deze moeten de tekst in eerste instantie goedkeuren. Als de tekst is goedgekeurd zit de taak van de schrijver erop. Hoewel de schrijvers wel zeggen voor de externe besluitvormers te schrijven, komt dit er volgens Janssen (1991) meer op neer dat de schrijvers de politieke haalbaarheid van hun voorstellen in de gaten houden. De leesbaarheid van de tekst in de gaten houden is van minder groot belang; de externe besluitvormer kan er niet voor kiezen om de tekst niet te lezen als deze van slechte kwaliteit is.

2.3.3.

H

Schrijven aan een beleidsnota is geen individueel proces. Verschillende experts werken mee aan de tekst en deze schrijvers zijn dus afhankelijk van elkaar; informatie uit het ene hoofdstuk moet stroken met informatie uit het andere hoofdstuk (Janssen, 1991). De samenwerking tussen de schrijvers verloopt echter niet altijd gemakkelijk. Het schrijfproces vindt plaats in een hiërarchische organisatie (zie volgende subparagraaf) en doorgaans zijn mensen uit verschillende lagen van de organisatie betrokken bij het schrijfproces. Bovendien kunnen ook nog externe partijen worden ingeschakeld om mee te werken aan de teksten. Renkema (2000) illustreert deze schrijfomgeving als volgt:

Figuur 1. Schematische weergave meervoudig auteurschap (Bron: Renkema, 2000, P.175)

committerende predikaten, met andere woorden; tekstkenmerken die vaak gekwalificeerd worden als ambtelijk taalgebruik.

Naast de noodzaak tot consensus die leidt tot minder leesbare teksten, blijkt bovendien vaak de basis van het hele schrijfproces te wankelen. Allereerst wordt het schrijfproces bemoeilijkt door de uiteenlopende belangen en doelstellingen van alle verschillende schrijfgroepen. (Jansen & Janssen, 1990; Renkema, 2000). Daarnaast is niet altijd duidelijk welke verantwoordelijkheden de verschillende afdelingen hebben binnen het schrijfproces, de procedures en richtlijnen voor het schrijfproces zijn niet altijd bekend of verschillen per afdeling en door alle onduidelijkheden worden bepaalde personen vaak niet op tijd betrokken in het proces. Het gebrek aan afstemming leidt tot een onoverzichtelijke tekstproductie waarin men vaak langs elkaar heen of zelfs tegen elkaar in gaat werken. Een dergelijk schrijfproces is duidelijk geen goed recept voor kwalitatief goede teksten.

2.3.4.

H

Ambtelijke organisaties zijn hiërarchisch georganiseerd. Vooral personen hoog in de hiërarchie vervagen de teksten (Janssen & Grift, 1997; Janssen & Neutelings, 1996;). Neutelings (1997) en Janssen (2001) wijzen deze personen in de top van hiërarchie aan als sleutelhouders tot betere beleidsteksten. Enning en de Rooij (1988) illustreren dit beeld met een onderzoek waarin zij een beleidsschrijver zijn tekst lieten aanvullen met (volgens de criteria) belangrijke elementen, zoals tijdsaanduidingen. Na de revisie werd de tekst echter niet meer geaccepteerd door het bestuur, zoals de schrijver al had verwacht, omdat tijdsaanduidingen teveel verwachtingen zouden kunnen wekken. De tekst wordt zo dus opzettelijk vaag gehouden.

2.3.5.

R

Een beleidstekst wordt niet in één keer geschreven. Verschillende concepten worden beoordeeld door de betrokken partijen. Er wordt tijdens de beoordeling kritiek geleverd op de voorstellen, maar er worden uiteraard ook bepaalde delen van de nota geaccepteerd. Van de geaccepteerde onderdelen blijven de schrijvers doorgaans in het verdere schrijfproces af, ook al betekent dit dat de tekst minder leesbaar wordt. Aanpassen van de geaccepteerde onderdelen is immers risicovol, omdat het gevaar bestaat dat het onderwerp dan opnieuw ter discussie komt te staan (Janssen, 1991).

2.3.6.

O

Zoals gezegd worden verschillende versies van beleidsnota’s beoordeeld. Ook in dit beoordelingsproces zien verschillende onderzoekers een oorzaak van de kwaliteitsproblemen (Janssen & Van Etten, 1999; Janssen & Neutelings, 1996; Jansen & Janssen, 1990; Janssen, 1989). Punt van aandacht is de weinig concrete feedback die de schrijvers ontvangen. Janssen (1989) haalt in dit verband een doctoraalscriptie van Gelderloos aan.1 Uit haar onderzoek blijkt dat

concrete feedback in vrijwel alle gevallen verwerkt wordt, maar minder concrete tekstvoorstellen voor revisie laten de schrijvers vaak links liggen.

Belangrijk hierbij om op te merken is dat de externe besluitvormers, de uiteindelijke lezers van wie de klachten afkomstig zijn, geen inspraak hebben in dergelijke feedbackrondes. Omdat er toch niets meer te veranderen valt aan het stuk dat door hen moet worden gelezen, blijft het

commentaar van deze besluitvormers vaak ook in algemene termen hangen en wordt het niet naar de specifieke schrijvers gericht.

2.3.7.

D

Een goed beleidsstuk wordt door de externe lezer en de schrijver anders gedefinieerd. De externe lezers hebben een puur communicatief belang. Een beleidsschrijver daarentegen heeft geen puur communicatieve doelen, maar ook strategische doelen. De prioriteit van een schrijver ligt dus niet bij het leveren van een prettig leesbaar stuk, maar bij het leveren van een stuk waar consensus over bestaat (Neutelings & Janssen, 1999; Janssen, 2001; Van der Loo, 1992; Janssen, 1991). Dit betekent dat de communicatieve functie van de tekst ondergeschikt wordt aan het strategische doel van de schrijver. Duidelijkheid kan consensus in de weg staan en daarom moeten soms bepaalde tekstdelen vervaagd worden, of bijvoorbeeld argumenten verzwegen worden.

2.3.8.

E

Hoewel beleidsmedewerkers binnen hun beroep voornamelijk aan het schrijven zijn, zijn zij niet opgeleid als schrijver, maar als inhoudsdeskundige (Janssen & Van Etten, 1999; Neutelings & Janssen, 1999; Janssen & Van de Grift, 1997; Janssen, 1991). Beleidsmedewerkers zien hun werk dan ook niet als ‘schrijven’; het gaat om de inhoud en niet om leesbaarheid.

Hoewel de beleidsmedewerkers dus niet zijn opgeleid tot schrijver en velen daarnaast ook geen of weinig kennis hebben van schrijfmodellen of criteria, zijn de meeste onderzoekers naar beleidskwaliteit het wel eens over het feit dat de gebrekkige kwaliteit van beleidsstukken niet gezocht moet worden in een gebrekkige vaardigheid van de schrijver. Veelal worden de problemen veroorzaakt door de combinatie van factoren die in dit hoofdstuk besproken zijn. Bovendien voldoen de teksten waarover de klachten bestaan prima aan de normen en gestelde doelen van de schrijvers zelf. Goed beleid, in de ogen van de ambtenaar, is beleid dat door de politiek aanvaard wordt (Janssen & Van de Grift, 1997). Het bijstellen van deze visie leidt binnen de interne organisatie waarschijnlijk tot problemen (Janssen, 2001).

2.4.

O

?

Rothwell (1996, in Janssen & Neutelings, 2001) onderscheid vier factoren die de prestaties van schrijvers beïnvloeden. Deze worden hieronder beschreven, met daarbij de bijpassende problemen zoals beschreven in paragraaf 1.3:

Organisatieomgeving(externe omgeving):  Heterogene externe doelgroep

 De doelen van schrijver en externe lezer komen niet overeen Werkomgeving (interne omgeving):

 Heterogene interne doelgroep  Heterogene schrijfgroep  Hiërarchische organisatie

Werkprocessen (die van input naar output leiden):

 Reviseren heeft met het oog op consensus een te hoog risico  Schrijvers krijgen onduidelijke feedback

Werkers (uitvoerders):

 Eigenschappen schrijver

Als we naar dit lijstje kijken dan wordt duidelijk dat de meeste problemen omtrent onprettig leesbare teksten hun oorsprong vinden in procesmatige aspecten en omgevingsfactoren van het schrijfproces. Dit zijn factoren waar de individuele beleidsmedewerker weinig invloed op heeft. De enige factor waar de beleidsmedewerker invloed op uit kan oefenen om deze te verbeteren is zijn eigen schrijfvaardigheid. Echter, in paragraaf 2.3.8 werd duidelijk dat de vaardigheid van de schrijver in de meeste gevallen niet de directe oorzaak is voor de problemen die zich voordoen in de tekst. Meer aandacht geven aan het geven van concrete feedback lijkt een goede optie, maar veel kritiek is ook afkomstig van externe lezers die juist geen inspraak hebben op de tekst, dus ook hier zal het probleem niet direct mee worden opgelost (zie ook paragraaf 2.3.6.)

Zoals aangegeven in paragraaf 2.3.4 ligt volgens Neutelings (1997) en Janssen (2001) een grote verantwoordelijkheid voor het verbeteren van de tekstkwaliteit bij de hiërarchische top, maar de hiërarchische top staat voor een dilemma. Het grootste probleem lijkt de discrepantie tussen de wensen van de externe lezer en de doelen van de schrijver te zijn. Het verschil tussen het lezers- en het schrijversperspectief leidt tot verschillende normen die niet kunnen worden verenigd in één model; aan wie moet tegemoet worden gekomen? In het ene geval worden de leeslasten verlicht en de schrijflasten verzwaard. In het andere geval moet de lezer zich iedere keer weer door een lastige tekst heen zien te werken, terwijl ook zij onder tijdsdruk werken. In veel gevallen wordt de leesbaarheid door taalbeheersers voorop gesteld voor een optimale taakuitvoering, maar er is dus ook iets te zeggen voor het schrijversperspectief. Zeker omdat blijkt dat beter geschreven teksten niet per se beter ontvangen worden (Janssen, 1991; Vaessen, 2003). Volgens Vaessen (2003) heeft de attitude van de lezer ten opzichte van het onderwerp ook een grote invloed op de waardering (en lezing) van de tekst.

2.5.

T

In paragraaf 2.2 was te lezen welke klachten er onder andere te horen zijn over beleidsteksten. In paragraaf 2.3 werd duidelijk dat vooral procesmatige- en omgevingskenmerken van het beleidsschrijfproces een belangrijke vinger in de pap hebben als het gaat om de talige kwaliteit van beleidsnota’s. De wortels van de talige problemen liggen dus voornamelijk in aspecten van het beleidsschrijfproces die niet één, twee, drie te veranderen zijn. Vaak wordt daarom gepoogd om toch met de huidige schrijfpraktijk te komen tot betere teksten. Hiervoor bestaan verschillende tekstevaluatiemethoden. In deze paragraaf worden tekstanalysemethoden besproken die gericht zijn op het verbeteren van één of meerdere tekstniveaus (zoals besproken in paragraaf 2.2: formulering, structuur, inhoud en oprechtheid). De methoden die besproken worden geven specifieke revisievoorstellen en zijn allemaal gericht op de schrijver, deze moet aan de hand van de uitkomsten van het instrument zijn tekst kunnen verbeteren.

2.5.1.

F

formuleringen in een tekst zijn vooral gericht op leesbaarheid van teksten op woord- en zinsniveau (het oppervlakte niveau).

2.5.1.1. Lijsten met verboden woorden

Wat betreft het woordniveau zijn er verschillende lijsten met ‘verboden woorden’ opgesteld. Communicatiebureaus, maar ook overheidsinstanties en politieke partijen stellen bepaalde woorden of zegswijzen niet op prijs. Men moet het vooral simpel houden. Een woord als aangezien moet vervangen worden door omdat en het woord als moet gebruikt worden in plaats van indien. Ook woorden als expireren, additionele en entiteiten worden niet op prijs gesteld, evenals het gebruik van onduidelijke afkortingen. Deze lijsten zijn vooral gericht op de begrijpelijkheid en aantrekkelijkheid van de teksten.

2.5.1.2. Leesbaarheidsformules

Naast lijsten met verboden woorden zijn er ook geautomatiseerde leesbaarheidsformules. Voor de Nederlandse taal zijn er drie geautomatiseerde leesbaarheidsfomules bekend. Texamen, Klinkende Taal en Accessibility Leesniveau Tool. Deze instrumenten kijken onder andere naar zinslengte, woordlengte, zinsconstructies en woordkeus. Aan de hand van een inventarisatie van alle ‘moeilijke’ tekstonderdelen wordt het taalniveau van de tekst vastgesteld op een zespuntsschaal (A1 tot en met C2). Texamen en Klinkende Taal geven daarbij ook de knelpunten in de tekst aan.

Over de effectiviteit van de leesbaarheidsformules zijn de meningen verdeeld. Kraf en Pander Maat (2009) inventariseerden de meest gehoorde kritiekpunten op leesbaarheidsformules van verschillende wetenschappers:

 De voorspellers - o.a. woordlengte, zinslengte - zijn niet causaal relevant voor begripsproblemen. De voorspellers richten zich hoogstens op symptomen, maar niet op de oorzaken van begripsproblemen.

 Verschillende onderzoeken tonen aan dat het aanpassen van oppervlakkige tekstkenmerken zoals zinslengte geen invloed heeft op tekstbegrip. Soms bereikt aanpassing zelfs het tegenovergestelde effect.

 Begrip zit niet alleen in de oppervlakkige kenmerken van een tekst; belangrijke tekstkenmerken zoals structuur en coherentie maken geen deel uit van de leesbaarheidsformules.

 Begrip van de tekst is in grote mate ook afhankelijk van de lezer; de lezer beschikt over een bepaalde mate van voorkennis en vaardigheden. Deze interactie tussen lezer en tekst wordt in leesbaarheidsformules niet in beschouwing genomen.

sterker samen te hangen met de begripsscores die werden gevonden met de cloze-toetsen dan de uitslagen van de drie leesbaarheidsformules. Geconcludeerd kan worden dat de leesbaarheidsformules dus weinig voorspellende waarde hebben met betrekking tot de moeilijkheid/leesbaarheid van teksten.

Daarbij is reeds naar voren gekomen dat tekstelementen in beleidsnota’s soms opzettelijk vaag en moeilijk worden gemaakt om zo consensus te kunnen bereiken. Deze stijlproblemen zijn dus niet eenvoudig op te lossen. Er is dus iets voor te zeggen om (ook) op andere aspecten van de tekst te focussen; de meer inhoudelijke en structurele tekstkenmerken.

2.5.2.

S

Om de structuur van een tekst op kwaliteit te kunnen beoordelen zou de structuur vergeleken moeten worden met een ideale modelstructuur. Een belangrijke kanttekening hierbij is dat binnen een genre zonder problemen verschillende structuren gebruikt kunnen worden, waarbij de één waarschijnlijk niet veel beter of slechter is dan de andere. Neutelings en Janssen(1999) onderscheiden zeven verschillende basisstructuren voor beleidsteksten: doel-middelen, aanleiding-gevolg, reden-handeling/besluit, conclusie-argument, probleem-oplossing, oorzaak-gevolg, vraag-antwoord, criteria-plannen/voorstellen. Onderzoek van Janssen & Neutelings (1996) toont aan dat Kamerleden het liefst de onderstaande (probleem-oplossing)structuur voor beleidsnota’s zien:

 Beslispunten  Samenvatting

1. Inleiding (met daarin wettelijk, politiek en organisatorisch kader) 2. Voorgeschiedenis

3. Probleemstelling 4. Doelstelling(en)

5. Mogelijke oplossingen en hoe die te bereiken 6. Consequenties van die oplossingen

7. Beste oplossing

8. Financiële consequenties

 Bijlagen (met daarbij een woordenlijst en achtergrondinformatie)

Voor de lezer is de inhoudsopgave het beste oriëntatiemiddel om de structuur van de tekst snel globaal te kunnen inschatten.

Voor de schrijver kunnen de doelboom of de piramide (zie volgende paragraaf) ingezet worden als hulpmiddel om de structuur en inhoud voorafgaand aan het schrijven te bepalen. Het kan echter lastig zijn om vast te houden aan de structuur als meerdere mensen zich met een tekst bezighouden en als na een eerste revisieronde niet meer getornd mag worden aan de geaccepteerde tekstonderdelen.

2.5.3.

I

Hoe wordt dit tekort bepaald? Het gaat hierbij altijd om een bepaalde volledigheidsvisie. Volgens Kuypers zijn doelen en middelen de meest voorname inhoudselementen van een beleidsnota (Van der Loo, 1992). Deze elementen worden dan ook bij de doelboom geanalyseerd. Bij het stofschema worden deze twee elementen uitgebreid met argumenten. Het stofschema is dus alleen een relevant analyse-instrument wanneer het gaat om een beleidsvoorstel. Bij aanvaard beleid ontbreekt immers vaak de argumentatie (zie paragraaf 2.3.1). De doelboom en het stofschema zijn de enige evaluatiemethoden in dit hoofdstuk die zeer specifiek gericht zijn op het genre beleid.

De piramide is niet specifiek ontwikkeld voor de ontwikkeling of analyse van beleid. Bij deze methode worden vanuit de vraagstelling het ‘hoe’ en het ‘waarom’ uitgewerkt om een antwoord te kunnen geven op de hoofdvraag van een verslag. Het uiteindelijke antwoord zou hierbij kunnen worden beschouwd als het doel, het ‘hoe’ als het middel en het ‘waarom’ als de argumentatie. In zekere zin is deze methode dus te vergelijken met het stofschema qua inhoudseisen. Hier geldt dus eveneens dat deze methode alleen geschikt is voor de analyse van een beleidsvoorstel.

Bij de bouwplangestuurde analyse hangt de volledigheidsvisie af van het specifieke bouwplan waarmee de tekst vergeleken wordt. Bij de tekstvolgende analyse is er geen sprake van een visie. Men analyseert de gehele tekst waarvan de uitkomsten vervolgens vergeleken worden met een bepaalde visie. Zonder een duidelijke definitie van ‘de ideale inhoud’ is een dergelijke analyse dus niet zinvol.

Tot slot zijn er nog checklists om de inhoud van een tekst te analyseren (of op te stellen). Een checklist is, evenals de bouwplangestuurde analyse, een minder vastomlijnde methode dan de voorgaande beschreven methodes en de ‘volledigheidsvisie’ is geheel afhankelijk van de betreffende checklist.

2.5.3.1. Doelboom

De doelboom is specifiek gericht op het genre beleidsnota’s. In een doelboom worden de relaties tussen middelen/ beleidsinstrumenten, tussendoelen en hoofddoelen van beleid schematisch weergegeven. De doelboom kan van voorafgaand aan het schrijven van een beleidsstuk worden opgesteld om de grote lijnen van het beleid helder te krijgen, maar de doelboom kan ook na het schrijven van het beleidsstuk worden opgesteld. De doelboom reconstrueert dan de inhoud van het beleid, vaak teneinde dit beleid te kunnen verbeteren of evalueren. De top van de doelboom geeft de toekomstige situatie weer, de voet het heden (Janssen, 1991). Op de volgende pagina staat een voorbeeld van een doelboom weergegeven (fig. 2.).

2.5.3.2. Stofschema

niet in het stofschema zijn opgenomen. Het stofschema laat de functies zien die de onderdelen van het beleid ten opzichte van elkaar uitoefenen, maar geeft geen voorkeur voor een bepaalde volgorde waarin deze onderdelen behandeld moeten worden. (Drop, 1983; Janssen, 1991). Op pagina 21 staat een afbeelding van het stofschema weergegeven (fig. 3.).

Hebben en houden van veilig en bewoonbaar land

Bescherming tegen

overstroming Behoud van land

A. Beschermingsniveau tegen overstroming (op het niveau van de Wet

op de waterkering) handhaven als combinatie van:

A) Het in stand houden van het kerend vermogen van waterkeringen

B) Verlagen van de hoogwaterstanden (opvangen van hogere

maatgevende rivierafvoeren

B. Handhaven van de kustlijn (op het niveau van

1990 met behulp van de basiskustlijn 1. Het op peil houden van waterkeringen 2. Het versterken van keringen 3. Realiseren van ruimte in de rivierbedding 4. Bestrijden (compenseren) van structurele kusterosie

Het uivoeren van (meer)jaarlijkse programma’s door rijk en waterschappen zoals Deltaplan Grote Rivieren, programma’s voor beheer en onderhoud, verbetering,

verideping en verbreding van rivierbeddingen en zandsuppleties

DOEL:

T1 moet veranderen in T2 Of

T2 moet worden bereikt Of

T1 moet verdwijnen

MIDDEL:

Actie(s) en/of agens en/of instrument R e d e n e n Ongewenstheid van T1 Gewenstheid van T2 Nevengevolgen: overwegend gewenst Ongewenste nevengevolgen Instantie die beleid

voorstelt

Voorwaarde

Argumenten voor de keuze van het middel

Toelaatbaarheid middel Beschikbaarheid middel Efficiëntie middel Effectiviteit middel Alternatief/Alternatieven voor het middel

Argumenten voor de keuze van het alternatief

Toelaatbaarheid alternatief Beschikbaarheid alternatief Efficiëntie alternatief Effectiviteit alternatief D o o r? Als? Waarom? Ondanks? W a a ro m ? W a a ro m ? T1 = huidige situatie T2 = toekomstige situatie

2.5.3.3. Piramideprincipe

Het piramideprincipe is in de eerste plaats een methode om betogende of adviserende teksten op te stellen. Het opstellen van een piramide wordt dus normaliter voorafgaand aan het schrijven gedaan, om zo de inhoud en structuur van de tekst te bepalen. Een piramidale structuur houdt in dat de hoofdboodschap (van de tekst, het hoofdstuk, de paragraaf, de alinea) voorop staat en deze boodschap wordt steeds verder uitgewerkt door antwoord te geven op de vragen ‘hoe’ en ‘waarom’. Op deze manier ontstaat er een dichtgetimmerd antwoord op de hoofdvraag. Door voorafgaand aan het schrijven de piramide op te stellen kan het document zo ‘ingevuld’ worden en wordt het toevoegen van irrelevante informatie zo veel mogelijk vermeden (Minto, 1991). Wanneer de piramide gebruikt wordt als evaluatiemethode kunnen de hiaten in de tekst worden opgespoord. Qua inhoudelijke eisen is de piramide te vergelijken met het stofschema (doelen (hoofdboodschap), middelen (hoe) en argumenten (waarom)), maar bij de piramide moeten de verbanden tussen deze elementen zelf worden gestructureerd, terwijl deze bij het stofschema staan aangegeven.

2.5.3.4. Bouwplangestuurde analyse

Bij een bouwplangestuurde analyse wordt de tekst vergeleken met een standaardbouwplan. Het bouwplan beschrijft een aantal elementen die de tekst aan moet bevatten en de analist checkt of deze elementen ook werkelijk aanwezig zijn. Het stofschema zou als een specifiek bouwplangestuurde analyse beschouwd kunnen, maar ook minder uitgebreide bouwplannen vallen onder deze vorm van analyse. Neutelings (1992) beschrijft bijvoorbeeld een standaardbouwplan voor het presenteren van een maatregel:

Thema: Een maatregel

Vraag 1: Wat is de maatregel precies? Vraag 2: Waarom is de maatregel nodig? Vraag 3: Hoe wordt de maatregel uitgevoerd? Vraag 4: Wat zijn de effecten?

2.5.3.5. Tekstvolgende analyse

Met een tekstvolgende analyse wordt de beleidstekst omgezet in vragen en antwoorden die de schrijvers hanteerden bij het schrijven van hun tekst. Doel is om het bouwplan te reconstrueren; het uitgangspunt van de schrijver(s) bij het schrijven van de nota. De resultaten van deze analyse kunnen bijvoorbeeld worden gebruikt om de inhoud te toetsen op bepaalde inhoudscriteria. Neutelings (1992) beschrijft het volgende stappenplan voor een tekstvolgende tekstanalyse:

1. Centrale thema van de tekst achterhalen (gehele tekst)

2. Thema’s van de grootste analyse-eenheden formuleren (hoofdstuk, paragraaf, alinea, zin)

3. De thema’s van de grootste analyse-eenheden verbinden met het centrale thema door middel van een vraag

4. Eventueel thema’s van de kleinere analyse-eenheden formuleren en deze verbinden aan het bovenliggende niveau (paragrafen, alinea’s, zinnen).

Fragment Analyse

Het Nederlandse parlement dient versterkt te worden. Zo dient de eigen

informatievoorziening van het parlement, buiten de regering om, te worden uitgebreid en gestructureerd door de vorming van een parlementair onderzoeksinstituut, dat de maatschappelijke uitwerking en houdbaarheid van beleid en regelgeving onderzoekt ten behoeve van parlementaire controle en interventie.

Tevens dient het parlement het recht te krijgen zelf, zonder tussenkomst van de regering, overleg te voeren met en informatie te verkrijgen van belangrijke adviescolleges

THEMA: VERSTERKING VAN HET NEDERLANDSE PARLEMENT (Stap 2) Vraag: Hoe kan het Nederlandse parlement versterkt worden? (Stap 3)

Thema alinea 1: de eigen

informatievoorziening, buiten de regering, moet worden uitgebreid en gestructureerd. (Stap 4)

Thema alinea 2: Het parlement dient het recht te krijgen om zelf te overleggen met en informatie te krijgen van belangrijke adviescolleges. (Stap 4)

Bron: Neutelings (1992), p. 147 – 148.

De tekstvolgende analyse is bedoeld om het originele bouwplan van de tekst te achterhalen en de specifieke inhoud van de tekst. Dit is voor de schrijver uiteraard niet relevant, de methode is dan ook bedoeld voor de tekstanalyticus om de inhoud/structuur van de tekst te kunnen analyseren.

2.5.3.5. Checklists

In het algemeen kan er vrij weinig gezegd worden over ‘de checklist’ als evaluatiemethode, omdat dit geen vastomlijnde methode is. Voor iedere tekst en voor ieder genre kan een checklist worden opgesteld door iedereen die een visie heeft op het specifieke onderwerp of genre. In dit onderzoek wordt gebruik gemaakt van drie verschillende checklists (ook de Planchecker, het onderzoeksonderwerp van dit onderzoek, kan als een checklist worden beschouwd). De gebruikte checklists worden nader toegelicht in hoofdstuk 3, Methode.

2.5.4.

E

2.5.4.1. CCC-model

Het CCC-model is gebaseerd op drie criteria: het Correspondentie, Consistentie- en Correctheidscriterium. Het correspondentiecriterium beoordeelt de afstemming van de schrijver op de lezer. Het consistentiecriterium is gericht op de afstemming tussen verschillende tekstdelen. Het correctheidscriterium tot slot moet de afstemming tussen de tekst en feiten/het taalsysteem beoordelen. Naast deze drie criteria zijn er vijf niveaus: teksttype, inhoud, opbouw, formulering en presentatie. De criteria en niveaus resulteren in vijftien aandachtsgebieden bij de analyse (drie criteria (CCC) maal vijf tekstniveaus). Binnen ieder aandachtsgebied staat een vraag centraal, bijvoorbeeld bij correspondentie en teksttype: is dit teksttype geschikt voor de doelgroep?; consistentie en teksttype: wordt in de hele tekst vastgehouden aan de genreregels?; correctheid en teksttype: zijn de genreregels juist toegepast? (Renkema, 2005).

Omdat er geen ideale vorm van de verschillende te analyseren tekstelementen gegeven is, is een beoordeling met het CCC-model een stuk minder betrouwbaar en subjectiever dan de eerder besproken methodes. Deze methode lijkt vooral geschikt om verschillende lezersreacties te categoriseren en desgewenst te vergelijken.

2.5.4.2. Plus-en-minmethode

De plus-en-minmethode is een pre-testmethode waarbij lezers uit de beoogde doelgroep teksten met een omvang tot ongeveer 15 pagina’s voorgeschoteld krijgen. De lezer moet met plussen en minnen de positieve en negatieve aspecten van de tekst aangeven. In een nagesprek met de beoordelaar worden de plussen en minnen geëvalueerd (Schellens & Maes, 2000).

De plus-en-minmethode wordt vaak gebruikt als pretest voor korte teksten die meerdere malen door een grote groep lezers gebruikt worden, zoals folders. Een beleidsnota is niet als dusdanig te karakteriseren; de tekst wordt eenmalig deels gelezen en is bestemd voor een kleine lezersgroep. Bovendien is er door de tijdsdruk vaak ook geen ruimte om de nota uitgebreid te testen.

2.5.5.

O

2.5.6.

S

De methoden en hun eigenschappen die besproken zijn in de voorgaande paragrafen staan in de volgende tabel samengevat:

Methode Genrefocus Criteria Insteek

Formulering

Leesbaarheids-formules

Geen Criteria op

oppervlakteniveau

Geven aan hoe het niet moet/Geven knelpunten in de tekst aan.

Inhoud

Doelboom Beleidsnota’s Doelen en middelen Geeft aan hoe het

wel moet/ Geeft ideale inhoud

Stofschema Beleidsnota’s Doelen, middelen en

argumenten

Geeft aan hoe het wel moet/ Geeft ideale inhoud Piramide-analyse Betogende/ adviserende teksten Doelen, middelen en argumenten

Geeft aan hoe het wel moet/ Geeft ideale inhoud

Bouwplangestuurde

analyse Afhankelijk van het bouwplan De punten zoals genoemd in het bouwplan Geeft aan hoe het wel moet/ Geeft ideale inhoud

Tekstvolgende

analyse Geen Boodschappen per teksteenheid Vergeleken met ideale inhoud

Checklists Afhankelijk van

de checklist

Afhankelijk van de checklist Geeft aan hoe het wel moet/ Geeft ideale inhoud Aandacht voor meerdere tekstniveaus

CCC-model Geen Correspondentie, consistentie

en correctheid van genre, inhoud, structuur,

formulering, lay-out

Geeft aan welke aspecten van de tekst beoordeeld moeten worden.

Plus-en-minmethode Geen Alles wat de lezer belangrijk

vindt

Geeft de tekst blanco ter

beoordeling aan de lezer.

2.6.

V

De besproken tekstevaluatiemethoden zijn allemaal gericht op het verbeteren van de tekstkwaliteit en dus gericht op het comfort van de lezer. De uitkomsten van de evaluaties zijn bedoeld voor de schrijver; de schrijver kan de evaluaties gebruiken teneinde zijn tekst te verbeteren voor de lezer. Echter, het opsporen van de problemen is voor de schrijver niet altijd relevant, die weet immers wel wat hij uit strategisch oogpunt gedaan heeft om de communicatieve functie van de tekst te ondermijnen. Hemmes heeft bij de ontwikkeling van de Planchecker een ander perspectief genomen; een analyse-instrument voor de lezer. De lezer zou ook een belangrijke rol kunnen spelen in kwaliteitsverbetering; wanneer de lezer beter uit zoud kunnen drukken wat er mis is met de beleidsstukken wordt verbetering wellicht eenvoudiger. Zoals beschreven in paragraaf 2.3.6 wordt concrete feedback eerder verwerkt dan vage feedbackvoorstellen.

De insteek van de Planchecker is om de kwaliteit van beleid eenvoudig meetbaar te maken. Het meetbaar maken van de kwaliteit heeft een tweeledig doel: ten eerste moet het lezers van beleidsstukken meer inzicht bieden in de kwaliteit van de beleidsstukken die zij lezen. Het uiteindelijke doel is om lezers kennis bij te brengen over welke aspecten van een beleidsstuk kwaliteit bepalen. Via deze weg wordt kwaliteit bespreekbaar en kunnen lezers meer gericht feedback geven op de stukken die zij lezen. Ten tweede verwacht Hemmes ook een indirecte invloed van de meetbaarheid van de kwaliteit; als de schrijver weet dat de kwaliteit van zijn werk gemeten wordt, zou hij meer bereid zijn om aandacht te besteden aan de kwaliteit.

3.

METHODE

In dit hoofdstuk wordt allereerst het object van onderzoek besproken: de Planchecker. Hierop volgend worden kort de twee modellen besproken waarmee de Planchecker vergeleken wordt, waarbij de keuze voor deze instrumenten wordt toegelicht. Met de drie verschillende tekstanalyse-instrumenten worden dertien beleidsteksten beoordeeld, meer specifiek gaat het om dertien Groningse woonvisies. Na de behandeling van de instrumenten zal daarom een korte karakterisering van dit teksttype gegeven worden. Hierop volgt een concretisering van de hoofd- en deelvragen. Deze zullen worden toegelicht en tot slot wordt de betrouwbaarheid en validiteit van het onderzoek besproken.

3.1.

D

P

3.1.1.

W

P

Volgens Hemmes, de ontwikkelaar van de Planchecker, ontbreken er vaak essentiële onderdelen in beleidsstukken. Dit ontneemt lezers de kans om een oordeel te vellen over bepaalde beleidsaspecten. Een ander probleem is dat lezers van beleidsstukken zich vaak helemaal niet bewust zijn van de ontbrekende informatie; ze zien niet wat er niet staat. Raadsleden raken gewend aan de matige kwaliteit van de stukken die zij aangeleverd krijgen en zijn niet goed in staat om aan te geven waar het beter moet. De Planchecker moet hier verandering in brengen. Het instrument wordt gepresenteerd als een objectief hulpmiddel om de kwaliteit van beleidsstukken te bepalen.

Om de kwaliteit van een beleidstekst inzichtelijk te maken beoordeelt de Planchecker de beleidsstukken op elf verschillende thema’s. Acht van de elf thema’s zijn toe te passen op beleidsstukken op ieder beleidsterrein. De overige drie thema’s zijn niet algemeen toepasbaar, maar worden toegespitst op een specifiek beleidsterrein. In dit onderzoek zijn de specifieke thema’s gericht op woonbeleid. De volgende thema’s worden door de Planchecker behandeld: Algemene thema’s

1. Toekomst: checkt of het beleidsstuk gericht is op het bereiken van doelen

2. Verleden: checkt of het beleidsstuk een analyse van de ongewenste situatie bevat

3. Interne beleidsoriëntatie: checkt of het beleidsstuk de uitvoerbaarheid van het beleid bespreekt

4. Externe beleidsoriëntatie: checkt of in het beleidsstuk rekening gehouden wordt met ontwikkelingen en beperkingen vanuit de omgeving van het beleid

5. Besluitvorming: checkt of het beleidsstuk een goede basis vormt voor besluitvorming 6. Totstandkoming: checkt of in het beleidsstuk wordt beschreven of het beleid tot stand is

gekomen vanuit een heldere opdracht en door het betrekken van externen

7. Vaag taalgebruik: checkt of het beleidsstuk vage taal bevat (moeilijke woorden, lijdende vorm)

8. Beknoptheid: checkt hoe beknopt het beleidsstuk is Specifieke thema’s

9. Inhoud intern: checkt of de kernbegrippen van het beleidsterrein behandeld worden 10. Inhoud extern: checkt of in het beleidsstuk rekening wordt gehouden met aanpalende

11. Klantwoorden: checkt of onderwerpen die een klant wil terugzien aanwezig zijn in het beleidsstuk

Als we kijken naar de klachtencategorieën die Neutelings en Janssen (1999, zie paragraaf 2.2.) onderscheiden, dan is duidelijk dat de Planchecker zich in eerste instantie richt op verbetering van het informatiegehalte van de tekst. Ook de formulering van het beleid wordt meegenomen in de beoordeling. Structuur en oprechtheid worden door de Planchecker niet beoordeeld.

Uit de analyse met de Planchecker komen per module twee scores naar voren. Eén cijfer voor compleetheid en één cijfer voor de relatieve aandacht die de module krijgt in verhouding tot de andere modules. Een cijfer voor de relatieve aandacht kan een karakterisering van het beleid geven; als er bijvoorbeeld relatief veel aandacht is voor het thema Toekomst, dan is het beleidsstuk te karakteriseren als een toekomstvisie. Naast cijfers voor compleetheid en relatieve aandacht worden aparte cijfers gegeven voor vaag taalgebruik en beknoptheid.

De scores voor compleetheid, relatieve aandacht en vaagheid worden berekend op basis van de aan- en afwezigheid van specifiek geformuleerde trefwoorden. Iedere module bevat dertig trefwoorden. In totaal bevat de Planchecker dus 10 keer 30 unieke trefwoorden = 300 trefwoorden. (De module beknoptheid kent geen trefwoorden.) Onder de trefwoorden zijn geen synoniemen of verschillende woordvormen van één woord aanwezig; dus bijvoorbeeld alleen monitor en niet ook monitoren en/of monitoring. De Planchecker vinkt het woord alleen af als het woord er precies zo staat als in de trefwoordenlijst; het woord monitor zit bijvoorbeeld ook in het woord monitoring, maar dit woord wordt niet meegenomen in de analyse, meer hierover in paragraaf 3.1.3. De compleetheid wordt berekend door te bepalen of de trefwoorden wel of niet aanwezig zijn. De relatieve aandacht wordt berekend door te bepalen hoe vaak de trefwoorden binnen een thema voorkomen ten opzichte van het aantal treffers in de andere thema’s. Gedurende dit onderzoek is besloten dat de beknoptheid gemeten wordt met een type token ratio. Hieronder staat een schematische weergave van (een deel van) de opzet van de Planchecker weergegeven. 30 trefwoorden behorende bij het thema. Scoreberekening thema: (X*10)/30 X is het aantal trefwoorden

dat terugkomt in de woonvisie. (vermenigvuldigd met het aantal thema’s (10), gedeeld door het aantal trefwoorden in

het thema (30)

Scoreberekening thema: Totaal aantal voorkomens van

trefwoorden binnen een thema gedeeld door het totaal

aantal voorkomens van de trefwoorden in de tien thema’s THEMA

COMPLEETHEID Komt de zoekterm wel/niet

in het bestand voor?

RELATIEVE AANDACHT Hoe vaak komt de

zoekterm voor? Eindscoreberekening compleetheid: Gemiddelde modules (gemiddelde beleidsmodules 1, 2, 3, 4) + (Gemiddelde procesmodules 5,6) + (Gemiddelde inhoudsmodules 9,10) / 3

In dit onderzoek wordt alleen de scoreberekening voor compleetheid onder de loep genomen. Daarbij worden alleen de thema’s 1 tot en met 6 en de thema’s 8 en 9 betrokken. De scores voor relatieve aandacht, vaag taal, beknoptheid en klantwoorden worden dus niet meegenomen in dit onderzoek. Voor verantwoording zie paragraaf 3.3.

De gebruiker van de Planchecker weet niet welke woorden er in de trefwoordenlijsten van de thema’s staan en de scores die in eerste instantie uit de Planchecker rollen geven de klant dus slechts een globale indicatie voor op welk gebied het beleidsstuk verbeterd zou kunnen worden. Pas in tweede instantie kan er achter de scores gekeken worden door Hemmes en achterhaald worden welke trefwoorden/onderwerpen ontbreken.

In tegenstelling tot alle tekstanalyse-instrumenten die in het vorige hoofdstuk besproken zijn, zijn de resultaten die uit de Planchecker rollen in eerste instantie bedoeld voor de lezer. Op dit moment wordt de Planchecker alleen gebruikt voor beleidsstukken die al geaccepteerd zijn. Volgens Hemmes is de weg naar verbetering van beleidsstukken om de kwaliteit eerst meetbaar te maken en vervolgens bespreekbaar. Wanneer de lezer in staat is de kwaliteit te bespreken kan deze bovendien beter aan de schrijver aangeven hoe het beleid beter moet/kan. Zoals te lezen was in paragraaf 2.3.6 worden concrete feedbackvoorstellen eerder verwerkt door de schrijver. In principe zou het instrument ook gebruikt kunnen worden om schrijvers feedback te geven tijdens het schrijfproces. Resultaten van al geaccepteerde beleidsstukken zijn voor hen minder interessant, zij hoeven zich op dat punt immers niet meer bezig te houden met het stuk. Verder zou het instrument ook ingezet kunnen worden als meetinstrument bij trajecten voor kwaliteitsverbetering; met de Planchecker is eenvoudig een nul- en één-meting uit te voeren.

3.1.2.

O

P

De gedachte achter de Planchecker is dat kwaliteit af te leiden is uit de aan- en afwezigheid van bepaalde opzichzelfstaande trefwoorden. Deze trefwoorden representeren de onderwerpen die behandeld moeten worden volgens Hemmes. De onderwerpen zijn bepaald aan de hand van onderzoek. Voor de algemene modules zijn verschillende beleidsstukken bekeken waaruit trefwoorden geabstraheerd zijn. Voor de specifieke modules zijn de trefwoorden samengesteld op basis van gesprekken met experts bij de Vereniging Eigen Huis. Verder zijn onder andere het Centraal Planbureau, de Vereniging Nederlandse Gemeenten, Rekenkamers, Centrum Beleidsadviserend Onderzoek (CEBEON) en NICIS als bron gebruikt. Daarnaast zijn een aantal woonvisies, evaluaties van woonvisies en andere gerelateerde documenten bekeken waaruit belangrijke termen geabstraheerd zijn.

De trefwoorden in de algemene en specifieke modules zijn voornamelijk naamwoorden. Vaak zijn deze in enkelvoud geformuleerd, maar er zijn ook trefwoorden in de meervoudsvorm aanwezig. Daarnaast komen er ook enkele werkwoorden voor en adjectieven.

De trefwoorden in de module Vaag taalgebruik zijn afkomstig van een woordenlijst op de website www.vaagtaal.nl.

3.1.3.

O

P

1. Als we kijken naar de eerder geïdentificeerde oorzaken voor een verminderde kwaliteit van beleid dan valt op dat de Planchecker zich (indirect) voornamelijk lijkt te richten op het probleem van de onduidelijke feedback. Doel van de Planchecker is immers om kwaliteit inzichtelijk te maken om deze vervolgens bespreekbaar te maken.

2. Een andere opvallende eigenschap van de Planchecker, is dat deze ernaar streeft beleidstukken op ieder beleidsterrein te kunnen beoordelen. Echter, zoals te lezen was in paragraaf 2.3.1, lijkt het ontwikkelen van eenduidige criteria voor ‘beleid in het algemeen’ een lastige opgave. De Planchecker stelt zich dus voor een grote uitdaging.

3. De trefwoordenlijsten van de Planchecker bevatten geen synoniemen en over het algemeen zijn ook geen alternatieve woordvormen van een woord opgenomen. Dit zou een struikelpunt kunnen zijn bij de beoordeling van beleidsstukken aangezien de kans groot is dat de Planchecker hierdoor belangrijke elementen van de beleidsstukken overslaat in haar analyse. De scores zouden zo lager kunnen uitvallen dan werkelijk de bedoeling is.

4. De Planchecker is een zeer snelle methode. Dit is een belangrijk pluspunt van het instrument. De analyses met de checklists waarmee de Planchecker vergeleken wordt (zie volgende paragraaf), zijn daarentegen een erg arbeidsintensieve methode om beleidsstukken te beoordelen.

Opmerkingen over de overige modulen die niet worden betrokken in dit onderzoek (relatieve aandacht, vaag taal en beknoptheid) zijn opgenomen in de Discussie.

3.2.

M

P

3.2.1.

V

Om de waarde van de Planchecker te kunnen vaststellen is het van belang dat de instrumenten waarmee de Planchecker vergeleken wordt zich op dezelfde aspecten focussen als de Planchecker. In dit onderzoek wordt alleen gekeken naar de functionaliteit van de volledigheidsbeoordeling van de Planchecker (voor een verantwoording zie paragraaf 3.3). Hierdoor vallen verschillende van de genoemde tekstanalysemethoden in hoofdstuk 1 af; de leesbaarheidsformules en de meer subjectieve methoden die meer/andere aspecten checken dan alleen volledigheid; het CCC-model en de plus-en-minmethode.

Wat betreft volledigheid is van belang te bepalen wat de term volledigheid voor beleidsstukken/woonvisies inhoudt. Volledigheid kan door eenieder anders gedefinieerd worden. De vraag is of de volledigheidsdefinitie van de Planchecker overeenkomt met de volledigheidsvisie van relevante partijen. De doelboom, het stofschema en de piramide definiëren volledigheid als doelen, middelen en in het geval van het stofschema en de piramide, ook argumenten. De belangrijkste reden dat geen van deze drie analysemethoden worden gebruikt in dit onderzoek is dat het voor een niet-inhoudsdeskundige lastig is om waarde toe te kennen aan de kwaliteit van de verschillende doelen-middelenschema’s; de kennis ontbreekt om te bepalen wat er in de schema’s ontbreekt. Om deze reden is uiteindelijk gekozen om de Planchecker te vergelijken met twee modellen die ook specifieke eisen stellen aan de inhoud van woonvisies.