In deze paragraaf wordt de vertaalslag gemaakt van de buitenlandse leesbaarheidsonderzoeken op het gebied van accounting naar de Nederlandse situatie. Dit is vrij gecompliceerd. In Nederland bestaat het concept van leesbaarheidsanalyse eigenlijk alleen voor het basisonderwijs. Vooral Staphorsius (1994) heeft intensief onderzoek gedaan naar de leesbaar van teksten op basisschoolniveau. Eerst bespreken we de door het CITO ontwikkelde CLIB Daarnaast bestaat er nog een andere leesbaarheidformule voor Nederlandse teksten. De formule is een bewerking van de Flesch Reading Ease Formula die in de vorige paragraaf aan de orde is geweest. De formule is in 1960 aangepast door de Nederlandse ingenieur W.H. Douma. Centraal in deze paragraaf staat de t-scan, die is ontwikkeld door medewerkers van de Universiteit Utrecht.
45 1. CLIB: Cito leesbaarheidsindex voor het basisonderwijs
Eén van de eerste methoden voor het onderzoeken van leesbaarheid komt uit de onderwijswereld. Een voorbeeld hiervan dat al eerder is genoemd is het AVI-systeem. Voor het onderzoek naar de leesbaarheid van jaarverslaggeving is gebruik gemaakt van andere methodes. De AVI-methode werkt ook met behulp van een leesbaarheidsformule. De AVI-methode is doorontwikkeld door CITO. De nieuwe leesbaarheidsindex heet: Cito LeesbaarheidsIndex voor het Basisonderwijs genoemd. Kortweg CLIB. Deze methode maakt ook gebruik van oppervlakte-kenmerken zoals woord- en zinslengte. Het opvallende aan de CLIB is dat de testuitslagen correleren met de CLOZE-methode, die bekend staat om zijn sterke validiteit, objectiviteit en betrouwbaarheid. De CLIB formule ziet er als volgt uit:
CLIB = 46 - 6,603GWL + 0,474PFREQ - 0,365PTYPES + 1,425PZW [5] GWL: gemiddelde woordlengte in letters
PFREQ77: percentage hoogfrequente woorden PTYPES: percentage types
PZW: percentage zinnen per woord (het omgekeerde van de gemiddelde zinslengte in woorden)
(Staphorsius 2008a, p2) De interpretatie van de formule geschiedt met de volgende tabel:
Tabel 7: Van CLIB naar Clib-niveau
CLIB-Niveau Niveau aanduiding < 1 - ver onder de gemiddelde CLIB eind groep 4 1 – 7 onder de gemiddelde CLIB eind groep 4 8 – 20 direct om de gemiddelde CLIB eind groep 4 21 – 35 direct om de gemiddelde CLIB eind groep 5 36 – 48 direct om de gemiddelde CLIB eind groep 6 49 – 61 direct om de gemiddelde CLIB eind groep 7 62 – 74 direct om de gemiddelde CLIB eind groep 8 75 – 87 boven de gemiddelde CLIB eind groep 8 88 – 100 ver boven de gemiddelde CLIB eind groep 8
46 2. Douma-Flesch Reading Ease Formule
Kraf en Pander Maat (2009) geven aan dat Douma in 1960 de Flesch Reading Ease Formula heeft aangepast aan de Nederlandse taal. Hij heeft met behulp van deze formule de leesbaarheid van landbouwmagazines onderzocht. Deze formule is niet gevalideerd. De Bock (1982) geeft aan dat Douma uit onderzoek van vertalingen van Engelse teksten naar het Nederlands heeft vastgesteld dat de woorden en zinnen van de Nederlandse vertalingen 11% langer zijn. Douma heeft daarom de waardes uit originele Flesch Reading Ease Formula simpelweg met 11% verlaagd. In tabel 8 staan de uiteindelijke door Douma berekende scores en hun interpretatie.
Flesch – Douma= 206,835 – 0,77 x woordlengte x -0,93 x zinslengte [06]
Tabel 8: Flesch-Douma Reading Ease Index
Douma-score Niveau indicatie
90-100 Heel eenvoudig 80-90 Eenvoudig 70-80 Vrij eenvoudig 60-70 Normaal 50-60 Vrij moeilijk 30-50 Moeilijk 30-0 Heel moeilijk Bron: Douma, W.H. (1960) 3. T-scan
Op de universiteit van Utrecht zijn Kraf & Pander Maat (2009) bezig een meetinstrument te ontwikkelen dat in staat is om teksten automatisch te analyseren. De t-scan bevindt zich op dit moment in de beta-fase25. De scan is speciaal ontwikkeld voor de Nederlandse taal. Hij is daarom toepasbaar op Nederlandstalige jaarverslaggeving. Dit in tegenstelling tot vele andere analyse methoden, zoals de Coh-Metrix (de grote Engelse broer van de t-scan), de LIX-formule en de Fog-index. Natuurlijk zijn de Flesch-Douma Reading Ease Formule en CLIB-Formule bruikbaar voor Nederlandse teksten. Alleen levert dit problemen voor de validiteit. Zoals eerder gezegd is de Flesch-Douma Reading Ease Formule nooit eerder gevalideerd en is de
47 CLIB-formule alleen gevalideerd voor teksten op basisschoolniveau. Het grote voordeel van de t-scan is dat hij niet alleen oppervlaktekenmerken26 betrekt in zijn analyse. De techniek waar de t-scan gebruik van maakt bouwt onder andere voort op de technieken die Sydserff & Weetman (1999) in hun onderzoek bespreken. De onderstaande tabel geeft een samenvatting van de factoren die de t-scan meet.
Tabel 09: Verkort overzicht van t-Scan-predictoren
Groep Voorbeelden
Woordmoeilijkheid Woordlengte, woordfrequenties, Zinscomplexiteit Zinslengte, lijdende vormen, ontkenningen Informatiedichtheid Bijwoordelijke en bijvoeglijke bepalingen Coherentie Connectieven, terugverwijzende voornaamwoorden,
Concreetheid Concrete adjectieven en nomina (breed en strikt
gedefinieerd)
Persoonlijkheid Persoonsverwijzingen, vragen en imperatieven
Bron: Kraf & Pander Maat (2009 p. 12)(aangepast)
Het valt op dat de t-scan zowel oppervlaktekenmerken meet, maar ook een groot aantal dieptekenmerken27. Er zijn ook overeenkomsten met leesbaarheidsformules. Zoals de meting van zins- en woordlengte. Tal van factoren worden niet gemeten met leesbaarheidsformules, maar zijn wel van invloed op de leesbaarheid van teksten. Sydserff & Weetman (1999) hebben een model gemaakt, waarin informatieverschaffing kan worden gemeten door middel van linguïstische analyse. Hun model is een combinatie van de modellen van Beaugrande & Dressler (1981) en Roseberry 1995, zoals ik in paragraaf 3.6 hebben uiteengezet. In tabel 10 staat een overzicht van de factoren die Sydserf en Weetman betrekken in hun onderzoek, de factoren die leesbaarheidsformules meten en de factoren die de t-scan meet. Ik lichten eerste enkele begrippen uit deze tabel nader toe.
Met de t-scan is het mogelijk om zowel oppervlakte- als dieptekenmerken te meten. Al is het niet mogelijk om connectieven, intertekstualiteit en actualiteit te meten met de t-scan, omdat computermodellen niet inhoudelijk op teksten kunnen ingaan. De overige indexicals van Sydserff & Weetman (1999) kan de t-scan wel analyseren.
26 Deze kenmerken zijn onder andere woordlengte in lettergrepen en zinslengte in woorden (leesbaarheidsformules maken gebruik van deze kenmerken).
27 Deze kenmerken zijn onder andere coherentie van teksten en gebruik van argument overlap in woorden.
48 De factoren connectieven, intertekstualiteit en thematiek uit tabel 10 kunnen (nog) niet gemeten worden aan de hand van het Nederlandse computermodel onderstaand een staat een toelichting, waarom deze factoren nog niet meetbaar zijn. De drie begrippen betekenen het volgende:
Connectieven; deze factor tracht te meten of een opvolgende alinea antwoord geeft op vragen die in een vorige alinea zijn opgeworpen. De computer begrijpt niet welke vragen een bepaalde tekst oproept en welke er dan beantwoord zouden moeten worden. Vandaar dat deze factor niet meetbaar is.
Intertekstualiteit; deze factor tracht te meten of er in de tekst ook verwijzingen staan naar andere gedeelten uit het verslag. Het computermodel kan dit niet beoordelen.
Thematiek; deze factor tracht te meten of de besproken onderwerpen van een paragraaf passen tussen de andere onderwerpen.
Deze drie factoren kunnen alleen maar door mensen worden geanalyseerd. Dit maakt de analyse van deze factoren ook direct weer subjectief. De t-scan is objectief en zal geen onderscheid maken en altijd hetzelfde meetresultaat geven onder verschillende omstandigheden. Het model dat gebruikt is in het artikel van Kraf & Pander Maat (2009) waar geen oppervlaktekenmerken in worden toegepast, meet zo’n 70% van de
Sydserff en
Weetman (1999) leesbaarheidsformules t-scan
- o o - o o - o o o - o o - o o - -o - -o -
-* Nederlandse vertaling voor 'topicality'.
o: Factor wordt door meetinstrumtent gemeten. -: Factor wordt niet door meetinstrumtent gemeten. thematiek*
Factor
Tabel 10: Overzicht van factoren die worden gemeten door verschillende instrumenten
Woordlengte woordlengte woordfrequentie zinslengte conjunctieven coherentie connectieven intertekstualiteit
49 variantie in de CLOZE-scores. Dit maakt het mogelijk een model op het MVO-verslag toe te passen dat niet de nadelen heeft van de leesbaarheidsformules. In de Verenigde Staten bestaat een vergelijkbaar instrument als de t-scan. De Coh-Metrix28, zoals dit meetinstrument wordt genoemd, meet veel van dezelfde factoren als de scan. Onderzoek met deze Coh-metrix staat, net zoals onderzoek met de t-scan, nog in de kinderschoenen. Merkl-Davies et al. (2010) hebben onderzoek gedaan naar de leesbaarheid van jaarverslagen uit de V.S. met behulp van de Coh-Metrix. Naast de Co-Methrix hebben zij gebruik gemaakt van de Flesch Reading Ease Formula. Deze zelfde formule vormde de basis voor de Flesch–Douma Reading Ease Formule, zoals eerder besproken. Interessant aan het onderzoek van Merkl- Davies et al. zijn de factoren uit de Coh-Metrix die zij gebruiken. Zij maken gebruik van de referentiële coherentie factoren. De volgende Coh Metrix factoren worden gebruikt door Merkl-Davies et al.: argument overlap met vorige zin, lemma-argument-overlap met vorige zin, argument overlap met vorige x aantal woorden en lemma-argument overlap met vorige x aantal woorden. In tabel 11 worden de factoren toegelicht.
Tabel 11: Toelichting t-scan - Coh Metrix factoren
Argument-overlap met vorige zin Telt overlap tussen argumenten in opeenvolgende zinnen. Voor ieder argument wordt gekeken of het in de voorgaande zin is voorgekomen. Als argument worden hier aangemerkt: voornaamwoorden (maar niet aanwijzende), namen, zelfstandige naamwoorden en hoofdwerkwoorden. Door met lijstjes voornaamwoorden te werken worden ook twee voornaamwoorden van verschillende type, maar in dezelfde persoon meegerekend als overlappende argumenten, bijvoorbeeld ik en mijn in de zinnen “Gisteren kocht ik een exemplaar van ‘De Avonden’. Ik was erg blij met mijn nieuwe boek.”
28 De Coh-Metrix is beschikbaar op ‘http://cohmetrix.memphis.edu/cohmetrixpr/index.html’. Op deze url zijn ook achtergrondartikelen te vinden.
50 Formule:
Aantal aangrenzende zinnen die een coherente relatie bevatten
--- Totaal aantal zinnen -1
Lemma-argument-overlap met
vorige zin Korte omschrijving: Telt overlap tussen gelemmatiseerde argumenten in opeenvolgende zinnen.
Voor ieder gelemmatiseerd argument 29wordt gekeken of het in de voorgaande zin is voorgekomen. Als argument worden hier aangemerkt: voornaamwoorden (maar niet aanwijzende), namen, zelfstandige naamwoorden en hoofdwerkwoorden. Door met lijstjes voornaamwoorden te werken worden ook twee voornaamwoorden van verschillend type maar in dezelfde persoon meegerekend als overlappende argumenten, bijvoorbeeld ik en mijn in de zinnen “Gisteren kocht ik een exemplaar van ‘De Avonden’. Ik was erg blij met mijn nieuwe boek.”
Formule:
Aantal aangrenzende zinnen die een coherente relatie bevatten tussen woordstammen ---
Totaal aantal zinnen -1 Argument-overlap met vorige X
woorden Zelfde als Argument-overlap met vorige zin, maar dan gemeten over gehele voorgaande tekst.
Formule:
Aantal zinnen die een coherente relatie bevatten
--- [Totaal aantal zinnen] x[Totaal aantal zinnen -1]/2
29 Dit behelst het terugbrengen van vervoegingen van woorden naar de stam van het woord.
Voorbeeld: Het woord beter is de overtreffende trap van goed. Wanneer beter wordt gelemmatiseerd wordt het woord gecategoriseerd onder goed. Als goed en beter in aangrenzende zinnen voorkomen dan is hier sprake van een coherente relatie. De t-scan is in staat deze relatie te meten.
51 Lemma-argument-overlap met
vorige X aantal woorden Zelfde als lemma argument overlap met vorige zin, maar dan gemeten over gehele voorgaande tekst.
Formule:
Aantal zinnen die een coherente relatie bevatten tussen woordstammen --- [Totaal aantal zinnen] x[Totaal aantal zinnen -1]/2
(naar Kraf en Pandermaat, handleiding t-scan) De t-scan erkent al deze factoren ook en berekent deze op dezelfde wijze als Coh-Metrix. In het onderzoek van Merkl-Davies et al. blijkt dat de gebruikte factoren uit de Coh-Metrix met elkaar correleren met correlatiecoëfficiënten variërend van 0,500 tot 0,923 hetgeen betekent dat de relaties tussen de Coh-Metrixfactoren significant zijn op een 1% significatieniveau. Tussen de vier Coh Metrixfactoren en Flesch Reading Ease Formule bestaan negatieve correlaties met correlatiecoëfficiënten variërend van 0,000 tot 0,005. Merkl-Davies et al. concluderen hieruit dat de onderzochte jaarverslagen moeilijk noch makkelijk leesbaar zijn. Deze resultaten zijn voor mijn onderzoek ook waardevol. Immers negatieve correlaties tussen een methode die gebruik maakt van oppervlakte kenmerken (de Flesch Reading Ease Formula) en de methode die gebruik maakt van dieptekenmerken (Coh-Metrix) kan duiden op een betere analyse van de tekst. Helaas is de Coh-Metrix nog niet gevalideerd met behulp van een Cloze-test of iets dergelijks om de voorgaande stelling te ondersteunen. De resultaten van het onderzoek van Merkl-Davies et al. zijn evenwel hoopgevend voor de resultaten met de t-scan.
3.8 Conclusie
Binnen de taalkunde is leesbaarheidsonderzoek een belangrijk thema. Alle technieken die worden aangereikt om de leesbaarheid van accounting gerelateerde teksten te analyseren zijn nagenoeg allemaal afkomstig uit de taalkunde. Syntactische-, semantische-, functionele- en coherentieanalyse zijn de verschillende methodes die in de taalkunde bestaan om teksten op leesbaarheid te testen. Sommige technieken zijn zo vanuit de taalkunde overgenomen en toegepast op accounting gerelateerde teksten zoals de leesbaarheidsformules. Andere technieken zoals de
52 thematische inhoudsanalyse zijn aangepast om zo geschikt te zijn als analysemiddel voor accounting gerelateerde teksten.
Elke methode heeft zijn eigen beperkingen. Leesbaarheidsformules zijn, gekeken naar de afgelopen veertig jaar veel gebruikt, maar ook het meest verguisd. Leesbaarheidsformules zijn namelijk erg eenvoudig en dat maakt ze tegelijkertijd heel zwak. Ze meten factoren zoals zinslengte en woordgrootte, dit zijn evenwel niet de factoren die leesbaarheid volledig definiëren, maar ze correleren wel met leesbaarheid. De linguïstische analyse daarentegen meet veel beter het begrip leesbaarheid. Het nadeel van deze methode is echter dat er uitgebreide onderwerplijsten vooraf opgesteld dienen te worden. Daartegenover staat dat de methode objectief is, mits uitgevoerd door een groot aantal personen dat over de juiste kennis beschikt.
Uit accounting gerelateerde leesbaarheidsonderzoeken blijkt dat een groot deel van de documenten waarmee ondernemingen informatie verschaffen aan onder andere aandeelhouders moeilijk tot zeer moeilijk leesbaar is. Deze conclusie is voornamelijk getrokken uit onderzoek dat is uitgevoerd met behulp van traditioneel eenvoudig leesbaarheidsonderzoek. Moderne methoden zijn nog niet dusdanig ontwikkeld dat er zulke harde conclusies kunnen worden getrokken.
Er zijn weinig methodes beschikbaar die een analyse van Nederlandse accounting gerelateerde teksten mogelijk maken. In Nederland zijn twee leesbaarheidsformules eerder toepgepast. Ten eerste de Flesch-Douma Reading Ease Formule. Deze formule is helaas op geen enkele wijze gevalideerd met behulp van bijvoorbeeld een CLOZE-procedure. Ten tweede de CLIB, die wel gevalideerd is aan de hand van de CLOZE-procedure, maar dan alleen voor het basisonderwijs.
Het nieuwste op het gebied van taalanalyse in Nederland is de t-scan. De scan is ontwikkeld door de Universiteit Utrecht en is in staat om 120 verschillende factoren uit Nederlandse teksten te analyseren. De ontwikkeling van de geautomatiseerde taalanalyse staat nog in de kinderschoenen, maar de resultaten zijn hoopgevend. De t-scan is een Nederlandse uitvoering van de Amerikaanse Coh-Metrix. Het onderzoek uitgevoerd door Merkl-Davies et al. (2010) met behulp van de Coh-metrix biedt handvaten voor de uitvoering van de het onderzoek met behulp van de t-scan.
53
4. Onderzoek: verantwoording en opzet
4.1 Inleiding
In dit hoofdstuk wordt uiteengezet hoe ik het leesbaarheidsniveau van een onderdeel van de Nederlandstalige jaarverslaggeving ga meten. Zoals in het literatuurgedeelte naar voren is gekomen bestaan hier verschillende methoden voor. In dit onderzoekshoofdstuk heb ik een keuze gemaakt uit het aanbod van methoden voor het meten van leesbaarheid. De opzet van het onderzoek en de daarbij gehanteerde methodiek wordt in de paragrafen 4.2, 4.3 en 4.4 nader uiteengezet. Details van de uitvoering van het onderzoek komen in paragraaf 4.5 aan de orde.
4.2 Onderzoeksopzet
In mijn onderzoek wil een specifiek onderdeel uit het jaarverslag gaan onderzoeken. Het analyseren van alle Nederlandstalige jaarverslagen valt buiten het bereik van mijn onderzoek. Ook in vergelijkbare onderzoeken wordt gekozen om een specifiek onderdeel van het jaarverslag te onderzoeken. Zo onderzoeken Santema & van de Rijt (1998) de strategieparagraaf. Abrahamson en Amir (1996) kiezen ervoor om de leesbaarheid van de ‘presidents letter to the shareholders’ te onderzoeken. Courtis (1995 en 1998) gebruikt in zijn onderzoeken het verslag van de bestuursvoorzitter voor de leesbaarheidsanalyse. Cho et al. (2010) onderzoeken net als ik de verslaggeving over MVO. Bij de meeste eerder uitgevoerde onderzoeken leveren gebruikersonderzoeken of onderzoeken die een relatie met de nettowinst of aandelenkoers leggen (het zogenoemde “capital markets based accounting onderzoek”), de paradigmatische basis voor de onderzochte delen van het jaarverslag. De gebruikersonderzoeken geven een antwoord op de vraag wie de gebruikers zijn (Chang et al., 1983, Klaassen & Schreuder 1980, Vergoossen 1993); tot deze categorie behoren ook de onderzoekingen, waarin wordt uitgegaan van het paradigma impression management (bijvoorbeeld Cho et al., 2010).
Uit Nederlandse onderzoeken onder aandeelhouders, uitgevoerd door Klaassen & Schreuder (1980) en Vergoossen (1993), blijkt dat het directieverslag als belangrijk wordt gepercipieerd. Onderzoeken in het buitenland onder private aandeelhouders leveren dezelfde conclusie op (Baker & Haslem, 1973 en Bartlett & Chandler 1997). Ook onder professionele gebruikers, zoals analisten en werknemers bij
54 pensioenfondsen wordt het directieverslag als belangrijk gezien (Chang & Most, 1993, Rogers, 1997) . Ik gebruik met opzet het woord belangrijk, omdat de conclusies uit de verschillende onderzoeken kleine verschillen bevatten. Over de breedte gezien durf ik te stellen dat het directieverslag een belangrijk deel uitmaakt van het jaarverslag.
Dat mijn keus voor de leesbaarheidsanalyse op een deel van het directieverslag is gevallen, is niet opvallend. Daar komt bij dat, wanneer ik de toelichting op de jaarrekening zou gebruiken voor mijn leesbaarheidsanalyse, ik voor methodologische problemen kom te staan. In de toelichting op de jaarrekening wordt doorgaans veel jargon gebruikt. Jones (1996) bekritiseert leesbaarheidsformules mede daarom bij het gebruik van de toelichting op de jaarrekening. Het gebruik van jargon heeft in principe geen invloed op de score van leesbaarheidsformules, terwijl één complex woord de complete alinea al onleesbaar kan maken voor de lezer. Courtis (1995) stelt vast dat de leesbaarheidsformules bruikbaar zijn op alle verhalende teksten. Hij gebruikt voor zijn analyse van het directieverslag de eerste, de middelste en de laatste 120 woorden van het verslag. Vanwege uitvoerbaarheid van het onderzoek gebruikt hij niet het hele verslag.
Daarnaast blijkt uit het onderzoek van Klaassen & Schreuder (1980) dat slechts 40% van de respondenten een bedrijfseconomische of financieel gerelateerde opleiding op HBO of universitair niveau heeft gevolgd. Mijns inziens is het jargon, dat gebruikt wordt in de toelichting op de jaarrekening, moeilijk tot zeer moeilijk voor iemand die geen bedrijfseconomische of financiële opleiding heeft genoten of een dergelijke achtergrond heeft. Epstein en Pava (1993) vinden in hun onderzoek ook een relatie tussen opleidingsniveau, ervaring en de waarde die wordt toegekend aan de toelichting op de balans en resultatenrekening. Hoe hoger het opleidingsniveau hoe meer waarde eraan de toelichting wordt toegekend. De onderzoekers ondersteunen mijn stelling door aan te geven dat de toelichting erg technisch van aard is.
De directieverslagen anno 2010 zijn geen korte en bondige stukken tekst meer. Zo bestaat het directieverslag van Ordina uit 2009 uit 23 pagina’s en het jaarverslagverslag van SNS Reaal uit 48 pagina’s. Vanwege deze ‘boekwerken’ ben ik genoodzaakt, omwille van de tijd, om slechts een gedeelte van directieverslag te analyseren.
55 In mijn onderzoek kies ik ervoor om de paragraaf over maatschappelijk verantwoord ondernemen te analyseren. Maatschappelijk verantwoord ondernemen is al geruime tijd een belangrijk thema dat veel mensen interesseert. Een voorbeeld is hiervan is de discussie rond pensioenfondsen die beleggen in wapenfabrikanten en vervuilende bedrijven. Dit thema is ook erg relevant voor aandeelhouders die maatschappelijk betrokken zijn, banken die niet willen investeren in bedrijven die hun maatschappelijke verantwoordelijkheid niet nemen en overige stakeholders. Tot deze laatste groep behoren onder anderen afnemers die willen weten hoe hun afgenomen product tot stand komt en overheden die willen weten wat een onderneming voor impact heeft op zijn omgeving. Ook andere onderzoekingen onderkennen de waarde van MVO verslaggeving. Zie Cho et al., (2010) en Feenstra, (2003).