leesbaarheidsonderzoeken ligt natuurlijk op de tekst. Wanneer de focus op de tekst ligt en niet is gecentreerd op de lezer, die uiteindelijk de tekst moet gaan begrijpen begint de schoen te wringen. Wanneer je de onderzoeksresultaten van Smith & Taffler (1992) bekijkt worden de leesbaarheidsformules nog eens onderuit gehaald, doordat zij veronderstellen dat de CLOZE-score moet correleren met de leesbaarheidsformules wil een leesbaarheidsformule valide zijn. In het onderzoek, dat plaatsvond in Groot-Brittannië, werden personen die een accounting gerelateerd beroep uitoefenen en bachelor-studenten accounting gevraagd een tekst te beoordelen aan de hand van de CLOZE-methode. Ook werden voor deze teksten de LIX- en Flesch-score berekend. Vervolgens werden de testscores onderzocht op correlatie. De CLOZE-testresultaten van de bachelor-studenten accounting correleren sterk met die van de beoefenaars van een accounting gerelateerd beroep (0,69 met p< 0,001). De LIX en Flesch scores correleren ook met elkaar (-0,62 met p< 0,005). De CLOZE-score van beoefenaars van een accounting gerelateerd beroep correleert sterk met de LIX- en Flesch- (-0,55 met p< 0,01 resp. 0,73 met p< 0,0001). De correlatie tussen CLOZE-score van de bachelor-studenten accounting en de LIX- en Flesch-score is slecht te noemen ( -0,23 met p< 0,5 resp. 0,37 met p> 0,4). Courtis (1995) geeft in zijn eigen artikel aan dat de Flesch Reading Ease formula en de Fog-index juist wel zijn getest en sterk correleren met de McCall-Crabbs Standerd Test Lessons in Reading20. De betrouwbaarheid van leesbaarheidsformules is, zo blijkt, erg discutabel.
Li (2008) die geeft aan dat ten gevolge de syntactische kenmerken van de FOG-index deze misschien niet op valide wijze meet hoe moeilijk een tekst te begrijpen is, maar dat probleem wordt gemitigeerd door het gebruik van relatieve leesbaarheid en het gebruik van een grote steekproef. In de volgende paragraaf wordt een en ander nader uitgewerkt.
3.5 Factoren die leesbaarheid beïnvloeden: nadere analyse
Li (2008) identificeert zeven determinanten die mogelijk effect hebben op de leesbaarheid van een jaarverslag:
20 De test is intensief en uitgebreid getest voor het gebruik als validatiemiddel voor het begrip van tekst.
37
1 Grootte van de onderneming
Achterliggende gedachte en verwachting: Hoe groter de onderneming hoe gecompliceerder de onderneming is. De grootte van de onderneming is een voorspeller voor de politieke kosten van een onderneming. De verwachting is dat hoe groter de onderneming is des te moeilijker leesbaar het jaarverslag is.
2 Marktwaarde/boekwaarderatio
Achterliggende gedachte en verwachting: Ondernemingen waar de marktwaarde in verhouding tot de boekwaarde hoog is verschillen van ondernemingen waar dit niet zo is. Ondernemingen die snel groeien en waarbij de marktwaarde in verhouding veel groter is dan de boekwaarde hebben een business model dat complexer is en waarbij de onzekerheid groter is. Dus is de verwachting dat een onderneming die een hoge marktwaarde heeft ten opzichte van de boekwaarde een moeilijker leesbaar jaarverslag heeft.
3 Leeftijd van de onderneming
Achterliggende gedachte en verwachting: Oudere ondernemingen kunnen een ander leesbaarheidsniveau hebben dan jonge ondernemingen, omdat oudere ondernemingen minder last hebben van informatieasymmetrie en minder te kampen hebben met onzekerheid. Beleggers zullen de onderneming ook beter kennen. Vanwege deze redenen wordt verwacht dat de jaarverslagen van oude ondernemingen beter leesbaar zijn dan die van jonge ondernemingen.
4 Speciale items21 etc.
Achterliggende gedachte en verwachting: Wanneer een onderneming meer speciale items heeft vermeld op zijn resultatenrekening is de kans groter dat deze onderneming te maken heeft met ongebruikelijke gebeurtenissen. Er wordt verwacht dat naarmate het negatieve bedrag aan speciale items hoger is de leesbaarheid van het jaarverslag slechter is.
21 Dit zijn items, zoals herstructurering of buitengewone juridische kosten, waarvan de onderneming denkt dat ze beter niet tussen de ‘gewone’ kosten op de resultatenrekening gepresenteerd kunnen worden.
38
5 Volatiliteit van de operationele activiteiten
Achterliggende gedachte en verwachting: Wanneer een onderneming erg volatiel is, in de zin van schommelingen van de aandelenkoers, heeft de onderneming meer moeite om te communiceren met de aandeelhouders. De verwachting is dat wanneer de aandeelkoers van de onderneming erg volatiel is de leesbaarheid van het jaarverslag slechter is.
6 Financiële complexiteit
Achterliggende gedachte en verwachting: Bij ondernemingen die te maken hebben met complexere financiële gebeurtenissen ligt het voor de hand dat hun jaarverslag complexer is. De verwachting is dat de leesbaarheid van jaarverslagen van ondernemingen die te maken hebben complexe financiële gebeurtenissen slechter is.
7 Ongebruikelijke gebeurtenissen
Achterliggende gedachte en verwachting: ondernemingen die te maken hebben met ongebruikelijke gebeurtenissen zoals een fusie of een aandelenemissie moeten meer en gedetailleerdere informatie verstrekken. De verwachting is dat de leesbaarheid van het jaarverslag van een onderneming waarbij ongebruikelijke gebeurtenissen hebben plaatsgevonden slechter is.
Met behulp van een regressieanalyse is onderzocht of er statistische verbanden zijn tussen de boven genoemde onafhankelijke variabelen en de afhankelijke variabelen, de score van het hele jaarverslag, score van het directieverslag en de Fog-score van de toelichting op de balans en de resultatenrekening. In tabel 2 staan de resultaten samengevat. Uit de tabel blijkt dat Li veel factoren vindt die leesbaarheid beïnvloeden. Het gehele onderzoek van Li (2008) komt in de volgende paragraaf opnieuw aan bod.
39 3.6 Accounting gerelateerde leesbaarheidsonderzoeken
In deze paragraaf worden accounting gerelateerde onderzoekingen besproken. In het laatste deel van deze paragraaf komen de onderzoekingen die gebruik hebben gemaakt van de linguïstische analyse aan bod. Eerst zal worden ingegaan op vier typen onderzoekingen die met behulp van leesbaarheidsanalyses zijn uitgevoerd. Leesbaarheidsanalyses maken gebruik van wiskundige formules (syntactisch) om de leesbaarheid te bepalen. De uitkomst van zo’n wiskundige exercitie levert een getal op. De waarde van dat getal kan worden afgelezen op een schaalverdeling. Nu volgt een literatuuroverzicht van empirische leesbaarheidsonderzoeken naar jaarverslagen of andere berichtgeving die naar buiten is gebracht door ondernemingen. In volgorde van verschijnen worden de Flesch Reading Ease-Formula, de Lix-Formule, de Fog Index en de natuurlijke logaritme van het aantal woorden besproken. Dit zijn syntactische methoden. Deze methodes houden puur rekening met de lengte van een zin en de woordgrootte. Tenslotte wordt de linguïstische analyse besproken; zoals eerder gesteld interpreteert deze analyse de leesbaarheid vanuit een breder perspectief dan syntactische formules.
Onafhankelijke variabele Fog-score hele jaarverslag Fog-score van het directievers lag Fog-Score van de toelichting Lengte hele jaarverslag Lengte van het directie verslag Lengte van de toelichting Lengte & Fog score hele jaarverslag Lengte & Fog score directievers lag Lengte & Fog score van toelichting afhankelijke variabele verwacht verband
Grootte van de onderneming postief o - o o o o o o o Marktwaarde/boekwaarde ratio postief - o - o o o o o o Leeftijd van de onderneming negatief o - o o o o o o o
Speciale balans items negatief o o - o o o o o o
volatiliteit van de operationele
activiteiten postief o o o o - o o o o
Financiële complexiteit postief - o o - - - o - -Ongebruikelijke gebeurtenissen negatief o o o o - o o o o
legenda
o significant verband met tenminste van de indicatoren (sommige factoren hebben twee indicatoren) - geen enkel significant verband
40 1. Flesch Reading Ease Formula
Courtis (1998) heeft voor zijn onderzoek naar de vertroebelinghypothese22 gebruikt gemaakt van de Flesch Reading Ease Formula. Deze formule wordt ook toegepast door Smith en Taffler (1992) en Smith en Smith (1971). Deze formule wordt veelvuldig gebruikt voor leesbaarheidsonderzoeken vanwege het gebruiksgemak en de eenvoudige wijze waarop hij door een computer kan worden uitgevoerd. De Flesch Reading Ease Formula ziet er als volgt uit:
Flesch = 206.385 – 0.846W – 1.015S [1]
‘W’ staat voor de woordlengte en dat wordt gemeten door het aantal lettergrepen per 100 woorden op te tellen. ‘S’ staat voor de voor de lengte van een zin. ‘S’ wordt berekend door het totale aantal woorden van de tekst te delen door het aantal zinnen. Hoe hoger de score des te makkelijker leesbaar de tekst is. Een score van 80 is gemiddeld voor stripboeken. Academische artikelen scoren gemiddeld 50. Technische en wetenschappelijke teksten scoren rond de 30. Accounting informatie scoort gemiddeld een Flesch score van 50. Smith en Taffler (1992) concluderen dat 96 procent van de verslagen van de directeur moeilijk leesbaar. Smith en Smith (1971) concluderen dat de groep die in staat is om jaarverslaggeving kan begrijpen beperkt is.
Tabel 3: Flesch-score index
0-30 leesbaar voor gepromoveerden 30-50 leesbaar voor academici 50-60 gemiddelde complexiteit 70-80 makkelijk leesbaar 80-90 lectuur 90-100 stripboeken Bron: Courtis (1995, p.7)
41 2. De Lix-Formule
De Lix-formule maakt ook gebruik van zinslengte en woordlengte. De formule voor het berekenen van de LI- score is:
LIX=S+W [2]
waar ‘S’ het gemiddelde aantal woorden per zin is en ‘W’ het aantal woorden dat bestaat uit meer dan 7 letters. De LIX-formule is toegepast door Courtis (1995) voor de vergelijking tussen de leesbaarheid van jaarverslaggeving uit Azië en het westen23. Courtis (1995) concludeert jaarverslaggeving van beursgenoteerde bedrijven zeer moeilijk leesbaar.
Tabel 4: LIX-score index
20-25 zeer makkelijk leebaar 30-35 makkelijk leesbaar 40-45 gemiddeld leesbaar 50-55 moeilijk leesbaar 60+ zeer moeilijk leesbaar
Bron: Courtis (1995, p. 8) 3. Fog-index
De Fog index is een formule die vergelijkbaar is met de Flesch Reading Ease Formula. De Fog index die onder andere wordt gebruikt door Li (2008) en Courtis (1995) Hoe hoger de index des te moeilijker het jaarverslag leesbaar is. De Fog-index is simpel te berekenen door de volgende formule in te vullen en uit te rekenen.
Fog= (woorden per zin + percentage van complexe woorden) * 0,4 [3]
42
Een woord is complex wanneer het uit meer dan drie lettergrepen bestaat. De Fog-scorelijst is als volgt:
Tabel 5: Fog-score index
14-18 moeilijke leesbaarheid 12-14 ideale leesbaarheid 10-12 accepteerbare leesbaarheid 8-10 kinderachtig Bron: Li (2008, p.225)
Courtis (1995) concludeert in zijn onderzoek met de behulp van de Fog-index dat slechts
10% van de populatie volwassenen in Hong-Kong in staat is het verslag van de directievoorzitter vloeiend te kunnen lezen en daarnaast ook de tekst begrijpt. Li (2008) concludeert uit zijn onderzoek dat ondernemingen met een hogere winst een lagere Fog score hebben.
4. Natuurlijke logaritme van het aantal woorden dat het verslag telt. Li (2008) heeft onderzocht of er een relatie is tussen de leesbaarheid van jaarverslagen en winstgevend en kwaliteit van de winst. Naast de Fog-index gebruikt hij de natuurlijke logaritme van het totale aantal woorden als extra maatstaf voor het bepalen van de complexiteit van de informatieverschaffing van het jaarverslag. Het gebruik van de natuurlijke logaritme zorgt ervoor dat grote verschillen in grootte worden genormaliseerd.
Ln (Aantal woorden) [4]
Li geeft zelf aan dat het gebruik van de lengte van het jaarverslag als maatstaf voor het meten van de complexiteit van leesbaarheid discutabel is. Het is natuurlijk erg kort door de bocht om te zeggen dat naarmate een tekst langer is deze ook complexer is. Maar voor het gebruik bij jaarverslagen zit er wel een logische redenering achter. Namelijk wanneer een tekst langer is zal de informatieverstrekking aan de aandeelhouder waarschijnlijk complexer zijn, omdat de onderneming meer tekst nodig heeft om iets te verklaren. Hoe meer informatie er over één onderwerp wordt gegeven hoe complexer het wordt om te volgen voor een gebruiker van de jaarrekening. Mijns inziens is de redenering achter het gebruik van de lengte van een
43 tekst vergelijkbaar met het gebruik van zinslengte. Deze maatstaf wordt door Courtis (1995 &1998) samen met woordlengte gezien als belangrijke factoren die de leesbaarheid van tekst bepalen. De gedachte achter zinslengte is, zoals eerder gezegd, dat hoe langer de zin is hoe meer woorden de lezer moet onthouden en aan elkaar moet koppelen om de zin te interpreteren. Met de lengte van een document zou je dezelfde redenering kunnen volgen. Een tekst die langer is zal meer van een lezer vergen dan een tekst die kort is. Alle informatie uit de eerste alinea moet worden onthouden voor het begrip van de tekst die in latere alinea’s door de lezer wordt gelezen. Het onderzoek van Li (2008) ondersteunt deze veronderstelde relatie. De Fog-index van de gemeten teksten correleert significant met sommige gedeelten uit het jaarverslag. In tabel 06 staat de correlatie matrix die de verbanden aangeeft tussen een lengte van bepaalde gedeeltes uit het jaarverslag en de Fog-indexscore van bepaalde onderdelen. Uit de tabel valt te concluderen dat de Fog-score van het gehele jaarverslag licht correleert met de natuurlijke logaritme van het totale jaarverslag. De correlatie van de natuurlijke logaritme van het totale jaarverslag met de Fog-score van de MD&A en toelichting is zwak.
5. Linguïstische analyse
Sydserff en Weetman (1999) hebben een model ontwikkeld op basis van de onderzoeken van De Beaugrande and Dressler (1981) en Roseburry (1995). Deze onderzoeken zijn in paragraaf 3.3 kort beschreven. De factoren die zijn genoemd door de bovengenoemde auteurs zijn geoperationaliseerd en toegepast door Sydserff en Weetman (1999). Zij hebben aan de hand van dit model de leesbaarheid van ‘The Operating and Financial Reviews’24
(
OFR) van tien Britse beursgenoteerde bedrijven geanalyseerd.
24 Dit is een overzicht die Britse bedrijven moeten maken omtrent onder andere de prestaties van de onderneming. Voor een uitgebreide definitie zie:
http://www.companieshouse.gov.uk/promotional/financialReview.shtml
Fog (gehele jaarverslag) Fog (MD&A) Fog (toelichting)
Ln van het totale jaarverslag 0,377 0,112 0,25
Tabel 6: Correlatie-matrix
44 In hetzelfde onderzoek zijn de OFR’s ook onderzocht met de Flesch Reading Ease Formula. Uit de correlatiematrix blijkt dat de correlatie tussen de methode van Sydserff en Weetman en de Flesch Reading Ease Formula laag is. Sydserff & Weetman (1999) stellen aan dat er een sterke indicatie is dat hun methode meer informatie geeft over een tekst dan de Flesch Reading Ease Formula.
Het grote nadeel van dit onderzoek is dat het uitgevoerd moet worden door meerdere personen, om de validiteit te waarborgen. Voor toepassing op Nederlandstalige jaarverslaggeving zou het model moeten worden vertaald naar het Nederlands. Dit is een uitermate tijdrovende bezigheid. De steekproef in Sydserff en Weetmans onderzoek bestaat uit slechts tien jaarverslagen die door twee onderzoekers onafhankelijk van elkaar zijn geanalyseerd. Deze wijze van onderzoeken is een kostbaar en tijdrovend werk. Daarnaast is het erg subjectief. De onderzoekers geven zelf aan dat de onderzoeksmethode eerst doorontwikkeld moet worden voor er duidelijke uitspraken gedaan kunnen worden omtrent de validiteit van het onderzoeksontwerp. Er kan geconcludeerd worden dat deze onderzoeksmethode nog niet doorontwikkeld en gevalideerd is, zodat er geen conclusies uit de resultaten getrokken kunnen worden. De auteurs concluderen dat de linguïstische analyse goede mogelijkheden biedt voor leesbaarheidsanalyse, maar dat de methode nog niet volmaakt is.