In deze analyse zullen de data van het experiment in categorieën worden besproken. Deze categorieën komen overeen met de afhankelijke variabelen van dit onderzoek: duidelijkheid,
vermeend begrip, toegepast begrip en waardering. De volgorde die zal worden aangehouden is gelijk aan de bovenstaande opsomming. Tot slot zullen de zaken die niet in de bovenstaande categorieën vallen, zoals de houding ten opzichte van afbeeldingen, worden besproken.
8.1 Duidelijkheid
In elke versie van de enquête waren er sowieso per stap twee vragen opgenomen betreffende de duidelijkheid van de tekstuele kant van de instructies. Daarnaast werden de zelfde twee vragen toegespitst op afbeeldingen nogmaals gesteld in de enquêtes bij bijsluiters 2 en 3. In deze paragraaf zal ik eerst de tekstuele duidelijkheid bespreken.
De duidelijkheid van de tekst bestond in feite uit twee zaken die door een tweetal vragen met kleine nuances werden bevraagd. De eerste daarvan was de duidelijkheid van de instructie, daarmee werd feitelijk de leesbaarheid van de instructie bevraagd. De tweede was in welke mate de instructie duidelijk maakte hoe de betreffende stap moest worden uitgevoerd. In het onderstaande overzicht zijn de gemiddelden van de drie bijsluiters per stap afgebeeld. Per stap zijn de twee gemiddelden van de vragen te vinden.
Duidelijkheid Tekst
Stap Bijsluiter 1 (B1) Bijsluiter 2 (B2) Bijsluiter 3 (B3)
1 3.2 4.2 4.4 3.4 4.6 4.6 2 3.8 4.2 4.4 3.6 4.4 4.6 3 3.2 4.4 4.8 3.2 4.4 4.6 4 2.6 4.6 4.4 2.6 4.6 4.6 5 4.0 4.8 4.8 4.0 4.6 4.6 6 3.8 4.8 4.8 3.8 4.8 4.6
In het bovenstaande overzicht zijn de hoogste noteringen gemarkeerd. Hieruit blijkt dat B2 en B3 over het algemeen vrijwel op gelijke wijze zijn beoordeeld. De onderlinge verschillen tussen beide bijsluiters zijn minimaal, vaak slechts 0.2 punten ten opzichte van elkaar. In slechts één geval is er sprake van een groter verschil, namelijk 0.4 punten op de leesbaarheid van stap 3. In vijf gevallen scoort B3 beter dan B2, in slechts twee gevallen scoort B2 beter dan B3 en bij de overige vragen is er sprake van gelijke beoordelingen.
Vergeleken met B1 is er echter wel sprake van grote verschillen. Zowel B2 als B3 scoren aanzienlijk hoger op de duidelijkheid van de tekstuele stappen dan B1. Opvallend is daarbij ook dat B1 alleen bij stap 5 scores van 4.0 haalt. Alle overige beoordelingen vallen lager uit, namelijk tussen de 2.6 en 3.8. Met de richtlijnen voor de meting, zoals die is opgesteld in paragraaf 3.4 van de hoofdtekst, kunnen deze scores als gemiddeld worden beschouwd, en in enkele gevallen als nipt voldoende (3.6 en 3.8). Het verschil met B2 en B3 is echter groot, de laagste scores van die bijsluiters ligt op 4.2 met zelfs een 4.4 als laagste beoordeling van B3.
Deze data zijn daarmee direct interessant. De tekst is immers (vrijwel) niet aangepast, en was in elke bijsluiter identiek (op opmaak in de vorm van witregels na). Wanneer de onafhankelijke
79 variabelen van leeftijd, opleidingsniveau, geslacht en voorkennis er bij worden betrokken kan ik daar geen vermoedelijke invloed op deze afhankelijke variabele aanwijzen. In het onderstaande overzicht zijn deze gegevens te vinden.
Onafhankelijke variabelen
Bijsluiter 1 Bijsluiter 2 Bijsluiter 3
Leeftijd 22.6 22.6 23.4 Geslacht V: 3 M:2 V: 3 M: 2 V: 1 M: 4
Opleiding MBO/HBO: 4 HBO/WO: 4 MBO/HBO: 4
Voorkennis Ja: 1 Ja: 1 Ja: 2, waarvan 1 dit
medicijn
Zoals is te zien komen de verdelingen qua leeftijd, geslacht en gemiddelde opleidingsniveau redelijk overeen tussen de drie groepen. Ook de voorkennis is over de totale populatie gezien minimaal, zowel per groep als over het geheel gezien. Het opleidingsniveau in dit overzicht is overigens niet een gemiddelde, aangezien dat vrijwel niet logisch is te doen met deze variabele. In plaats daarvan zijn de meest voorkomende opleidingsniveaus vermeld. De meeste personen hadden een HBO of WO niveau. Met 2 WO’ers en 2 HBO’ers heeft B2 overigens de hoogst opgeleide groep participanten gehad, als de groep van het vooronderzoek buiten beschouwing wordt gelaten. Kijkend naar de duidelijkheid van een instructie, wat toch vooral bestaat uit leesbaarheid, kan logischerwijs worden verwacht dat hoger opgeleide personen tot hogere scores zouden leiden. In dit geval is daarvan geen sprake. De onderlinge verschillen van de onafhankelijke variabelen tussen de groepen zijn relatief klein, maar toch is er sprake van aanzienlijke verschillen op de variabele “duidelijkheid”. Kijkend naar de gegevens van B2 en B3 is te zien dat een hoger gemiddeld opleidingsniveau (in B2) niet garant staat voor hogere scores. Voorkennis lijkt evenmin van grote invloed te zijn. In elke groep was een participant met voorkennis aanwezig, waarbij elke groep ook één persoon met voorkennis over de Diskus bevatte. Deze verdeling was dan ook gelijk te noemen. Toch beoordeelden deze personen de bijsluiters niet op afwijkende wijze van de onervaren participanten. Slechts één van deze personen gaf aan dat B3 ten opzichte van het origineel (B0) op elk punt was verbetert.
Zoals in de methode (zie scriptie, hoofdstuk 3) al is vermeld, is er in dit onderzoek geen sprake van statistische verwerking van de data. Er zijn dan ook geen toetsen toegepast om de correlaties tussen de diverse variabelen te kunnen achterhalen. Statistisch is dit dan ook niet onderbouwd, maar de enige reden die ik in deze data (en deze vorm van analyse)kan zien is dat het verschil in duidelijkheid vanuit de verschillende bijsluiters zelf moet komen, en niet van buitenaf. Bij de afbeeldingen is namelijk een soortgelijke dataset te zien.
Duidelijkheid Afbeeldingen
Stap Bijsluiter 2 Bijsluiter 3
1 4.4 4.8 4.4 4.4 2 4.4 4.6 4.4 4.6 3 4.6 4.6 4 4.6 4.6 4.4 4.6 5 4.6 4.8 6 4.8 4.4 5.0 4.4
80 De stappen 3 en 5 bevatten in B2 geen afbeeldingen. De gegevens zijn daardoor een beetje
vertekent. Wanneer er echter naar de stappen 1, 2, 4 en 6 wordt gekeken is te zien dat B3 op enkele stappen hogere scores heeft ontvangen, maar de verschillen wederom minimaal zijn. Opmerkelijk is dat de grootste verschillen zijn te vinden bij stap 6, in het voordeel van B2. Met name het verschil op de tweede vraag is bijzonder, maar liefst 0.6 punten. De afbeeldingen waren identiek, dus het is onwaarschijnlijk dat de tekenstijl daar verantwoordelijk is voor het grote verschil. Ook ten opzichte van de overige beoordelingen van B2’s afbeeldingen is het verschil opvallend. Een logische verklaring kan ik daar echter niet voor vinden in deze data.
8.2 Vermeend begrip
De volgende categorie bestaat uit vermeend begrip. Dit is, zoals al in de methodologie is vermeld, de mate waarin de participanten in de enquête aangaven de instructies te hebben begrepen. In de onderstaande tabel zijn de gemiddelden van de vragen naar het begrip van de tekst samengevat.
Begrip Tekst
Stap Bijsluiter 1 Bijsluiter 2 Bijsluiter 3
1 3.6 4.2 4.4 2 3.6 4.4 4.4 3 3.0 4.6 4.8 4 2.8 4.6 4.4 5 4.2 4.4 4.6 6 3.6 4.6 4.8 GEM 3.46 4.46 4.56
In deze tabel valt op dat B3 de hoogste gemiddelde scores laat zien, met de laagste scores voor B1. B2 ligt dichtbij B3, maar scoort over het geheel gezien net iets minder bij de meeste stappen. De onderlinge verschillen tussen de groepen zijn kleiner dan bij de vragen naar duidelijkheid. Ook hier scoort B3 niet later dan een 4.4, wat een bijzonder hoge score is. De laagste score is te vinden bij stap 4, van B1 en betreft een 2.8. Opvallend is dat de laagste scores in zowel B1 en B3 te vinden is bij deze stap (B1: 2.8, B3: 4.4). Een score die te verklaren is door de reacties tijdens het uitvoeren van deze stap. Meer daar over in de volgende paragraaf. Opvallend is wel dat stap 3, die tijdens het uitvoeren van de stap bij een aantal mensen ook voor wat problemen zorgde, alleen in B1 tot een lage score heeft geleid. In B2 en 3 heeft deze stap juist voor de hoogste scores gezorgd (4.6 en 4.8). Duidelijk is wel dat stap 4 tot wat onbegrip heeft geleid. In B1 was dit meer het geval dan bij de andere
bijsluiters. Dat is nog duidelijker te zien bij B3, waar stap 4 dan wel de laagste score heeft, maar deze score ook bij stappen 1 en 2 is te zien. Wellicht dat de verklaring daarvoor is te vinden in de
toevoeging van de afbeeldingen in B3. Bij de stappen 3 en 4 dienden de participanten uit te ademen en vervolgens via de Diskus het medicijn in te ademen. De verwoording van deze stappen werd door meerdere participanten bekritiseerd (zie volgende paragraaf). Daar tegenover staat dat bij B3 afbeeldingen aanwezig waren waarop was te zien hoe de Diskus bijvoorbeeld moet worden vastgehouden. In het overzicht op de volgende pagina zijn de gemiddelden voor begrip van de afbeeldingen te zien.
Begrip Afbeeldingen
Stap Bijsluiter 2 Bijsluiter 3
1 4.8 4.6
2 4.6 4.6
3 4.6
81
5 4.6
6 4.4 4.4
GEM 4.6 4.56
Ook hier waren er geen afbeeldingen bij de stappen 3 en 6 opgenomen in B2. Het algemene gemiddelde voor die variant is dan ook lichtelijk vertekent ten opzichte van B3 (gemiddeld van 4, in plaats van 6 stappen). Opvallend is echter dat bij stap 3 (B3), het begrip van de afbeelding 0.2 punt lager ligt dan het begrip van de tekst in die stap. Daaruit kan worden opgemaakt dat de afbeelding in dit geval waarschijnlijk geen invloed heeft gehad op het begrip van de tekst. Dergelijke minimale schommelende verschillen zijn bij alle stappen te zien. Afbeeldingen lijken daarmee niet altijd
begrijpelijker te zijn dan tekst, al is het omgekeerde ook niet per definitie het geval. Beide modi lijken relatief gezien vrijwel even goed te worden begrepen.
Dat wil overigens niet zeggen dat afbeeldingen geen invloed hebben op de mate van begrip. Ondanks het feit dat de tekst in alle versies identiek was, is er wel sprake van vrij grote verschillen in begrip tussen de varianten met afbeeldingen, en die zonder afbeeldingen. De toevoeging van nieuwe afbeeldingen heeft slechts tot minimaal betere scores geleid. De aanwezigheid van afbeeldingen in het algemeen lijkt echter tot beter begrip van de instructies te hebben geleid. Opvallend daarbij is dat de identieke teksten beter zijn begrepen wanneer er afbeeldingen aanwezig waren. Wanneer beide modi aanwezig zijn is er dan ook geen sprake van grote onderlinge verschillen, maar de verschillen tussen situaties met en zonder afbeeldingen zijn groot. Daarom vermoed ik dat
afbeeldingen een positief neveneffect hebben op de perceptie van de teksten. Met andere woorden: in de data zie ik dat afbeeldingen tot beter begrip van de bijbehorende teksten leiden.
8.3 Toegepast begrip
Zoals in de vorige paragraaf is aangegeven, zijn er tijdens de observatie van het experiment enkele waarnemingen gemaakt die de lagere scoren op de stappen 3 en 4 kunnen verklaren.
In deze paragraaf zal worden verwezen naar een andere bijlage dan in de rest van de analyse, namelijk hoofdstuk 6.
Om op hetzelfde onderwerp door te gaan, begin ik met het analyseren van de uitvoeringen van de stappen 3 en 4. Te beginnen met een inventarisatie van de wijze waarop deze stappen zijn uitgevoerd. Tijdens de observatie werd immers per handeling bijgehouden of deze wel, niet,
incorrect of gedeeltelijk correct werden uitgevoerd. De wel en niet uitgevoerde handelingen zijn voor begrip niet zozeer van belang. Deze geven eerder aan of de participanten zich wel aan de instructies houden, en in het verlengde daarvan, of zij de instructie van mij (lees de bijlage, voer de handelingen uit) wel hebben nageleefd. Wanneer er wordt gekeken naar de verkeerd en gedeeltelijk goed
uitgevoerde handelingen, dan is er alleen bij B1 sprake van één verkeerd uitgevoerde handeling (4), en bij B1 en B3 beide eenmaal sprake was van een gedeeltelijk goed uitgevoerde handeling .
Ondanks het lage relatief lage vermeende begrip werd de stap over het algemeen goed uitgevoerd. Stap 3 werd overigens relatief vaak overgeslagen door de participanten van B1 en B2, terwijl alle participanten in B3 de stap wel uitvoerden.
Wanneer er dan naar de observaties wordt gekeken van afwijkende participanten bij de stappen 3 en 4 (B1-#3, B1-#4 en B3-#4) dan zijn daar enkele patronen te zien. In drie gevallen werd de Diskus verticaal tegen de mond gezet, in plaats van horizontaal. Niet geheel opvallend was dat dit twee keer gebeurde bij B1, waar de correcte stand niet kon worden afgeleid uit de
afbeeldingen. Daarnaast waren er twee participanten die in en uitademden in de Diskus, terwijl ze alleen moesten inademen. Deze verkeerde handeling kwam eenmaal voor in de groepen B1 en B3, en werd door slechts één van hen (B3-#4) opgemerkt en vervolgens gecorrigeerd.
Ik vermoed dat dit voortkwam uit de tekst. De tekst kreeg immers nogal wat kritiek, met name betreffende de stappen 3 en 4. Hiervoor verwijs ik naar de aantekeningen van de observatie
82 (hoofdstuk 6, Resultaten observaties).Enkele van de uitspraken die werden gehoord tijdens de evaluaties na de experimenten waren:
- “Stap 3 is raar, eerst uitademen en dan niet ademen in de Diskus?” (B1-#3 over stappen 3/4) - “Dit vind ik een beetje vaag hoor, moet ik nou in of uit ademen?” (B2-#5 over stap 3)
Deze kritiek kwam vooral op rekening van de zinsconstructie van stap 3. Deze zin is als volgt afgedrukt: “Houd de Diskus van uw mond verwijderd en adem zo ver mogelijk uit. Adem niet in uw Diskus”. Met name de toevoeging van de tweede zin werd bekritiseerd. Helaas gebeurde dit veelal in de besprekingen na afloop van de experimenten (en dus ook na het invullen van de
observatieformulieren), hierdoor zijn niet al deze opmerkingen in de data opgenomen.
De opmerking van B3-#3 daarentegen is wel genoteerd en kwam op het volgende neer: de tweede zin voegt volgens deze persoon niets toe, omdat er ten eerste moet worden ingeademd, en er ten tweede geen sprake is van interactie met de Diskus. Door te waarschuwen voor het ademen in de Diskus, na eerst te hebben gesteld dat de Diskus van de mond verwijderd moet zijn, ontstaat volgens deze persoon verwarring over wat er met de Diskus moet worden gedaan. Daar over werd letterlijk gezegd: “Je moet de Diskus dus van je mond weg houden? En daarna er niet in ademen. En dan ineens in de volgende stap, moet je er wel weer in ademen. Dat is niet logisch. Waarom niet gewoon iets van ‘Adem zo ver mogelijk uit, stap 3. En dan stap 4 zoals die nu is?”
Ik ben van mening dat B3-#3 met deze opmerking duidelijk aangeeft waar het voor de overige participanten ook lastiger werd. Zoals al duidelijk is gemaakt, ging het in dit onderzoek om de afbeeldingen, en is er bewust voor gekozen de tekst te laten voor wat het is. Opvallend is wel dat deze tekst probleemloos door het panel interview is gekomen, en in de praktijk dan nog voor aanzienlijke verwarring blijkt te zorgen. Waarschijnlijk zijn de relatief lage scores op deze stappen dan ook toe te wijzen aan de tekst, en hebben de afbeeldingen daar slechts in beperkte mate een verduidelijkende invloed gehad. In de tabel op de volgende pagina is te zien hoe de verhouding van vermeend begrip en toegepast begrip is wanneer naar de eerder genoemde participanten word gekeken.
Verhouding vermeend en toegepast begrip Tekst stappen 3/4 Participant Stap Vermeend Toegepast Verhouding
B1-#3 Stap 3 2 Nee Laag begrip – Geen
uitvoering
Stap 4 2 Deels Laag begrip – 2e poging
correcte uitvoering
B1-#4 Stap 3 3 Ja Gemiddeld begrip –
Correcte uitvoering
Stap 4 2 Verkeerd Laag begrip – Verkeerde
uitvoering
B3-#4 Stap 3 5 Ja Hoogste begrip – correcte
uitvoering
Stap 4 4 Deels Hoog begrip – 2e poging
correcte uitvoering In de gegevens in de bovenstaande tabel is te zien dat de personen bij wie de uitvoering van de handelingen verkeerd ging, het vermeende begrip overeenkomend laag is (2 uit 5, en dus onvoldoende, want onder marge voor gemiddeld van 2.5. Zie hoofdtekst, paragraaf 3.3). Een
vermeend begrip van minimaal 3 punten (gemiddeld, want binnen de marge van 2.5 en 3.5) was voor deze set participanten benodigd om tot een juiste uitvoering van de stap te komen. Opvallend is dat juist bij stap 4 de personen de fout in gaan, terwijl ze kritiek hebben op stap 3. Opmerkelijk is ook dat een voldoende tot hoge mate van begrip (met een score van 4.0) ook tot een tweede poging heeft geleid voordat er een correcte handeling werd uitgevoerd.
83 Laag begrip leidde tot verkeerde, of deels (lees: tweede correcte poging) uitvoeringen. Gemiddeld en hoog begrip leidden tot (overwegend) juiste uitvoeringen, zoals verwacht werd op basis van de onderlinge samenhang van de gebruikte theorieën. Overigens is een voldoende of hoge mate van begrip niet een garantie geweest voor het uitvoeren van de handelingen. In twee gevallen leidde hoog begrip alsnog tot het niet uitvoeren van de handeling, terwijl twee gevallen van laag begrip ook datzelfde resultaat hadden. Wellicht dat de eigen inschatting van het begrip daar tot deze gevolgen heeft geleid. Het kan immers zo zijn dat degenen met een hoge mate van begrip dachten de stap wel te snappen en daarom niet tot uitvoeren verplicht waren. Terwijl de personen met een lagere mate van begrip wellicht hebben gedacht dat ze de uitleg niet voldoende begrepen om de stappen correct uit te kunnen voeren, en dit daarom maar hebben laten schieten. Hoewel het ook mogelijk is dat deze participanten de stappen simpelweg niet hebben uitgevoerd omdat ze daar geen zin in hadden.
De bovenstaande kwestie is veruit de meeste interessante wanneer naar het toegepaste begrip is gekeken. In het verlengde van de opmerkingen over de tekst is er nog de volgende
terugkerende zaak, namelijk: “wat zijn blisters?” Deze opmerking werd regelmatig gemaakt, waarbij de personen geen idee hadden van wat een blister precies is. Hoewel het niet per definitie relevant is voor de uitvoering om te weten wat een blister is, blijkt hieruit wel dat terminologie niet altijd wordt begrepen - ook niet wanneer het een niet-wetenschappelijke term betreft.
8.4 Waardering
Tot slot de laatste van de vier afhankelijke variabelen: “waardering”.
Geheel in lijn met de voorgaande data is B3 ook hier als beste beoordeeld door de participanten. In het onderstaande overzicht is te zien wat de waarderingen van de tekst waren:
Waardering Tekst
Stap Bijsluiter 1 Bijsluiter 2 Bijsluiter 3
1 6.0 8.0 8.6 2 6.8 8.4 8.8 3 5.6 8.4 8.8 4 5.4 8.6 8.6 5 7.4 8.6 8.8 6 7.2 8.6 8.6 GEM 6.4 8.43 8.7
De data voor de afbeeldingen volgt direct hier onder. Wanneer beide tabellen met elkaar worden vergelijken ontstaat namelijk het beeld dat afbeeldingen een directe invloed hebben gehad op de waardering van de tekst.
Waardering Afbeeldingen
Stap Bijsluiter 2 Bijsluiter 3
1 8.8 8.8 2 9.0 8.8 3 8.6 4 8.8 8.6 5 8.8 6 9.0 8.6 GEM 8.9 8.7
Net zoals bij de voorgaande tabellen, moet ook hier worden opgemerkt dat er geen afbeeldingen waren bij stappen 3 en 5 in B2. Wanneer de waardering van de tekst is bekeken, dan valt ten eerste op dat alle varianten een voldoende scoren. Met een 6.4 score heeft B1 de laagste waardering
84 ontvangen, maar scoort het alsnog een voldoende. Bijsluiter 2 heeft gemiddeld een 8.43 gescoord, waarmee het wat lager uitkomt dan B3. De onderlinge verschillen tussen de beoordelingen van de tekst tussen B2 en B3 zijn iets groter dan bij de voorgaande variabelen. In de helft van de gevallen is er sprake van verschillen van 0.4 en 0.6 punten in het ‘voordeel’ van B3. Wederom moet hier worden opgemerkt dat de tekst in alle bijsluiters identiek was. Ondanks dat heeft B1 toch weer beduidend lagere beoordelingen ontvangen dan de overige bijsluiters.Het gebrek aan verschil in tekst tussen de drie versies is voor mij aanleiding om de oorsprong van deze verschillen elders te zoeken.
Er is echter één probleem met deze data, wanneer de data van de oorspronkelijke bijsluiter (zie paragraaf 3.1.5) met deze nieuwe gegevens worden vergeleken. De scores voor de afbeeldingen in B0 zijn, met slechts één uitzondering, lager dan die van de tekst in die bijsluiter. Dat heeft als gevolg dat er niet simpelweg kan worden gesteld dat een hogere waardering voor afbeeldingen tot een hogere waardering van de tekst zal leiden. Echter, deze data laten naar mijn mening iets anders zien. Namelijk dat het simpele feit dat er afbeeldingen zijn tot een hogere waardering (en begrip, en meer duidelijkheid) leiden. Daar komt nog bij dat op basis van het de corpusbeschrijving (zie
paragraaf 2.3.4) al werd voorspeld dat de afbeeldingen in B0 niet ideaal waren en dat er veel kritiek