Analyse van de data

De gegevens die zo werden vergaard – in de vorm van de met een iPod Video opgenomen uitgesproken gedachten van de proefpersonen en de interviews naderhand – schreef ik allereerst uit. Hierbij werd zo letterlijk mogelijk weergegeven wat een proefpersoon zei: dus geen leestekens zoals komma’s, dubbele punten en punt komma’s, en mét ehhs, versprekingen en herhalingen van woorden. Punten werden alleen gebruikt als een proefpersoon het praten even inhield. Voor echte pauzes, langer dan twee seconden, werden drie puntjes – … – genoteerd (dit gebeurde overigens alleen in het hardop denk gedeelte, waar die stiltes relevant zouden kunnen zijn). Ook non-verbale geluiden, zoals lachen en zuchten, schreef ik op. Vier voorbeelden van transcripten – voor iedere versie van het gedicht één – zijn te vinden in Bijlage 7.

De volgende stap was het opzetten van een analyseapparaat. De in het experiment verzamelde data maakten vele verschillende soorten analyses mogelijk. Om zo efficiënt mogelijk te werken, analyseerde ik de data vanuit de onderzoeksvragen. Bij het hardop denken en het eerste deel van het vraaggesprek – het doorvragen – werd daarom op drie onderdelen gelet: eventuele problemen die proefpersonen met het lezen en interpreteren van het gedicht ondervonden, de interpretatie waar ze uiteindelijk op uit kwamen en hun manier van werken met het gedicht. De laatste twee werden uiteraard alleen uit het hardop denk gedeelte gehaald.

De manier van werken betrof een globale beschrijving van hun verbale handelingen tijdens het uitvoeren van de opdracht. Dit is vergelijkbaar met Kintgen (1983) (zie paragraaf 3.2) maar dan minder gedetailleerd. De keus om dat te doen was deels noodgedwongen, deels onderzoekspraktisch. Noodgedwongen, omdat de data die via het hardop denken werden verkregen niet uitgebreid genoeg waren om een heel gedetailleerd labelsysteem op te zetten. Proefpersonen lieten relatief lange stiltes vallen, vaak de maximale twintig seconden. Het is zeer onwaarschijnlijk dat ze in die periodes alleen maar aan het lezen waren; vermoedelijk hadden ze allerlei gedachten, maar spraken ze die niet uit.

Dat de data onvoldoende uitgebreid waren, heeft vermoedelijk twee oorzaken. In de eerste plaats de onderzoekssituatie: Kintgen (1983) liet zijn proefpersonen thuis werken, betaalde ze en stelde hen geen tijdslimiet. In dit onderzoek was die er ook niet, maar de proefpersonen werd vooraf verteld dat ze met de hele taak – dus het interpreteren van beide gedichten en het interview naderhand – tussen een half uur en een uur bezig zouden zijn. Hoewel Kintgen (1983) de tijd die zijn proefpersonen uittrokken niet vermeldt, vermoed ik dat die langer was dan in dit onderzoek. Bovendien kan het geld proefpersonen er toe hebben gemotiveerd om meer van hun gedachten prijs te geven, en is de thuissituatie natuurlijker voor het lezen van poëzie dan een onderzoekssetting. De tweede oorzaak ligt in de opzet van het experiment. Zoals gezegd in de eerste paragraaf van dit hoofdstuk, was de verwachting vooraf dat het simultaan lezen en hardop denken, zeker in combinatie met het niet gewend zijn hardop te denken, remmend zou kunnen werken op het hardop denk proces. Immers, als mensen twee dingen tegelijk moeten doen, bestaat de kans dat ze het andere vergeten als ze gestopt zijn met het ene – in dit geval het hardop denken vergeten als ze gestopt zijn met lezen. Mogelijk heeft dit er toe geleid dat de data niet zeer uitgebreid waren.

De onderzoekspraktische redenen is gebaseerd op een tijdsoverweging: vierendertig hardop denk protocollen labelen op de wijze waarop Kintgen (1983) dat heeft gedaan, was binnen het kader van deze scriptie een te tijdsintensieve bezigheid geworden.

Daarom werd gekozen voor een globale, beknopte beschrijving van de manier van werken vanuit de leidende vraag: hoe proberen proefpersonen tot een interpretatie te komen? Hiervoor werden de stappen die ze namen in hun interpretatieproces op chronologische wijze zo volledig mogelijk beschreven: wat doen ze eerst, wat daarna etcetera? Uitgaande van de vooronderstelling dat mensen in hun interpretatie zoeken naar samenhang tussen de

verschillende onderdelen van het gedicht, werd er hoofdzakelijk gelet op de verbanden die ze legden.

Het resultaat was een samenvattende tekst voor iedere proefpersoon. Doel van de procedure was om te kijken of er verschillen bestonden in de wijze waarop de proefpersonen tot een interpretatie probeerden te komen in respectievelijk de elektronische en de papieren versie.

Vervolgens werd gekeken of proefpersonen uitkwamen op een interpretatie, en zo ja, hoe diep die ging. De definitie van interpretatie in het onderzoek was een, in de woorden van Vaessens & Joosten (2002), modernistische: een poging tot het ordenen van het gedicht tot een betekenisvol geheel waarin de elementen op een zinvolle manier met elkaar

samenhangen. Hoe meer elementen ze weten onder te brengen onder de vlag van hun

interpretatie, hoe diepgaander deze is – dit kunnen zowel elementen zijn van de vorm als van de inhoud. Een ander criterium was de mate van abstractie: bleef de interpretatie dicht bij de woorden van het gedicht en was het meer een samenvatting of abstraheerden proefpersonen en kwamen ze tot een idee dat ten grondslag ligt aan het gedicht? Voor het vaststellen van de mate van diepgang werden zo vier categorieën opgesteld, als antwoorden op de vraag: komen proefpersonen tot een interpretatie? Te weten: 1. Nee. Er is helemaal geen interpretatie. 2. Nauwelijks. De interpretatie blijft beperkt tot losse opmerkingen over het gedicht. Er is geen sprake van abstrahering. 3. Redelijk. Meerdere elementen uit het gedicht zijn aan de

interpretatie gekoppeld, en er wordt eventueel een poging gedaan tot abstrahering. 4. Ja. De meeste elementen uit het gedicht zijn tot een samenhangende interpretatie gesmeed, die een abstracte representatie is van het gedicht.

Onder problemen tot slot werden alle uitspraken verstaan die erop zouden kunnen duiden dat proefpersonen het lezen en interpreteren lastig vonden. Denk aan uitingen als ‘Ik snap het niet’, ‘Wat ingewikkeld’, ‘Vaag gedicht’, ‘Kan er niet echt kaas van maken’. Ook eventuele redenen die proefpersonen voor hun lees- en interpretatiemoeilijkheden gaven, werden

genoteerd. Doel van deze procedure was om vast te stellen hoe ingewikkeld proefpersonen het gedicht vonden, en of de aspecten die ze als moeilijk ervoeren anders waren voor de

elektronische dan voor de papieren versie.

De vragen in het tweede deel van het interview werden per vraag geanalyseerd. Hierbij schreef ik het directe antwoord op de vraag op – afhankelijk van de vraag: ja of nee, een adjectief, lezen of kijken of de voorkeur voor een van de twee gedichten – en vatte ik

vervolgens de redenen die proefpersonen voor hun antwoord gaven samen. De resultaten van deze hele procedure voor de vier transcripten in Bijlage 7 zijn te vinden in Bijlage 8.

De volgende – en eigenlijk belangrijkste – stap in de analyse was om de zo verkregen ‘samenvattingen’ van de uitgeschreven data, zoals ik ze voor het gemak noem, te

categoriseren zodanig dat algemene uitspraken gedaan konden worden over de verschillen tussen het lezen en interpreteren van de elektronische en de papieren versie van de gedichten. Voor het tweede deel van het vraaggesprek was deze operatie relatief eenvoudig: ik telde de antwoorden van de proefpersonen en categoriseerde de redenen die ze gaven. Vervolgens vergeleek ik de resultaten van de proefpersonen die de elektronische en de papieren versie lazen met elkaar, zowel op basis van de kwantitatieve – de telling – als de kwalitatieve data – de redenen.

Voor het hardop denken en het daarop aansluitende eerste deel van het interview werden de op de criteria manier van werken, interpretatie en problemen beschreven data eveneens gecategoriseerd. Op basis van de beschrijvingen was het mogelijk om, per versie, een globaal beeld te schetsen van de manier van werken van de proefpersonen. De vier categorieën voor het onderdeel interpretatie zijn hierboven al gegeven; voor elke categorie werd per versie geteld hoeveel proefpersonen er in vielen. De problemen tot slot werden eveneens voor iedere

versie afzonderlijk gecategoriseerd. Zo werd voor alle drie de onderdelen voor beide gedichten een vergelijking mogelijk tussen de papieren en de elektronische versie.

De meeste resultaten van het onderzoek zijn kwalitatief. Op de kwantitatieve data – de tellingen – werden statistische tests uitgevoerd, om te bepalen of er significante verschillen tussen de groepen bestonden. Gekozen werd voor een significantieniveau van 0,10: als de p-waarde daarop of -onder uitkomt, mogen we spreken van een significant verschil. Hoewel dit niet het conventionele significantieniveau is – dat ligt op 0,05 – maakte het kleine aantal proefpersonen het beter hiervoor te kiezen, omdat het de zogenaamde statistische power vergroot.

Door de combinatie van een klein aantal proefpersonen (<12 in elke groep) met niet normaal verdeelde data, kon niet de gangbare t-toets worden gebruikt om de significantie te bepalen. Er werd enkel gewerkt met een non-parametrische toets, de Mann Whitney test. Die is minder sterk, maar in dit geval betrouwbaarder.

In het resultatenhoofdstuk wordt begonnen met de enige statistische uitkomst waarvan de data echt kwantitatief zijn: een test op de tijd die proefpersonen nodig hadden voor het hardop denken. Die geeft een indicatie van de hoeveelheid cognitieve energie die het uitvoeren van de taak hen kostte. Een significant verschil tussen de papieren en elektronische versie zou erop kunnen duiden dat de ene versie meer van de proefpersonen vroeg dan de andere.

Bij dit alles moet worden opgemerkt dat bij iedere stap tussen de afname van het onderzoek en de uiteindelijke resultaten sprake is van een reductie van de werkelijkheid. De onderzoekssituatie is rijk aan tekens die niet worden opgenomen met een iPod Video, zoals non-verbale signalen van proefpersonen (denk aan fronsen, vooroverbuigen, glimlachen). Uit de audioverslagen zijn zaken als intonatie, klemtoon en luidheid van praten weggelaten in de transcripten (in de Communicatiewetenschap is overigens een metataal ontwikkeld om deze zaken wel mee te nemen, maar die werd hier niet gebruikt omdat dat te veel tijd in beslag zou nemen). En het kan haast niet anders of er is in het maken van de samenvattingen sprake geweest van inferenties en zelfs interpretaties van de onderzoeker, wat evenzeer geldt voor de categoriseringsfase die daarop volgde. Om, met andere woorden, structuur te brengen in de chaos, ben je gedwongen om de gigantische berg aan data terug te brengen tot overzichtelijke proporties. Zo ontstaan heldere schema’s die met elkaar vergeleken kunnen worden.

6. Resultaten

Voor beide versies van beide gedichten werd de tijd gemeten die proefpersonen nodig hadden voor het lezen en interpreteren (de hardop denk fase). Vervolgens moest een

non-parametrische Mann Whitney test uitwijzen of er significante verschillen bestonden tussen de condities. Dat bleek niet het geval. De proefpersonen die de elektronische versie kregen van

eerst wordt voorvoorspeld, hadden ongeveer twee maal zoveel tijd nodig voor het uitvoeren van de opdracht als de proefpersonen die de papieren versie kregen: gemiddeld 13 minuten en 23 seconden tegenover 7 minuten en 3 seconden. Hierbij moet worden aangetekend dat er in de eerste groep twee uitschieters zaten, die het gemiddelde in positieve richting beïnvloedden. De een deed 45 minuten en 18 seconden over de taak, de ander 24 minuten en 41 seconden. Zonder deze proefpersonen daalt het gemiddelde voor de elektronische versie naar 7 minuten en 13 seconden, een verwaarloosbaar verschil.

Maar de uitkomst van de Mann Whitney test is – ook met de uitschieters – niet significant (W=60; Z=-1,155; p=0,248). Dat betekent dat de nulhypothese, dat er geen verschil bestaat tussen de lees- en interpreteertijd van de versies, op een significantieniveau (p-waarde) van gelijk aan of kleiner dan 0,10, niet mag worden verworpen. Voor KRITIEK geldt hetzelfde. Het gemiddelde ligt hier eveneens hoger voor de elektronische (7 minuten en 17 seconden) dan voor de papieren versie (6 minuten en 33 seconden), maar het verschil is niet significant (W=74; Z=-0,674; p=0,501).

Op basis hiervan kunnen we dus niet concluderen dat het proefpersonen meer cognitieve energie kostte om de elektronische versie te lezen en te interpreteren dan de papieren versie. Ook kunnen we niet concluderen dat ze het bij de elektronische versie sneller opgaven, bijvoorbeeld omdat het gedicht in hun ogen te moeilijk was.

De overige resultaten worden hieronder voor beide gedichten afzonderlijk besproken.