Het waarborgen van de (ecologische) validiteit

Volgens Neutelings (1997, p. 42) heeft hardop denken altijd veel kritiek te verduren gehad. Er bestaan veel twijfels over de validiteit van de door hardop denken (en protocolanalyse) verkregen data. Neutelings (1997) toont aan dat deze twijfels en kritieken vaak onterecht zijn, met name voor het gelijktijdige verbale rapport waarvan in dit onderzoek gebruik wordt gemaakt. Neutelings baseert deze conclusie op het empirisch onderzoek van Ericsson en Simons (1993). Volgens Van den Haak, De Jong en Schellens (2006) wordt er in het standaardwerk Protocal Analysis, Verbal reports as data van Ericsson en Simons (1993) op basis van een groot aantal empirische studies geconcludeerd dat hardopdenkgegevens, onder een aantal strikte voorwaarden, in principe valide zijn. Deze voorwaarden en de manier waarop in dit onderzoek aan deze voorwaarden is voldaan zullen in de volgende deelparagrafen worden besproken.

4.4.1. Voorwaarden met betrekking tot de hoofdtaak en instructie

Het is allereerst van belang dat de hoofdtaak en de hardopdenkinstructies uitsluitend zogeheten niveau 1- en niveau 2-verbalisaties oproepen (Neutelings, 1997). Niveau 1-verbalisaties bestaan uit de directe vocalisaties van cognitieve patronen die in een verbale vorm zijn opgeslagen. Deze vorm van verbalisatie zal een proefpersoon weinig extra moeite kosten. Echter, niet alle informatie in het geheugen heeft een verbale vorm. Als aan een proefpersoon wordt gevraagd om olfactorische informatie te verwoorden, dan zal de proefpersoon deze informatie eerst moeten hercoderen in een verbale vorm. In dat geval is er sprake van een niveau 2-verbalisatie. De extra hercodeerprocessen leiden er toe dat de uitvoering van de hoofdtaak meer tijd kost, maar ze veranderen de structuur van de processen van de hoofdtaak niet (Ericsson en Simon, 1993, in Neutelings, 1997: p. 43-44).

32 Voor een niveau 3-verbalisatie moet een hardopdenker extra interpretatieprocessen uitvoeren, die bij normale taakuitvoering achterwege blijven. Hij moet niet alleen hercoderen, zoals bij een niveau 2-verbalisatie, maar bijvoorbeeld ook infereren en genereren. Een niveau 3-verbalisatie verandert de operaties noodzakelijk voor de uitvoering van de hoofdtaak wel (Ericsson en Simon, 1993 in Neutelings, 1997: p. 44). Niveau 3-verbalisaties worden uitgelokt door de hardopdenkinstructie. Zo kan een proefleider vragen naar een bepaald type informatie, bijvoorbeeld ‘rapporteer alle gedachten die je hebt over de stijl van deze tekst’. De proefpersonen moeten hun verwoordingen dan selecteren. Alle verwerkte informatie moet door hen getest worden om te zien of deze van het gewenste type is (Ericsson en Simon, 1993, in Neutelings, 1997: p. 44).

Een gelijktijdig verbaal rapport bestaande uit niveau 1- en niveau 2-verbalisaties verandert de processen van de hoofdtaak niet. (Neutelings, 1997: p. 45). Niveau 3-verbalisaties daarentegen veranderen het leesproces en tasten daarmee de natuurlijkheid van het lezen aan (Neutelings, 1997). Om de natuurlijkheid van de taakuitvoering niet negatief te beïnvloeden is het noodzakelijk dat de instructies zo min mogelijk extra processen uitlokken (Neutelings, 1997: p. 47). Met andere woorden, om de validiteit van de data te waarborgen is het van belang dat bij de proefpersonen alleen niveau 1- en niveau 2-verbalisaties worden ontlokt.

Om niveau 3-verbalisaties te voorkomen is er in dit onderzoek niet aan de respondenten gevraagd slechts een bepaald type informatie te verwoorden. Om uitsluitend niveau 1- en niveau 2-verbalisaties te ontlokken hebben de zakelijke lezers voorafgaand aan het uitvoeren van de hoofdtaak in de mondelinge instructie de volgende aanwijzing gekregen: ‘Daarnaast vraag ik u om tegelijkertijd alle gedachten die in u opkomen hardop te verwoorden’. Na de mondelinge instructie volgde nog een schriftelijke instructie. Daarin staat het volgende opgenomen: ‘Het hardop denken tijdens het lezen is bedoeld om er achter te komen welke gedachten de tekst bij u oproept. Verwoord a.u.b. iedere gedachte, hoe onbelangrijk die voor u ook lijkt. Voor dit onderzoek is iedere gedachte die u heeft tijdens het lezen namelijk van belang’. Deze instructies zijn er dus specifiek op gericht om er voor te zorgen dat de zakelijke lezers alle informatie die in hun opkomt verwoorden en niet een bepaald type informatie.

33 4.4.2. De aanwezigheid van de proefleider

Op het moment dat er een proefleider aanwezig is bij het onderzoek bestaat het gevaar dat de respondent de proefleider gaat uitleggen wat hij aan het doen is. Het cognitieve proces is dan onnatuurlijk (Ericsson en Simon, 1993, in Neutelings, 1997: p. 47). Om te voorkomen dat dit gebeurt zijn in de mondelinge instructie de volgende zinnen opgenomen: ‘Daarom wil ik graag dat u de tekst die u straks gaat lezen zo leest alsof ik er niet bij ben. Daarnaast hoeft u mij niet uit te leggen wat u aan het doen bent’ en ‘U hoeft niet tegen mij te spreken of een mooi verslag te maken. U hoeft alleen uw gedachten te verwoorden en uw tekst te lezen’. In de schriftelijke instructie staat opgenomen: ‘Probeer zo te lezen zoals u normaal ook zou doen’. Volgens Neutelings (1997, p. 47) wordt de proefpersoon door middel van dit soort instructies aangemoedigd om de sociale functie van zijn spraak, mogelijk uitgelokt door de aanwezigheid van de proefleider, te negeren.

4.4.3. De activeringsinstructie voor de stilvallende proefpersoon

Om een zo compleet mogelijk verbaal rapport te verkrijgen is het nodig om proefpersonen die stil vallen weer te stimuleren te gaan verbaliseren. Volgens (Neutelings, 1997, p. 48) hanteren onderzoekers allerlei verschillende formuleringen om proefpersonen weer te activeren. Sommige van deze formuleringen zoals ‘Wat denkt u nu?’ nodigen volgens hem te veel uit tot reflectie. Hierdoor wordt de natuurlijkheid van de taakuitvoering negatief beïnvloed. Aansporingen zoals ‘Waarom pauzeert u nu?’ lokken zelfs introspectie uit, dit is zeer ongewenst (zie hiervoor ook paragraaf 4.2.2). In dit onderzoek wordt, in navolging van Neutelings, de formulering ‘Blijf praten’ gebruikt. Deze formulering geeft de kleinste kans op introspectie en retrospectie (Ericsson en Simon, 1993, in Neutelings, 1997: p. 49).

Volgens Neutelings (1997, p. 49) bestaan er veel verschillende meningen over de vraag na hoeveel tijd een proefleider een stilvallende proefpersoon een stimulans moet geven om weer hardop te denken. In dit onderzoek is er voor gekozen geen vaste tijdsindicatie te hanteren, maar zijn de proefpersonen op intuïtie aangespoord tot verbaliseren. In de schriftelijke instructie is daartoe opgenomen: ‘Als u lang stil blijft, dan zal de onderzoeker tegen u zeggen: ‘blijf praten’. Dit is bedoeld om u er aan te herinneren weer hardop te denken en te lezen’.

34 De reden dat er niet is gekozen voor een vaste tijdsindicatie van een X aantal seconden, is dat het als proefleider vrijwel onmogelijk is om elke keer dat een lezer stilvalt de tijd op te meten en de lezer na een X aantal seconden weer te stimuleren om te verbaliseren. Dit is vooral lastig omdat de proefleider tegelijkertijd bezig is met het observeren van de proefpersonen. Omdat er in dit onderzoek maar één proefleider is, levert de keuze voor het intuïtief aansporen van de zakelijke lezers hoogstwaarschijnlijk geen ongelijke behandeling van de proefpersonen op.