Cliënten aan het Woord:
Wat Therapeuten en Diagnostici kunnen
leren uit de Ervaringen van Cliënten die
Therapeutic Assessment of een
Controleconditie hebben ondergaan
Student: Eva-Emily Eder Studentnummer: 6063756 Docent: Anna Bartak
Aantal Woorden Abstract: 278 Aantal Woorden These: 9021
Abstract
In deze kwalitatieve studie werden de ervaringen van cliënten met Therapeutic Assessment (TA) systematisch in kaart gebracht en vergeleken met een controleconditie. TA is een variatie op traditioneel psychologisch onderzoek, waarbij het doel is positieve verandering bij cliënten teweeg te brengen. De 18 deelnemers werden geworven uit een steekproef van een reeds gepubliceerd randomized-controlled clinical trial (RCT) over TA als voortraject voor een behandeling van persoonlijkheidsstoornissen (de Saeger et al., 2014). De ervaringen van de cliënten werden middels een semi-gestructureerd diepte-interview in kaart gebracht en volgens de principes van de kwalitatieve inhoudsanalyse geanalyseerd (Kuckartz, 2012). Uit het onderzoek kwamen negen kernthema’s naar voren, de belangrijkste vijf waren: relationele aspecten, nieuwe inzichten in persoonlijke dynamiek, zich gesterkt voelen, zelfvalidatie en nieuwe ervaring. Cliënten uit beide condities gaven aan dat ze de eerste drie thema’s verreweg het belangrijkst vonden. Op subcodeniveau zijn er verschillen tussen de twee condities. Vergeleken met cliënten uit de controleconditie rapporteerden cliënten uit de TA conditie meer inzichten te hebben opgedaan, meer verdieping te hebben ervaren en meer zelfvertrouwen te hebben gewonnen. Daarnaast voelden alleen cliënten uit de TA conditie zich behandeld als een gelijke en gaven ze vaker aan samen te hebben gewerkt met de therapeut dan cliënten uit de controleconditie. Het vierde kernthema, zelfvalidatie, was specifiek aan TA. Ondanks het feit dat deze cliëntengroep voorafgaand aan de interventie veel therapie ervaring had rapporteerden cliënten uit de TA conditie, maar niet uit de controleconditie, de relationele aspecten als nieuwe ervaring. Er was geen significant verschil in de hoeveelheid gerapporteerde nieuwe ervaringen tussen de twee condities. Uit deze resultaten blijkt dat cliënten de theoretisch veronderstelde werkingsmechanismen van TA in de praktijk daadwerkelijk ervaren en spontaan rapporteren.
Inhoudsopgave 1. Inleiding
1.1 Achtergrond en Kenmerken van Therapeutic Assessment 4 1.2 Stand van de Wetenschap over Therapeutic Assessement 6
1.3 Een Kwalitatieve Benadering 7
1.4 Achtergrond van de Huidige Studie 8
1.5 Doel van het Onderzoek 8
2. Methode
2.1 Deelnemers 9
2.2 Interventies 10
2.3 Achtergrond van de Onderzoekers 11
2.4 Interview 11 2.5 Procedure 12 2.6 Analyse 14 3. Resultaten 3.1 Deelnemers 16 3.2 Interbeoordelaarsbetrouwbaarheid 17
3.3 Ervaringen van de Cliënten 18
3.3.1 Belangrijkste Hoofdcodes 20
3.3.2 Ondergeschikte Hoofdcodes 25
3.3.3 Nieuwe Ervaring 26
4. Conclusies en Discussie
4.1 Belangrijkste Bevindingen 27
4.2 Sterke Punten en Beperkingen 29
4.3 Bevindingen in het Licht van Bestaande Literatuur 31
4.5 Conclusie en Klinische Implicaties 32
5. Literatuurlijst 34
6. Bijlagen
6.1 Interviewleidraad 38
6.2 Codesysteem 40
6.3 Codeerfrequenties van alle Codes per Conditie 41 6.4 Code Relations Browser Nieuwe Ervaring voor de TA Conditie 42 6.5 Code Relations Browser Nieuwe Ervaring voor de GFPTI Conditie 43
Deze kwalitatieve studie onderzoekt en vergelijkt de ervaringen van cliënten die Therapeutic Assessment (TA) hebben ondergaan en de ervaringen van cliënten uit een controleconditie, teneinde beter inzicht te krijgen in de werkzame elementen van TA. Kennis hiervan zal bijdragen aan betere diagnostiek en behandeling.
Achtergrond en Kenmerken van Therapeutic Assessment
Therapeutic Assessment (TA) werd in de late jaren tachtig ontwikkeld door Stephen E. Finn en collega’s en is een collaboratieve, semigestructureerde vorm van psychologisch onderzoek (Finn, 2007; Finn & Tonsager, 1992, 1997). Psychologisch onderzoek heeft de laatste tijd geen goede reputatie en staat volgens de onderzoekers voor een grote uitdaging (Finn & Tonsager). Mogelijk is dat een verklaring waarom er de laatste jaren veel aandacht is uitgegaan naar TA en zijn nieuwe benadering van psychologisch onderzoek. Een tweede reden die TA mogelijk zo interessant maakt voor onderzoekers is dat TA een basisstructuur kent als uitgaanspunt voor elk psychologisch onderzoek. Deze kan naar behoefte worden aangepast, maar de aanwezigheid van een duidelijke leidraad maakt TA bijzonder aantrekkelijk voor onderzoek waarbij veel waarde wordt gehecht aan geprotocolleerde processen (Finn, 2007). TA bestaat uit vijf stappen (Finn, 2007): de Initial Session, de Standardized Testing Session, de Assessment Intervention Session, de Summary and Discussion Session en schriftelijk feedback in vorm van een brief plus een mogelijke follow-up sessie. Tijdens de Initial Session stellen diagnosticus en cliënt in samenwerking de onderzoeksvragen op. Deze sessie wordt gewoonlijk opgevolgd door een of meerdere Standardized Testing Sessions, waarbij gestandaardiseerde tests worden afgenomen. Deze stap kent enkele verschillen met traditioneel psychologisch onderzoek. Er zijn geen van tevoren vastgelegde testbatterijen. De tests worden individueel samengesteld aan de hand van de onderzoeksvragen van de cliënt. Ook wordt er meer voor gedaan om de cliënt op zijn gemak te stellen dan bij traditioneel psychologisch onderzoek. Wanneer alle gestandaardiseerde tests zijn afgenomen en geanalyseerd vindt vaak een Assessment Intervention Session plaats. Hierbij worden onderzoeksinstrumenten gebruikt om de problematiek op 4
een ervaarbaar niveau met de cliënt door te nemen (Finn, 2007). Probleemgedrag van een cliënt wordt door middel van een onderzoeksinstrument “opgewekt” en er wordt vervolgens geëxperimenteerd met nieuw, alternatief gedrag. Hierop volgt de Summary and Discussion Session waarbij de onderzoeksresultaten met de cliënt worden gedeeld en geëxploreerd. Als laatste krijgt elke cliënt een brief naar huis gestuurd die antwoord geeft op de onderzoeksvragenen de resultaten van het Therapeutic Assessment samenvat inclusief de inbreng van cliënt tijdens de Summary and Discussion Session. Hoewel TA dezelfde gestandaardiseerde onderzoeksinstrumenten hanteert als traditioneel psychologisch onderzoek is er dus een duidelijk verschil met traditioneel psychologisch onderzoek. Het doel van TA ligt is namelijk om cliënten mogelijkheden te bieden nieuwe ervaringen op te doen en inzichten over zichzelf te verkrijgen die hen in staat stellen om noodzakelijke veranderingen in hun leven aan te brengen (Finn & Tonsager, 1997). Bij traditioneel psychologisch onderzoek ligt de focus gewoonlijk op het vergaren en beoordelen van informatie over een cliënt om deze vervolgens professioneel advies te kunnen geven en het vergemakkelijken van communicatie tussendeskundigen onderling (Finn & Tonsager, 1997). Ondanks hun verschillen spreken deze twee modellen van psychologisch onderzoek elkaar niet tegen. TA kan het best worden begrepen als een therapeutische aanvulling op het bestaande informatie vergarende model van traditioneel psychologisch onderzoek (Poston & Hanson, 2010). Deze therapeutische aanvulling spiegelt zich met name weer in de rol van de diagnosticus. Bij traditioneel psychologisch onderzoek is de diagnosticus een objectieve observator. Hij probeert zich tijdens het onderzoek zo neutraal mogelijk op te stellen om zijn invloed op de vergaarde data te minimaliseren (Finn & Tonsager, 1997). Bij TA vervult de onderzoeker een andere rol. Dit blijkt uit de volgende drie basisprincipes die ten grondslag liggen aan TA: De diagnosticus “a) ontwikkelt en onderhoudt empathische connecties met cliënten, b) stelt onderzoeksdoelen in samenwerking met cliënten op, en c) deelt en exploreert onderzoeksresultaten met cliënten” (vertaald uit Finn & Tonsager, 1997, p. 378). De diagnosticus heeft dus een veel actievere rol in het onderzoeksproces dan bij traditioneel psychologisch onderzoek. Maar ook de houding van de cliënt verandert door deze actief bij het onderzoeksproces te betrekken. Hierdoor zal
deze zich realiseren dat zijn bijdrage essentieel is voor een succesvol psychologisch onderzoek, wat zijn betrokkenheid bij het onderzoek zal doen toenemen. Hiernaast zal de cliënt accuratere informatie over zichzelf geven en meer investeren in het onderzoek, wanneer het onderzoek zijn eigen doelen dient (Finn, 1997, 2007). Ten slotte heeft ook het gevoel gewaardeerd te worden een positieve invloed op de motivatie van cliënten (Finn, 1997, 2007).
Stand van de Wetenschap over Therapeutic Assessment
TA wordt dan ook in verband gebracht met positievere uitkomsten dan traditioneel psychologisch onderzoek en heeft een positieve invloed op latere behandelprocessen (Poston & Hanson, 2010). Er werd bijvoorbeeld gevonden dat TA in studentensteekproeven tot meer symptoomverlichting leidt dan traditioneel psychologisch onderzoek (Finn & Tonsager, 1992; Newman & Greenway, 1996). Vergeleken met cliënten die traditioneel psychologisch hebben ondergaan rapporteren cliënten die TA hebben ondergaan een sterkere therapeutische alliantie met de diagnosticus en met de therapeut in de volgende behandeling (Ackerman, 2000; Ackerman, Hilsenroth, Baity, & Blagys 2000; Hilsenroth, Peters & Ackerman, 2004). Gezien het feit dat TA een kortdurende interventie is die vaak slechts drie tot vier sessies in beslag neemt zijn dit opmerkelijke resultaten (Finn, 1996; Poston & Hanson, 2010). De vraag is dan ook wat TA ondanks zijn korte duur zo effectief maakt, of anders gesteld: wat de werkzame elementen van TA zijn. Finn, Schroeder en Tonsager (1994) hebben hier een eerste stap in gezet en een vragenlijst ontwikkeld om de ervaringen van cliënten met psychologisch onderzoek in kaart te brengen: de Assessment Questionnaire-2 (AQ-2). Deze werden bij twee verschillende steekproeven afgenomen. Middels een factoranalyse werden vier factoren gevonden welke de auteurs als volgt noemden: 1) zelfkennis/begrip, 2) positief accuraat spiegelen, 3) positieve relatie met de onderzoeker, en 4) negatieve gevoelens over het psychologisch onderzoek. De derde factor van de AQ-2, de positieve relatie met de onderzoeker staat bekend om zijn positieve verband met behandeluitkomst (Horvath, 2001; Horvath & Symonds, 1991; Kazdin, 2005; Martin, Garske, & Davis, 2000). Allen et al. (2003) onderzochten in een ontmantelingstudie het
effect van assessment feedback op de therapeutische alliantie. Assessment feedback is het delen en exploreren van de onderzoeksresultaten met de cliënt. Cliënten die assessment feedback hadden gekregen beoordeelden de therapeutische alliantie na afloop als sterker dan cliënten die geen feedback hadden gekregen. Allen et al. (2003) hebben ook een mogelijk tweede therapeutisch veranderingsproces van TA onder de loep genomen. Self-enhancement is “het verlangen (van een ieder) naar liefde en lof van anderen en een positief zelfbeeld” (vertaald uit Finn & Tonsager, 1997, p. 381). De auteurs vonden gemengde resultaten wat de invloed van assessment feedback op self-enhancement betreft.
Een Kwalitatieve Benadering
Onderzoek naar de werkzame elementen van TA staat duidelijk nog in de kinderschoenen. Kennis over de werkzame elementen van TA zal bijdragen aan de ontwikkeling van betere diagnostiek en behandelingen. Kwalitatief onderzoek is bij uitstek geschikt voor het verkennen van een nieuw onderzoeksgebied zoals dat van de werkzame elementen van TA (Miles & Huberman, 1994). Een manier om achter de werkzame elementen van een interventie te komen is om de ervaringen van cliënten te onderzoeken die deze interventie hebben ondergaan (Miles & Huberman, 1994). De bevindingen over de effectiviteit van TA en de therapeutische alliantie berusten uitsluitend op kwantitatieve studies, die de therapeutische alliantie hebben gemeten met vragenlijsten waarop antwoordmogelijkheden van tevoren zijn vastgelegd. Deze werden, zoals vaak het geval is, door cliënten ingevuld omdat men geïnteresseerd is in hun waarneming van een interventie. Door de vooraf vastgelegde antwoordmogelijkheden hebben cliënten echter geen mogelijkheid om belangrijke ervaringen in te brengen, die op geen van de vragenlijsten vertegenwoordigd zijn. Hierdoor zou men belangrijke aspecten vanuit het cliëntperspectief kunnen missen. Daarom is het belangrijk om cliënten zelf aan het woord te laten. Dit kan bijvoorbeeld door middel van diepte-interviews. Deze leiden vaak tot beter begrip van het perspectief van de cliënt en tot nieuwe inzichten op het onderzoeksgebied (van Zwieten & Willems, 2004). Daarnaast werken diagnosticus
en cliënt tijdens TA nauw samen en in lijn hiermee lijkt het logisch om de cliënt ook actief bij onderzoek over TA te betrekken (Fischer, 2006).
Achtergrond van de Huidige Studie
Dit onderzoek is een vervolg op de studie van de Saeger et al. (2014), een randomized-controlled clinical trial (RCT) met een vergelijking van TA en een goal-focused pre-treatment intervention (GFPTI) als voortraject voor een behandeling van persoonlijkheidsstoornissen. GFPTI is een geprotocolleerde behandeling gebaseerd op het vijf-gesprekkenmodel (Stoffer, 2002), waarbij cliënten worden aangemoedigd om een hoofdprobleem te formuleren en om er vervolgens aan te werken. Uit deze studie bleek dat TA in vergelijking tot de controleconditie op korte termijn leidt tot een grotere perceptie van vooruitgang, hogere verwachtingen van de komende behandeling en een hogere tevredenheid over de kwaliteit van de interventie. Daarnaast rapporteerden de cliënten uit de TA conditie een sterkere alliantie met hun therapeut dan de cliënten uit de controleconditie. Er werd geen verschil in symptoomreductie tussen de condities gevonden.
Doel van het Onderzoek
De huidige kwalitatieve studie tracht de subjectieve ervaringen van cliënten die TA hebben ondergaan beter te begrijpen en ze te vergelijken met ervaringen van cliënten die een controle-interventie hebben ondergaan, teneinde beter inzicht te krijgen in de werkzame elementen van TA. Ten eerste zullen in deze studie terugkerende kernthema’s in de ervaring van cliënten met TA en GFPTI uit hun verhalen worden achterhaald en vergeleken. De overeenkomsten en verschillen tussen de condities geven mogelijk zicht opzowel gedeelde als specifieke werkzame elementen van TA ten opzichte van de controle-interventie. Op basis van de literatuur lijkt het aannemelijk dat de therapeutische alliantie als een kernthema van TA naar voren komt (Ackerman, 2000; Ackerman, Hilsenroth, Baity, & Blagys 2000; Allen et al., 2003; de Saeger et al. 2013; Hilsenroth, Peters & Ackerman, 2004).
De basisprincipes en de aanvullingen van TA, die het onderscheid maken tussen TA en traditioneel psychologisch onderzoek, maken het aannemelijk dat cliënten het als vernieuwend ervaren, anders dan eerdere hulpverlening waarmee zij mogelijk in het verleden in aanraking zijn gekomen. Daarom zal in deze studie ook nagegaan worden in hoeverre deze “nieuwe ervaring” zich afspiegelt in de rapportage van de cliënten. Ook GFPTI zou als vernieuwend kunnen worden ervaren, omdat het zeer gestructureerd is. Ten eerste wordt daarom verwacht dat de “nieuwe ervaringen” die de twee groepen noemen inhoudelijk sterk van elkaar verschillen. Ten tweede wordt verwacht dat cliënten uit de TA conditie over het algemeen vaker “nieuwe ervaringen” rapporteren dan cliënten uit de controleconditie.
Methode Deelnemers
De deelnemers werden geworven uit een steekproef van een reeds gepubliceerd randomized-controlled clinical trial (RCT) over TA en GFPTI als voortraject voor een behandeling van persoonlijkheidsstoornissen (de Saeger et al., 2014). Deze RCT liep van juni 2010 tot september 2012 op de Viersprong, een behandelcentrum gespecialiseerd in diagnostiek en behandeling van jongeren en volwassenen met persoonlijkheidsproblematiek en persoonlijkheidsstoornissen. Aan de RCT namen uiteindelijk 74 cliënten deel. De cliënten moesten voor de RCT van de Saeger et al. (2014) voldoen aan de volgende inclusie- en exclusiecriteria, die als gevolg ook voor dit onderzoek gelden. De cliënten moesten 18 jaar en ouder zijn. Cliënten met een geschat IQ van onder de 80 en/of taalproblemen werden van de studie uitgesloten. Daarnaast mocht er bij het begin van het onderzoek geen sprake zijn van acute psychiatrische symptomen zoals ernstige middelenafhankelijkheid of psychose.
Er werd uitgegaan van de veronderstelling dat tijd een negatieve invloed heeft op herinneringen en dat de cliënten die als laatste de interventies hadden doorlopen voor rijkere data zouden zorgen. Daarom werd er gekozen voor convenience sampling en zijn de cliënten die het laatst
deelnamen aan de RCT het eerst gevraagd om deel te nemen aan de huidige studie. Er werden dus uit elke conditie in teruglopende volgorde 15 cliënten gekozen die als laatste de interventies hadden gevolgd. Uit beide condities werden er 10 bereid gevonden. Van de 10 cliënten die niet deelnamen aan deze studie weigerden vijf de deelname en reageerden de resterende vijf cliënten noch op brief of voicemail. Van de 20 potentiële deelnemers was er één telefonisch niet meer te bereiken en één was op het tijdstip van dataverzameling op vakantie. Aan het onderzoek deden daarom uiteindelijk 18 cliënten mee, 10 uit de TA conditie en acht uit de GFPTI conditie. Cliënten ontvingen geen vergoeding voor hun deelname.
Interventies
De twee interventies zagen er als volgt uit: beide interventies bestonden uit vier sessies. In de TA conditie werden gedurende het gehele onderzoek de basisprincipes van TA zoals eerder omschreven in acht genomen. Tijdens de eerste sessie werden de onderzoeksvragen opgesteld en de MMPI-2 (Butcher, Dahlstrom, Graham, Tellegen & Kaemmer, 1989) afgenomen. De tweede sessie was gericht op het afnemen van de Rorschach (Exner, 2009), de derde sessie was gereserveerd voor een assessment intervention session, en in de laatste sessie werden de onderzoeksresultaten besproken.
GFPTI is gebaseerd op het protocol van het vijf-gesprekken model (Stoffer, 2001). Het protocol werd aan de cliëntenpopulatie van de Viersprong aangepast (de Saeger et al., 2014). Cliënten ontvingen een werkboek met huiswerkopdrachten en schriftelijke uitleg van het doel van elke sessie. Cliënten werden gedurende de gehele interventie aangemoedigd om over het voor hen meest centrale probleem na te denken. Concreet werd er aan ze gevraagd om over de volgende vraag na te denken: “Als uw behandeling succesvol zou zijn, welke problemen zou deze helpen op te lossen?” Deze problemen stonden vervolgens centraal in de volgende sessies. De focus van de eerste sessie was het aanpakken van demoralisatie en het bevorderen van hoop door het geven van psycho-educatie over de dynamiek van disfunctionele gedragingen en de mogelijkheid tot verandering. De
tweede sessie ging over het hoofdprobleem, dat de focus van de behandeling zou worden. De derde sessie ging over het dilemma van gedragsverandering en de betekenis hiervan voor de cliënt. Tijdens de laatste sessie lag de focus op een gezamenlijke her-evaluatie van de problemen en het stellen van doelen voor de komende weken tot aan het begin van de behandeling op de Viersprong.
Achtergrond van de onderzoekers
Het onderzoeksteam bestond uit Hilde de Saeger (HdS), klinisch psycholoog, psychotherapeut, werkzaam op de Viersprong centrum voor diagnostiek en behandeling van mensen met persoonlijkheidspathologie; Anna Bartak (AB), senior onderzoeker aan de Universiteit van Amsterdam en psychotherapeut in opleiding; Tessa Velthuis (TV) en Eva-Emily Eder (EE), allebei masterstudenten klinische psychologie; en ten slotte Jan-Henk Kamphuis (JHK), professor psychodiagnostiek persoonlijkheid en tevens klinisch psycholoog, psychotherapeut verbonden aan de Universiteit van Amsterdam.
Interview
Voor het semigestructureerde diepte-interview is een interviewleidraad ontwikkeld. Hiervoor werd zowel literatuur over diepte-interviews geraadpleegd als onderzoekers met ervaring op dit gebied gecontacteerd (Britten, 1995; Miles & Huberman, 1994). Vervolgens werd door drie van de onderzoekers (HdS, AB, JHK) een leidraad met open vragen ontwikkeld en is de afname hiervan geoefend, zie Bijlage 1. Hierbij bleek dat achtergrondkennis van de interventies een vereiste was om op de juiste onderwerpen door te kunnen vragen. Om die reden heeft vervolgens de eerste onderzoeker (HdS) de interviews afgenomen. De leidraad bestaat uit twee onderdelen. Ten eerste: een algemeen inleidend gedeelte waarbij aan de cliënt wordt gevraagd wat deze het meest is bijgebleven van de interventie. Ten tweede: een gedeelte waarbij open vragen met betrekking op vier thema’s aan bod komen, namelijk nieuwheid van de ervaring, sleutelmomenten, invloed van het voortraject op de navolgende behandeling en negatieve ervaringen. Praktisch zag het interview er als 11
volgt uit: de interviewer introduceerde zichzelf en lichtte kort toe wat de bedoeling van het interview was. Om de herinneringen van de cliënt op gang te helpen en verwarringen met de behandeling te vermijden, werd de cliënt vervolgens gevraagd of hij nog wist wat het voortraject inhield dat hij had ondergaan. Hierna begon het interview. De eerste open vraag luidde: “Als je nu terugkijkt naar je TA/GFPTI wat is je het meeste bijgebleven van deze interventie?” Vervolgens werd op de reacties van de cliënt ingegaan. Hierbij probeerde de interviewer om inhoudelijk dicht bij de ervaringen van de cliënt met TA/GFPTI te blijven door te concretiseren en samen te vatten wat de cliënt zei. Er werd duidelijk op gelet om de cliënt geen woorden in de mond te leggen. De eerste vier interviews zijn door de senior onderzoeker (JHK) gesuperviseerd. Hij adviseerde om in de volgende interviews nog dichter bij de ervaringen van de cliënt te blijven door de woorden van de cliënt te gebruiken. Ervaringen met TA/GFPTI die de cliënt op basis van de open vraag zelf aandroeg werden door de interviewer precies uitgevraagd totdat deze het gevoel had de ervaring van de cliënt te begrijpen. Wanner de cliënt uit zichzelf over een andere soort ervaring begon te praten, werd deze zoals eerder beschreven uitgevraagd door de interviewer. Als de cliënt echter niets nieuws wist te vertellen kwamen de vier onderwerpen van het tweede gedeelte van de leidraad aan bod. Om onvolledigheid in de dataverzameling te voorkomen werden deze vier onderwerpen altijd uitgevraagd ook als deze al eerder in het gesprek door de cliënt zelf werden genoemd. Vervolgens werd het interview afgerond en de cliënt bedankt voor zijn medewerking.
Procedure
De laatste 15 cliënten uit elke conditie kregen een brief met vraag tot deelname aan het huidige onderzoek samen met een informatiebrochure en een informed consent formulier thuisgestuurd. Ongeveer een week later werd door de onderzoeker telefonisch contact opgenomen met de cliënten om te achterhalen of deze de brief hadden ontvangen, of ze vragen hadden en eventueel al een beslissing hadden genomen om al dan niet mee te doen aan het onderzoek. Zo ja, dan werd er meteen een telefonische afspraak voor het interview vastgelegd. Aan de cliënten werd
gevraagd om het informed consent formulier voorafgaand aan het interview retour te sturen. Er werd duidelijk op gewezen dat dit interview alleen door kon gaan als het informed consent formulier ondertekend was ontvangen. Deze studie kende één meetmoment en dat was het semigestructureerde diepte-interview waarmee de ervaringen van cliënten in kaart werden gebracht. De semigestructureerde diepte-interviews (n=18) werden door de eerste onderzoeker (HdS) afgenomen. De meeste cliënten (n=17) waren op het moment van het interview niet meer in behandeling bij de Viersprong. Om deelname voor cliënten zo laagdrempelig mogelijk te maken is ervoor gekozen om het interview telefonisch af te nemen. Er is gekozen voor de Skypetelefoon omdat deze de mogelijkheid bied om de gesprekken met de MP3 Skype Recorder meteen op te nemen en op te slaan. De duur van de interviews was niet van tevoren vastgelegd. De interviews eindigden wanneer alle vragen van de leidraad waren gesteld en er geen nieuwe informatie meer naar voren kwam. De duur van de interviews in deze studie was tussen de 8 en de 27 minuten met een gemiddelde van ongeveer 17,5 minuten per interview.
Dataverzameling bij kwalitatieve studies gaat in principe net zo lang door tot verzadiging optreedt (Kuckartz, 2012; Miles & Huberman, 1994). Verzadiging betekent dat er tijdens de dataverzameling en data-analyse geen nieuwe informatie meer wordt aangetroffen (Miles & Huberman, 1994). Aangezien het erg moeilijk is om te voorspellen wanneer er verzadiging optreedt is het aantal deelnemers in deze studie uit pragmatische overwegingen vooraf bepaald. Hierbij werd rekening gehouden met het aantal deelnemers in soortgelijke studies (zie bijvoorbeeld Tamminga, de Boer, Verbeek, & Frings-Dresen, 2012; ten Napel-Schutz, Abma, Bamelis, & Arntz, 2011; Van der Heiden et al., 2013; Wittkampf et al., 2008). Na afloop van de studie werden de audiobestanden gewist en de geanonimiseerde transcripten op een veilige plek bewaard.
Analyse
Voor de data-analyse werden de principes van de kwalitatieve inhoudsanalyse (Kuckartz, 2012) gehandhaafd. Voor de transcriptie, codering en analyse van de interviews werd gebruik
gemaakt van MAXQDA 11 (Verbi GmbH, Marburg, Duitsland), een softwareprogramma voor kwalitatieve data analyse. Dit softwareprogramma is ontwikkeld door Udo Kuckartz en de eerste versie is gepubliceerd in 1989. Het idee achter het softwareprogramma is om kwalitatieve data-analyse overzichtelijker en systematischer te maken.
Ten eerste werden de opnames van de interviews door de twee masterstudenten (TV en EE) woord voor woord getranscribeerd. Een uitzondering hierop vormde de tot een cliënt herleidbare informatie, deze werd in de transcripten geanonimiseerd. Codeerregels en een sleutel voor tot de cliënt herleidbare informatie werden in een apart document opgeslagen. Dit document kon door beide onderzoekers worden aangevuld. Aansluitend werden de transcripten telkens door de tweede masterstudent gecontroleerd door de opnames te beluisteren en mogelijke fouten in de transcripten te verbeteren of onverstaanbare gedeeltes zo mogelijk aan te vullen.
Voor de analyse van de transcripten werd een gemengd deductieve-inductieve benadering gekozen. Hiervoor is gekozen om enerzijds met een zo onbevooroordeelde blik als mogelijk naar de ervaringen van cliënten te kijken (ten Napel-Schutz et al., 2011) en anderzijds het bestaande theoretisch kader over TA te integreren in de analyse (Kuckartz, 2012). Het eerste codesysteem werd aan de hand van de eerste twee interviews uit elke conditie ontwikkeld (interviews 1,2,3 & 5). Baserend op deze vier interviews hebben alle onderzoekers ieder apart een voorlopige codelijst opgesteld die redelijk dicht bij de tekst bleef. Het letterlijk overnemen van korte tekstfragmenten als codenamen wordt in MAXQDA ook wel in-vivo coderen genoemd. Het gehele proces, waarbij onderzoekers bepalen of fragmenten van een tekst relevant zijn voor het onderzoek en deze fragmenten een naam geven, wordt over het algemeen open coderen genoemd (Boeije, 2005). Dit werd opgevolgd door stappen die onder axiaal coderen vallen: de voorlopige codelijsten werden door een onderzoeker (AB) en een masterstudent (EE) in samenwerking samengevoegd. Hierbij werden overlappende codes samengevoegd en voorlopige definities voor de codes geformuleerd. De tweede student (TV) heeft het eindproduct kritisch bekeken en had geen aanvullingen. De volgende stap hield het systematisch ordenen van de codelijst in. Het doel was om op een abstracter niveau
overeenkomsten tussen de bestaande codes te vinden en zogenoemde hoofdcodes te creëren. De uit de transcripten gedistilleerde codes zouden dan als subcode onder een van de gecreëerde hoofdcodes vallen. Voor het ontwikkelen van hoofdcodes leent zich juist een deductieve benadering waarbij bestaande kennis over een onderzoeksgebied wordt toegepast (Kuckartz, 2012). Op het gebied van TA kan dat met name worden gebaseerd op voorkennis vanuit de AQ-2 (Finn, Schroeder & Tonsager, 1994). Vervolgens hebben de tweede onderzoeker (AB) en de tweede masterstudent (EE) daarom de AQ-2 geraadpleegd om de codelijst te ordenen en hoofdcodes te ontwikkelen. Een groot gedeelte van de bestaande codes bleek onder een van de vier hoofdcodes gebaseerd op de vier factoren van de AQ-2 te vallen. Voor de resterende codes van de lijst werden nieuwe overkoepelende termen bedacht. De tweede masterstudent (TV) heeft opnieuw het eindproduct kritisch bekeken en had geen aanvullingen. Hierna hebben de vier onderzoekers het nieuwe codesysteem besproken en werden de eerste vier interviews opnieuw door vier onderzoekers gecodeerd (HdS, AB, TV, EE), deze keer met het nieuwe codesysteem.Aansluitend zijn de eerste vier interviews door de vier onderzoekers besproken en werd bij afwijkende coderingen consensus bereikt door discussie. Tijdens deze bijeenkomsten werden de definities van codes bijgewerkt en zo nodig nieuwe codes toegevoegd. Tekstfragmenten die onder geen van de bestaande codes vielen werden als “overige” gecodeerd en tijdens de volgende bijeenkomst besproken. Op deze manier werden de eerste negen interviews gecodeerd. Hierna werd besloten om de volgende negen interviews door de twee masterstudenten apart te laten coderen (multiple coding) om de inter-beoordelaars betrouwbaarheid te kunnen berekenen. Ten eerste werden interviews 10 en 11 door de twee masterstudenten gecodeerd en de betrouwbaarheid berekend. Deze was lager dan nagestreefd en daarom werd besloten om deze twee interviews opnieuw gezamenlijk te bespreken en de codedefinities aan te passen en te verhelderen. Vervolgens hebben de twee masterstudenten interviews 12 tot en met 18 gecodeerd en werd over deze zeven interviews de inter-beoordelaars betrouwbaarheid berekend. Ten slotte werden deze zeven interviews besproken en consensus over bestaande discrepanties bereikt zodat uiteindelijk ook een gezamenlijke versie voor de laatste zeven
interviews ontstond. Ook na het berekenen van de betrouwbaarheid is er nog één veranderingen aan het codesysteem ondernomen: twee subcodes die te veel bleken te overlappen zijn samengevat onder de huidige subcode interesse tonen in persoonlijke geschiedenis en context. Dit is gebruikelijk bij kwalitatief onderzoek en sluit aan bij het betoog van Barbour (2001). Deze stelt dat het doel van de berekening van de inter-beoordelaars betrouwbaarheid in kwalitatief onderzoek met name in het bijwerken en verfijnen van het codesysteem en de codedefinities ligt.
Vervolgens werd op basis van de laatste versie van het codesysteem systematisch geanalyseerd welke thema’s door de cliënten werden genoemd en in hoeverre de kernthema’s van de twee interventies overeenkomen of verschillen, zie Bijlage 2 voor het codesysteem. Hiervoor werden met behulp van de Code Matrix Browser in MAXQDA de codeerfrequenties van hoofd- en subcodes per conditie achterhaald en vergeleken.
Om te onderzoeken of de nieuwe ervaringen die de twee groepen noemen inhoudelijk van elkaar verschillen werd met behulp van de Code Relations Browser in MAXQDA vastgesteld hoe vaak de code “nieuwe ervaring” samen voorkomt met één van de andere inhoudelijke codes. Ten slotte is er een onafhankelijke t-test uitgevoerd op de gemiddelde codeerfrequenties voor de code “nieuwe ervaring” om te kijken of TA over het algemeen vaker als vernieuwend wordt omschreven dan de controleconditie.
Resultaten Deelnemers
Van de in totaal 18 deelnemers was 10 vrouw en 8 man. De gemiddelde leeftijd van de cliënten ten tijde van het interview was 46,2 jaar (SD=10,1). De gemiddelde tijd die verstreken was tussen het einde van de interventie en het interview was 1,6 jaar (SD=0,5) met een minimum van 0,5 jaar en een maximum van 2,1 jaar. Aansluitend aan de interventie ontvingen twee cliënten een klinische behandeling van zes maanden, negen cliënten een klinische behandeling van drie maanden en zeven cliënten ontvingen een poliklinische behandeling. Van 14 van de 18 cliënten is bekend of en
in welk soort behandeling ze zich op het moment van het interview bevonden. Van deze 14 bevonden zich vijf in ambulante behandeling, twee in deeltijdbehandeling, vijf waren niet in behandeling, één volgde nabehandeling op de Viersprong en één ontving uitsluitend fysiotherapie.
Tabel 1.
Socio-demografische en klinische gegevens van de cliënten per conditie Conditie TA (n=10) GFPTI (n=8) Gemiddelde leeftijd 47.3 (11) 44.7 (9.4) Sekse Man 6 2 Vrouw 4 6
Gemiddelde tijd verstreken
sinds interventie (in jaren) 1.5 (0.56) 1.6 (0.46)
Nabehandeling op de Viersprong
Poliklinisch 6 1
Drie maanden klinisch 3 6
Zes maanden klinisch Behandeling ten tijde van het interview 1 1 Ambulant 4 1 Deeltijd 2 0 Nabehandeling op de Viersprong 0 1 Fysiotherapie 0 1 Geen behandeling 1 4 Onbekend 3 1 Interbeoordelaarsbetrouwbaarheid
Om te controleren dat het codesysteem door individuele onderzoekers op dezelfde manier wordt toegepast hebben de twee masterstudenten (TV, EE) afzonderlijk van elkaar zeven interviews gecodeerd (12 t/m 18). Deze interviews waren niet eerder gecodeerd en de masterstudenten (TV, EE) hebben de kale transcripties van de interviews als uitgangspunt genomen om met het individueel coderen te beginnen. Alle door de cliënten gemaakte opmerkingen die een relevante inhoud bevatten, dienden te worden gecodeerd. Deze manier van coderen levert meer coderingen op dan dat er terug te vinden zijn in de eindversies van de interviews, waar we onze resultaten uit hebben 17
gedestilleerd. De reden hiervoor is dat er in de laatste versies rekening werd gehouden met herhalingen, om de invloed van de persoonlijke spreekstijlen van de deelnemers zo klein mogelijk te houden en betekenis te kunnen ontlenen aan de frequentie waarmee een code is gecodeerd. Er werd bij het individueel coderen teruggevallen op de definitieomschrijvingen van de verschillende codes, en op de eerdere toepassing van het systeem in de interviews 1 tot en met 11. Er vond geen overleg tussen de onderzoekers plaats. De interbeoordelaarsbetrouwbaarheid is aansluitend berekend in MAXQDA. Deze is berekend met de methode segment agreement, welke de meest precieze en de meest gebruikte methode is in kwalitatief onderzoek (MAXQDA 11 Reference Manual, 2013). De twee afzonderlijk gecodeerde versies van interviews 12 tot en met 18 werden met elkaar vergeleken bij een segment agreement van 70%. Met de methode van segment agreement wordt ieder gecodeerd segment uit het document van de ene onderzoeker vergeleken met hetzelfde segment uit het document van de andere onderzoeker. Wanneer er in beide documenten voor dezelfde code gekozen is en die twee gecodeerde segmenten voor minimaal X% overlappen, is er sprake van agreement. Wanneer dit niet het geval is, signaleert MAXQDA een non-agreement. Wij hebben gekozen voor een overlapping van 70%. Dit om te garanderen dat de gecodeerde fragmenten in de kern overeen zouden komen. De door ons gevonden interbeoordelaarsbetrouwbaarheid per interview varieerde van 42% tot 100%, met een gemiddelde van 65%.
Ervaring van Cliënten
Uit de analyses kwamen negen hoofdcodes of zogenoemde kernthema’s naar voren welke onderverdeeld kunnen worden in twee groepen. Uit de codeerfrequenties blijkt dat vijf van de hoofdcodes door ten minste één van de condities 20 keer of vaker is genoemd, zie Grafiek 1. Deze belangrijkste hoofdcodes vormen de eerste groep: 1) nieuwe inzichten in persoonlijke dynamiek; 2) zelfvalidatie; 3) zich gesterkt voelen; 4) relationele aspecten; en 5) nieuwe ervaring. De resterende vier hoofdcodes zijn van geen van de twee condities vaker dan negen keer genoemd en nemen
hiermee een ondergeschikte positie in, voor de volledigheid worden deze ook kort toegelicht. De tweede groep ondergeschikte hoofdcodes bestaat uit de volgende hoofdcodes: 1) negatieve gevoelens over de interventie; 2) positieve gevoelens over de interventie; 3) praktische overwegingen; en 4) sleutelmoment. De verschillen tussen de condities deden zich zowel op hoofd- als op subcode niveau voor. Daarom zullen vervolgens de negen hoofdcodes worden besproken met betrekking van de subcodes. Hierbij zal worden ingegaan op de overeenkomsten en verschillen tussen de condities. De quotes zijn op één uitzondering na van cliënten uit de TA conditie en illustreren de voor TA specifieke aspecten ten opzichte van de controleconditie. De hoofdcode “nieuwe ervaring” zal als laatste worden besproken, omdat het de enige code is waarvoor ook een kwantitatieve analyse is uitgevoerd.
Grafiek 1. Codeerfrequenties van alle negen hoofdcodes per conditie.
0 10 20 30 40 50 60 Co de erf re qu en tie Hoofdcode TA GFPTI 19
Belangrijkste Hoofdcodes
Nieuwe inzichten in persoonlijke dynamiek. In deze studie hebben bijna alle cliënten aangegeven tijdens de interventie tot nieuwe zelfkennis te zijn gekomen. Hierbij kwamen vier subthema’s naar voren die omschrijven op welke manier iemand deze nieuwe inzichten in de persoonlijke dynamiek heeft verworven: 1) inzicht, 2) verdieping, 3) focussen en 4) ordenen van informatie en leggen van verbanden. Focussen en het ordenen van informatie en verbanden leggen werd door beide condities ongeveer even vaak genoemd. Cliënten uit de TA conditie noemden echter ongeveer twee keer vaker dan de controleconditie dat ze tijdens de interventies inzichten hadden opgedaan en verdieping hebben ervaren, zie Grafiek 2. Het ervaren van verdieping uitte zich voornamelijk in diepgaandere gesprekken en dichter bij zijn eigen emoties komen.
Grafiek 2. Codeerfrequentie van de vier subcodes inzicht, verdieping, focussen en verbanden
leggen(/organiseren van informatie) per conditie.
Box 1: Verwerven van nieuwe inzichten in persoonlijke dynamiek
Verdieping en inzicht
“P: Ja, op een gegeven moment toen ging het de diepte in en toen, ja, toen was ik even, even helemaal weg geloof ik (O: Hm-hm). En...ja, en toen werd er eigenlijk, op dat moment werd me duidelijk wat, wat, wat nou mijn problemen waren en wat mijn problematiek eigenlijk precies zat en hoe het precies zat. Eigenlijk viel, eigenlijk viel het kwartje toen.”
0 5 10 15 20 25
inzicht verdieping focussen verbanden leggen
Co de erf re qu en tie
Subcodes van de Code Nieuwe Inzichten in Persoonlijke Dyamiek
TA GFPTI
Zelfvalidatie. Dit is een hoofdcode die op één cliënt uit de controleconditie na, uitsluitend voorkomt bij cliënten uit de TA conditie, zie Grafiek 1. Voornamelijk cliënten uit de TA conditie hadden het gevoel dat de diagnosticus hun ervaringen accuraat weergaf en met behulp van de testen vaak de kern van de problematiek kon benoemen. Velen gaven aan dat ze verrast waren hoe doeltreffend de informatie was die de diagnosticus uit de testresultaten haalde, sommigen werden hier zelfs emotioneel van, zo treffend voelden zij zich gezien. Ook gaven zij aan dat het fijn was dat de testresultaten zo op hun waren toegespitst. Veel van de informatie bevestigden dingen waar cliënten al langer mee zaten, maar de resultaten leverden ook nieuwe informatie en inzichten voor cliënten. Daarnaast viel cliënten op dat niet alleen de testresultaten werden besproken, maar er ook bij werd stilgestaan wanneer er iets opvallends in contact met de diagnosticus gebeurde. De helft van de TA conditie noemde ook de brief, die ze na afloop hadden ontvangen. Cliënten waren positief over de brief en vonden dat deze de cliënt en zijn problematiek goed en duidelijk weergeeft en in een voor de cliënt begrijpelijke taal is geschreven. Een aantal van deze cliënten gaf aan om de brief tijdens de wachttijd als motivatie en naslagwerk te hebben gebruikt en deze nog steeds af en toe terug te lezen.
Box 2: Zelfvalidatie
Tijdens sessie
”En vanuit dat wat ik met Therapeut X heb gedaan...net meer wat verdieping in, in waar je dan echt tegenaan loopt en door die testen kwamen natuurlijk ook zaken naar voren als een bepaalde kwetsbaarheid en ook een bepaalde kracht en (O: Ja) dat vond ik net ja dat vond ik eigenlijk wel heel fijn dat dat er was ook voor de hoofdbehandelaar dat er net wat meer (O: Ja) bredere informatie kwam.”
Brief
“Ik vond dat, dat Therapeut X als een soort van, en levensverhaal en karakterschets, want die mix die was het (O: Jaa), mij leverde. Daar stond ik helemaal achter. (O: Ja) Dus dat was ik niet, dat was niet iets waarvan ik zei van nou daar herken ik me niet in of dat is niet goed. (O: Hm-hm) En nou dat maakte wel dat een heleboel dingen waar je altijd mee twijfelachtig rondloopt en altijd om je heen aan het kijken bent van hoe zit het nou, wat wordt er van mij gevonden, dat hoefde ik ineens niet meer, dat, want ik had het gewoon op papier staan.”
“P: Ja inderdaad, ik vond het heel belangrijk. En ik, ik ben ook heel blij dat, dat ik daarna nog een verslag gekregen heb, waar het precies in uitgewerkt is, dat ik later ook kon terugkijken van hoe zat het ook al weer en hoe is het daar uitgelegd, en, dat was ook heel prettig.
O: Oké. Kijkt u daar nog wel eens naar, naar dat verslag?
P: Ja toevallig, ja. Ja, eigenlijk wel ja. Om eigenlijk terug te pakken, vooral als ik een tijd het helemaal niet meer zie zitten, (ov) die therapie. En dat ik het helemaal niet meer zie zitten wat eigenlijk het nut van die therapie is. En was het nut van mijn leven is. En dan pak ik hem eigenlijk weer terug en dan heb ik zoiets van ja, ja, ja, het klopt weer.”
Zich gesterkt voelen. Bijna alle cliënten gaven aan zich op een of ander manier gesterkt te voelen door de interventie. Cliënten uit beide condities hadden het gevoel dat ze tijdens de interventie reeds eerste stappen konden zetten en ervoeren dit als positief. Daarnaast gaf een aantal cliënten ook aan dat ze door de interventie gemotiveerd waren geraakt voor de vervolgbehandeling en dat deze hun hoop gaf voor de toekomst. Maar er kwam op subcode niveau ook een duidelijk verschil tussen de condities naar voren. Cliënten uit de TA conditie rapporteerden aanzienlijk vaker aan zelfvertrouwen te hebben gewonnen dan cliënten uit de controleconditie, zie Grafiek 3. Vaak haalden deze cliënten juist een soort kracht uit de bevestiging dat ze een goede keuze hadden gemaakt met hun vraag om professionele hulp. Dit gaf ze vertrouwen en moed om hun “problemen in de ogen te kijken”.
Grafiek 3. Codeerfrequentie van de vier subcodes zelfvertrouwen, motivatie, hoop en een begin maken per
conditie.
Box 3: Zich gesterkt voelen
Zelfvertrouwen 0 2 4 6 8 10 12 14
zelfvertrouwen motivatie hoop een begin maken
Co de erf re qu en tie
Subcodes van de Code Zich Gesterkt Voelen
TA GFPTI
”Alleen ik had niet door dat...dat het heel anders kon gaan (O: Ja). Dus dat ik, dus dat ik ook als ik me bewust was, werd van mijn eigen doen en laten, en ook mezelf meer uitsprak, dat ik dan niet op de bank achter de televisie mezelf hoefde terug te trekken, te isoleren van mijn problemen. En dat ik dus wel mijn problemen recht in de ogen kan kijken en dat ik mijn volle verantwoording kan nemen.”
Relationele aspecten. Cliënten uit de TA conditie rapporteren bijna twee keer zo vaak ervaringen die te maken hebben met de relationele aspecten, zie Grafiek 1. Als men naar de inhoudelijke verschillen kijkt uitten cliënten uit de TA conditie bijna vier keer vaker echt te hebben samengewerkt met de therapeut en positieve gevoelens ten opzichte van hun relatie met de therapeut te hebben dan cliënten uit de controleconditie. Terwijl de cliënten uit de controleconditie de therapeut alleen als sturend omschrijven, hadden veel van de TA cliënten het gevoel als een gelijke zijn behandeld door te therapeut. Als nodig kon deze echter ook de juiste sturing geven. Cliënten uit beide condities gaven even vaak aan goede uitleg te hebben gekregen, maar met name cliënten uit de TA conditie gaven aan dat de therapeut veel interesse toonde in details van de persoonlijke geschiedenis en context van de cliënt.
0 2 4 6 8 10 12 14 16 18 interesse tonen in details van persoonlijke geschiedenis en context uitleg
samenwerken behandeldworden als een gelijke
ervaren
sturing gevoelens positieve mbt therapeut Co de erf re qu en tie
Subcodes van de Code Relationele Aspecten
TA GFPTI
Grafiek 4. Codeerfrequentie van de zes subcodes interesse tonen in details van persoonlijke geschiedenis en
context, uitleg, samenwerken, behandeld worden als een gelijke, ervaren sturing en positieve gevoelens met betrekking tot therapeut per conditie.
Box 4: Relationele aspecten
Samenwerken, behandeld worden als een gelijke en positieve gevoelens mbt therapeut
“P: Ja, er werd meer meer naar mij zelf gevraagd, naar eigen ervaringen en...ja, hoe ik zelf de dingen echt zie. (O: Jaa) In tegenstelling, wat ik in het verleden wel eens heb ervaren...als je dan je anamnese schetst, (O: Mm-hm) dat dan heel erg al gelijk stickertjes zeg maar geplakt worden. (O: Ja) Nu was het echt samen kijken, ik had echt het gevoel dat dat we het samen deden. (O: Oké) En dat vond ik, dat was voor mij een een prettige ervaring daarin.
O: Ja ja, en en waar, waar kon u dat samen zo ervaren?
P:...Dat ik merkte dat dat mijn ervaring daarin ook echt serieus werd genomen en (O: Jaa)...het samen bespreken van de uitslagen van de onderzoeken, (O: Jaa) of ik me daar dan wel of niet in kon herkennen...ja op het moment als ik mezelf een stukje er niet er herkende dat ik niet het gevoel kreeg, oh nu zie ik het verkeerd. (O: Oké) Dat we echt samen ernaar konden kijken. Dat...ja dat heb ik wel als heel positief ervaren.”
Interesse tonen in details van de persoonlijke geschiedenis en context
“O: Oké. En u zegt hè, begripvol, warme manier, niks was raar.
P: Ja. Ja, ik heb eigenlijk gewoon alles mogen zeggen wat ik wou zeggen. En ik heb ook het gevoel dat ik daar ook heel erg de ruimte voor kreeg.”
“P: …ik ben eigenlijk, destijds al en ook toen het eenmaal afgelopen was, was ik vooral verbaasd over de luxe die het mij toescheen.
O: Okée. En waar zat dan de luxe in voor u? P: Ja. (O: lacht) (P: lacht)
O: Want dat vind ik wel een heel mooi woord, dus dat maakt me dan weer nieuwsgierig.
P: Nou, de hoeveelheid aandacht die er gegeven is in die tijd. (O: Jaa) Het feit dat daar een, zo’n uitgebreid en goed verslag van gemaakt is. (O: Jaa) De hoeveelheid tests die ik toen gemaakt heb (O: Jaa). Dat was, het was eigenlijk hartverwarmend dat dat gebeurde. Dat vond ik, (P is geëmotioneerd) dat was eigenlijk niet acceptabel dat er zoveel aandacht uitging naar mij.
O: Okée. Dus het was echt een nieuwe ervaring voor u, die aandacht. P: Ja, dat was echt...het is nu nog teveel.”
O: ...Het lijkt ook alsof het u bijgebleven is, dat gevoel. P: Ja. Dat is ook zo.
O: Oké. Hoor ik dat goed dat het u lijkt te raken nu? P: Jawel hoor.
Ondergeschikte Hoofdcodes
Negatieve gevoelens over de interventie. Een aantal cliënten had kritiek op bepaalde aspecten van de interventies. Cliënten uit de TA conditie uitten meer dan twee keer vaker kritiek dan cliënten uit de controleconditie. De kritiek ging vooral over de hoeveelheid tests en dat cliënten het nut van de hoeveelheid tests of één specifieke test niet inzagen.
Positieve gevoelens over de interventie. Cliënten uit beide condities rapporteerden ongeveer even vaak positieve gevoelens over de interventie in zijn geheel, welke onder geen van de eerdere hoofdcodes vielen. Hierbij moet worden gedacht aan uitspraken zoals: “ja, ik heb daar een positief gevoel bij in z’n totaliteit”.
Praktische overwegingen. Deze hoofdcode kent twee subcodes: logistiek en overbruggen van de wachttijd. Terwijl deze hoofdcode door beide condities ongeveer even vaak is genoemd, blijkt er een groot verschil op subcode niveau. Cliënten uit de TA conditie rapporteerden bijna uitsluitend over logistieke aspecten, zoals het kennismaken met de werkwijze van de Viersprong. Cliënten uit de GFPTI conditie anderzijds rapporteerden juist bijna uitsluitend over het tweede aspect. Ze gaven veel vaker aan de interventie als prettig te hebben ervaren omdat deze een soort overbrugging van de wachttijd vormde dan cliënten uit de TA conditie.
Sleutelmoment. Cliënten uit de TA conditie rapporteren meer dan twee keer vaker een sleutelmoment te hebben gehad dan cliënten uit de controleconditie. Net als nieuwheid van de ervaring moest deze code altijd tezamen met een van de bovengenoemde codes worden gecodeerd. Hieruit blijkt dat de cliënten het vaakst een sleutelmoment in samenhang met het verwerven van nieuwe inzichten in de persoonlijke dynamiek noemden.
Box 5: Sleutelmoment (quote uit de controleconditie)
“Toen werd er ineens echt iets duidelijk waardoor meerdere puzzelstukjes op hun plaats voor mij kwamen te vallen.”
Nieuwe ervaring
Zoals eerder aangeduid werd deze code en de code “sleutelmoment” altijd gezamenlijk met een van de andere codes gecodeerd. De resterende codes geven namelijk eerder de inhoud van een tekstfragment weer terwijl “nieuwe ervaring” of “sleutelmoment” alleen een binaire optie omschrijven: een ervaring kan wel of niet nieuw of wel een of geen sleutelmoment zijn geweest, maar hieruit blijkt niet wat de inhoud van de nieuwe ervaring of het sleutelmoment is. Met de Code Relations Browser in MAXQDA werd daarom per conditie achterhaald hoe vaak “nieuwe ervaring” samenging met een van de andere codes, zie Grafiek 5 en 6. Hieruit blijkt dat de meeste nieuwe ervaringen uit de TA conditie (16 van 22) op de hoofdcode relationele aspecten laden, met name op de subcodes interesse tonen in details van de persoonlijke geschiedenis en context, samenwerken, behandeld worden als een gelijke, ervaren sturing en positieve gevoelens met betrekking tot de therapeut, zie Bijlage 4. De meeste nieuwe ervaringen uit de controleconditie (5 van 5) laden op de hoofdcode nieuwe inzichten in persoonlijke dynamiek, met nameop focussen en verbanden leggen en organiseren van informatie, zie Bijlage 5.
Grafiek 5. De verdeling van de code “nieuwe ervaring” over de inhoudelijke hoofdcodes voor de TA conditie.
nieuwe inzichten in persoonlijke dynamiek zelfvalidatie relationele aspecten praktische overwegingen overige 26
Grafiek 6. De verdeling van de code “nieuwe ervaring” over de inhoudelijke hoofdcodes voor de GFPTI
conditie.
Om te kijken of de TA conditie significant vaker “nieuwe ervaringen” rapporteerde dan de controleconditie is er een onafhankelijke t-test op de gemiddelden van de codeerfrequenties voor nieuwe ervaring uitgevoerd. Gemiddeld rapporteerden cliënten uit de TA conditie vaker aspecten die ze als nieuw hebben ervaren (M=2,20, SD = 1,32) dan cliënten uit de controleconditie (M = 1,25, SD = 1,04). Er werd voldaan aan de aanname van gelijke varianties, F(1, 16) =0,53, p > .05 (Field, 2009). Tegen de verwachting in is er echter geen significant effect gevonden, t(16) = 1,67, p > .05. Er was echter sprake van een medium effectgrootte r =.38. Hieruit kan geconcludeerd worden dat de condities niet significant verschillen in de aantallen nieuwe ervaring.
Discussie Belangrijkste Bevindingen
In deze kwalitatieve studie werden de ervaringen van cliënten met Therapeutic Assessment (TA) systematisch in kaart gebracht en vergeleken met een controleconditie. De ervaringen van de cliënten werden middels een semigestructureerd diepte-interview in kaart gebracht en volgens de principes van de kwalitatieve inhoudsanalyse geanalyseerd (Kuckartz, 2012). Er kwamen negen
nieuwe inzichten in persoonlijke dynamiek zelfvalidatie
zich gesterkt voelen
relationele aspecten
kernthema’s naar voren die de ervaring van cliënten met TA en de controleconditie GFPTI weergeven, waarvan de belangrijkste vijf vervolgens worden besproken.
Cliënten uit beide condities waren voornamelijk positief over de interventies. Ze gaven aan dat ze drie aspecten het meest belangrijk vonden: nieuwe inzichten in de persoonlijke dynamiek, relationele aspecten en zich gesterkt voelen. Deze resultaten zijn in lijn met eerdere literatuur en de verwachting dat de relatie met de therapeut als een kernthema van TA naar voren zou komen (Ackerman, 2000; Ackerman, Hilsenroth, Baity, & Blagys 2000; Allen et al., 2003; de Saeger et al. 2013; Hilsenroth, Peters, & Ackerman, 2004). Ook voor cliënten uit de controleconditie waren relationele aspecten belangrijk, maar op subcodeniveau waren er verschillen tussen de twee condities. Cliënten uit de TA conditie gaven vaker dan cliënten uit de controleconditie aan dat de therapeut interesse toonde in hun persoonlijke geschiedenis en context, ze het gevoel hadden samen te werken met de therapeut en dat ze positieve gevoelens met betrekking tot de therapeut hadden. Terwijl cliënten uit de controleconditie de therapeut alleen als sturend ervoeren, had een groot aantal van de TA cliënten het gevoel als een gelijke te zijn behandeld door de therapeut. Het laatste aspect bleek specifiek te zijn aan TA. Ook bij de kernthema’s nieuwe inzichten in persoonlijke dynamiek en zich gesterkt voelen deden zich op subcodeniveau verschillen tussen de condities voor. Zo noemden cliënten uit de TA conditie ten opzichte van cliënten uit de controleconditie meer inzichten te hebben opgedaan, meer verdieping te hebben ervaren en meer aan zelfvertrouwen te hebben teruggewonnen. Het vierde belangrijke kernthema was zelfvalidatie. Dit bleek vrij specifiek te zijn aan TA.
Cliënten uit de TA conditie omschreven met name de relationele aspecten als een nieuwe ervaring, terwijl cliënten uit de controleconditie met name het verwerven van nieuwe inzichten in de persoonlijke dynamiek als nieuwe ervaring rapporteerden. Dit is in lijn met de verwachting dat de inhoud van de nieuwe ervaringen tussen de twee interventies zou verschillen. Daarnaast rapporteerde de TA conditie meer dan twee keer vaker dan de controleconditie aspecten van de
interventies als nieuw te hebben ervaren. Tegen de verwachting in bleek dit verschil echter niet significant te zijn.
Sterke Punten en Beperkingen
Een aantal onderzoekers heeft kwaliteitscriteria opgesteld voor kwalitatief onderzoek (Bryman, 2008; Elliot, Fischer, & Rennie, 1999; Malterud, 2001). Deze criteria betreffen zowel het opzetten en uitvoeren van een onderzoek als de manier waarop een onderzoek gerapporteerd wordt. Om verschillende redenen voldoet deze studie niet aan alle criteria. Er vallen dus een aantal kanttekeningen te plaatsen.
Ten eerste bij het feit dat de interviews gemiddeld 1,5 jaar na afloop van de interventie werden afgenomen. Over het algemeen geldt dat het meteen ondervragen of observatie meer valide is dan interviews die achteraf worden afgenomen (Hak, 2007). Uiteindelijk zijn er veel factoren die in de 1,5 jaar tussen interventie en interview invloed kunnen hebben gehad op de herinneringen die een cliënt rapporteert. Een voor de hand liggende factor is de behandeling die cliënten aansluitend aan het voortraject op de Viersprong hebben ondergaan. Een probleem waar we vaker tegenaan liepen bij de interviews was dan ook dat cliënten het voortraject en de behandeling als een geheel zagen en het vaker over de aansluitende behandeling hadden. Om hier zo goed mogelijk voor te controleren werd er zowel bij aanvang van het interview als bij twijfels tijdens het interview duidelijk aangegeven dat de vragen alleen het voortraject betroffen. Als er ondanks deze voorzorgsmaatregels tijdens het interviewen bij het teruglezen van de transcripten nog steeds niet uitgesloten kon worden dat een bepaald stuk over de behandeling ging, werd dit stuk niet gecodeerd. Hoewel cliënten af en toe hulp nodig hadden om alleen op het voortraject te focussen, omschreven de meesten nog 1,5 jaar na afloop van het voortraject duidelijke en levendige herinneringen. Dit pleit ervoor dat de interventie inderdaad betekenisvol was voor de cliënten. In deze context is het van belang om te vermelden dat twee cliënten uit de controleconditie nauwelijks herinneringen aan de interventie hadden, terwijl alle TA cliënten heldere herinneringen rapporteerden. Dit verschil spiegelde zich ook
weer in een hoger aantal coderingen in de TA conditie (197 in totaal) ten opzichte van de controleconditie (115 in totaal).
Ten tweede was er bij dit onderzoek geen sprake van respondentvalidatie. Deze methode wordt vaak gebruik om de interne validiteit van een kwalitatieve studie te waarborgen (ten Napel-Schutz, Abma, Bamelis, & Arntz, 2011). Er waren echter goede redenen om in deze studie geen respondentvalidatie uit te voeren. Ten eerste waren er gemiddeld 1,5 jaar verstreken sinds de interventie en mochten we blij zijn dat voormalige cliënten zich bereid vonden om opnieuw mee te doen aan een vervolgonderzoek. De cliënten zouden niet extra belast worden door ook nog een keer feedback te moeten geven op ons werk. Ten tweede waren een aantal van de kernthema-namen mogelijk niet eenvoudig te begrijpen door cliënten zoals zelfvalidatie. Hierdoor zouden cliënten mogelijkerwijs niet in staat zijn geweest om aan te geven of de analyse van hun interviews uitdrukte wat zij tijdens het interview probeerden over te brengen. Op dit punt willen we ons aansluiten bij het betoog van Barbour (2001) dat puur het voldoen aan de kwaliteitscriteria uiteindelijk niet de kwaliteit van een onderzoek kan garanderen. Ieder onderzoek kent zijn eigen moeilijkheden en daarmee samengaande beperkingen, maar het belangrijkst is een grondige houding van het onderzoeksteam en een goed begrip van kwalitatieve onderzoeksmethoden. De laatste aspecten zijn daarom een voorwaarde voor goed kwalitatief onderzoek terwijl de kwaliteitscriteria uiteindelijk puur hulpmiddelen zijn.
Ten derde is onduidelijk in hoeverre de resultaten van deze studie generaliseerbaar zijn. Het handelt zich om een vrij specifieke cliëntenpopulatie en bovendien was er bij deze studie sprake van convenience sampling waardoor de gekozen cliënten mogelijk niet representatief zijn voor deze populatie. Het doel van deze studie was echter voornamelijk om op dit nieuwe onderzoeksgebied hypotheses te genereren voor vervolgonderzoek. Toekomstig onderzoek zal dan ook moeten uitwijzen in hoeverre de resultaten van deze studie generaliseerbaar zijn en als dit het geval is, of er bijvoorbeeld verschillen tussen bepaalde cliëntpopulaties bestaan.
Deze studie kent echter ook een aantal sterke punten. Ten eerste werd er in deze studie gebruik gemaakt van MAXQDA 11. Middels dit softwareprogramma konden we gestructureerd te werk gaan en efficiënt communiceren. Daarnaast waren we door de mogelijkheid tekstfragmenten makkelijk terug te vinden en te kunnen corrigeren minder geneigd om ons voortijdig neer te leggen bij de resultaten, een veel voorkomende valkuil bij kwalitatief onderzoek waarvoor Miles en Huberman (1994) waarschuwen. Ten tweede stelde dit softwareprogramma ons in staat om de interbeoordelaarsbetrouwbaarheid te berekenen. Hierdoor is het mogelijk om de betrouwbare toepassing van het codesysteem uit te drukken in een objectief getal. Hoewel nog onduidelijk is hoeveel belang aan dit getal moet worden gehecht, heeft het berekenen van de betrouwbaarheid er in ieder geval voor gezorgd dat we het codesysteem en de codedefinities nog een keer kritisch onder de loep hebben genomen en hebben bijgewerkt (Barbour, 2001). Ten derde kenmerkt zich deze studie door een grondige aanpak. Alle interviews zijn ten minste één keer door vier onderzoekers apart gecodeerd en één keer door dezelfde vier onderzoekers gezamenlijk besproken.
Bevindingen in het Licht van Bestaande Literatuur
Deze studie liet voor het eerst zien dat cliënten, de aan TA ten grondslag liggende principes spontaan als belangrijk onderdeel van hun interventie rapporteren. De relationele principes van samenwerking tussen cliënt en diagnosticus en het onderhouden van empathische connecties (Finn & Tonsager, 1997) werden door de cliënten opgemerkt en gewaardeerd. Uit de onderzochte cliëntengroep heeft 80% voorafgaande aan het onderzoek meer dan 5 jaar therapie gehad. Het is dus opmerkelijk dat de TA cliënten uit deze therapie ervaren cliëntengroep, de relationele aspecten als een nieuwe ervaring omschrijven, met name het interesse tonen in details van de persoonlijke geschiedenis en context, behandeld worden als een gelijke en samenwerken, terwijl dat niet het geval is bij de controleconditie. Hieruit blijkt dat zich de aan TA inherente methodiek en benadering van de cliënt ook voor therapie ervaren cliënten duidelijk waarneembaar onderscheidt van andere
behandelingen en diagnostiek. Dit onderbouwd de notie van TA als een eigen methodiek met een humanistische achtergrond (Finn & Tonsager, 2002).
In een breder perspectief steunen de resultaten van deze studie ernaast het betoog van Kazdin (2005). Deze zet uiteen dat verschillen in effectiviteit tussen twee behandelcondities niet per se te wijten zijn aan specifieke factoren van een behandeling, maar ook op verschillen in algemene factoren kunnen berusten. Om een voorbeeld te noemen: het kernthema relationele aspecten lijkt op de meest onderzochte algemene therapiefactor de therapeutische alliantie (bv. Horvath & Bedi, 2002). Terwijl dit kernthema in beide condities een belangrijke plek inneemt werden er in de subcategorieën duidelijke verschillen tussen de condities gevonden, wat betekent dat er bij een gedeelde factor wel degelijk sprake kan zijn van variatie in inhoud tussen de condities. Vergeleken met de resultaten van de voorafgaande studie van de Saeger et al. (2014) geeft dit voorbeeld ook blijk van de toegevoegde waarde van kwalitatief onderzoek. De Saeger et al. (2014) vonden dat de cliënten uit de TA conditie na afloop van de interventie een sterkere alliantie met hun diagnosticus rapporteerden dan de cliënten uit de controleconditie. Hieruit wordt duidelijk dat er verschillen in therapeutische alliantie tussen de condities waren, maar niet hoe deze verschillen tot stand kwamen of waaruit deze verschillen precies bestonden. Het beantwoorden van deze vragen is uiteindelijk afhankelijk van de interpretatie van de onderzoeker. Deze kwalitatieve studie liet echter minder ruimte over voor (mis)interpretatie (Kracauer, 1952). Doordat cliënten zelf aan het woord kwamen, formuleerden zij het antwoordop de onderzoeksvraag praktischzelf.
Conclusie en Klinische Implicaties
Uit deze studie valt te concluderen dat cliënten een goede samenwerkingsrelatie met een therapeut die interesse toont, het verwerven van nieuwe inzichten in de persoonlijke dynamiek en zich gesterkt voelen ook tijdens de diagnostische fase zeer waarderen. Het lijkt erop dat TA in vergelijking met een controle-interventie meer mogelijkheden biedt tot inzicht, verdieping en het (terug) winnen van zelfvertrouwen. Mogelijk is dat een gevolg van de relationele aspecten die
specifiek zijn aan TA zoals het interesse tonen in details van de persoonlijke geschiedenis en context van de cliënt, behandeld worden als een gelijke en het samenwerken van cliënt en diagnosticus. Terwijl therapeuten zich tegenwoordig over het algemeen op deze factoren zullen richten is de taak van de traditionele diagnosticus om zich zo neutraal mogelijk op te stellen en zo objectief mogelijke onderzoeksresultaten te verkrijgen. Hierdoor mist de diagnostische fase juist die aspecten, die in de ervaringen van de cliënten van deze studie als meest belangrijk naar voren kwamen. Deze informatie is relevant voor de diagnosticus, welke op basis van deze resultaten goed zou moeten nadenken over de context en doeleinden van elk psychologisch onderzoek. Situatieafhankelijk zou deze dan een actievere rol kunnen aannemen en zich niet moeten beperken tot de rol van objectieve observator.
Literatuur
Allen, A., Montgomery, M., Tubman, J., Frazier, L., & Escovar, L. (2003). The effects of assessment feedback on rapport-building and self-enhancement processes. Journal of Mental Health Counseling, 25, 165-181.
Barbour, R. S. (2001). Checklists for improving rigour in qualitative research: a case of the tail wagging the dog? British Medical Journal, 322, 1115-1117.
Boeije, H. R. (2005). Analyseren in kwalitatief onderzoek: denken en doen. Amsterdam: Boom onderwijs.
Britten, N. (1995). Qualitative interviews in medical research. British Medical Journal, 311, 251-253.
Bryman, A.E. (2008). Social Research Methods. Oxford: Oxford University Press.
Butcher, J. N., Dahlstrom, W. G., Graham, J. R., Tellegen, A., & Kaemmer, B. (1989). MMPI-2: Manual for administration and scoring. Minneapolis: University of Minnesota Press.
de Saeger, H., Kamphuis, J. H., Finn, S. E., Smith, J. D., Verheul, R., van Busschbach, J. J., Feenstra, D. J., & Horn, E. K. (2014). Therapeutic Assessment promotes treatment readiness but does not affect symptom change in patients with personality disorders: findings from a randomized clinical trial. Psychological Assessment. doi:10.1037/a0035667
Elliott, R., Fischer, C.T, & Rennie, D.L. (1999). Evolving Guidelines for Publication of Qualitative Research Studies in Psychology and Related Fields. British Journal of Clinical Psychology, 38, 215-229.
Exner, J. E., Jr. (2009). A Rorschach workbook for the comprehensive system (5th ed.). Ashville, NC: Rorschach Workshop.
Field, A. (2009). Discovering statistics using SPSS (3rd ed.). Los Angeles, CA: SAGE.
Finn, S. E. (2007). In our clients’shoes: theory and techniques of Therapeutic Assessment. New York, NY: Psychology Press.
Finn, S. E. (1996). Manual for using the MMPI-2 as a therapeutic intervention. Minneapolis: University of Minnesota Press.
Finn, S. E., Schroeder, D. G., & Tonsager, M. E. (1994). The assessment questionnaire-2 (AQ-2): A measure of clients’ experiences with psychological assessment. Unpublished Manuscript.
Finn, S. E., & Tonsager, M. E. (1992). Therapeutic effects of providing MMPI-2 test feedback to college students awaiting therapy. Psychological Assessment, 4, 278-287.
Finn, S. E., & Tonsager, M. E. (1997). Information-gathering and therapeutic models of assessment: Complementary paradigms. Psychological Assessment, 9, 374-385.
Finn, S. E., & Tonsager, M. E. (2002). How Therapeutic Assessment became humanistic. The Humanistic Psychologist, 30, 10-22.
Fischer, C.T. (2006). Qualitative psychological research and individualized/collaborative psychological assessment: Implications of their similarities for promoting a life-world orientation. The Humanistic Psychologist, 34, 347-356.
Hak, T. (2004). Waarnemingsmethoden in kwalitatief onderzoek. Huisarts en Wetenschap, 47, 205-212.
Hilsenroth, M. J., Peters, E. J., & Ackerman, S. J. (2004). The development of therapeutic alliance during psychology assessment: patient and therapist perspectives across
treatment. Journal of Personality Assessment, 83, 331-344.
Horvath, A. (2001). The alliance. Psychotherapy, 38,365-372.
Horvath, A. O., & Bedi, R. P. (2002). The alliance. New York: Oxford University Press.
Horvath, A. O., & Symonds, B. D. (1991). Relation between working alliance and outcome in psychotherapy: A meta-analysis. Journal of Counseling Psychology, 38, 139-149.
Kazdin, A. E. (2005). Treatment outcomes, common factors, and continued neglect of mechanisms of change. Clinical Psychology: Science and Practice, 12, 184-188. doi:10.1093/clipsy/bpi023
Kracauer, S. (1952). The challenge of qualitative content analysis. Public Opinion Quarterly, 16, 631-642.
Kuckartz, U. (2012). Qualitative Inhaltsanalyse. Methoden, Praxis, Computerunterstuetzung. Weinheim und Basel: Beltz Juventa.
Kuckartz, U. (2014). MAXQDA 2014 reference manual for Windows (J. Poppe, Trans.). Marburg, Germany: Verbi Software.
Malterud, K. (2001). Qualitative research: standards, challenges, and guidelines. The Lancet, 358, 483-488.
Martin, D. J., Garske, J. P., & Davis, M. K. (2000). Relation of the therapeutic alliance with outcome and other variables: A meta-analytic review. Journal of Consulting and Clinical Psychology, 68, 438-450.
Miles, M. B., & Huberman, A. M. (1994). Qualitative data analysis: An expanded sourcebook (2nd ed.). Thousand Oaks, CA: Sage.
Philipsen, H., & Vernooy-Dassen, Myrra (2004). Kwalitatief onderzoek: nuttig, onmisbaar en uitdagend. Huisarts en Wetenschap, 47, 288-292.
Poston, J. M., & Hanson, W. M. (2010). Meta-analysis of psychological assessment as a therapeutic intervention. Psychological Assessment, 22, 203-212.
Stoffer, R. (2002). Het vijf-gesprekkenmodel in de praktijk. Psychopraxis, 4, 47-51.
ten Napel-Schutz, M. C., Abma, T. A., Bamelis, L., & Arntz, A. (2011). Personality disorder patients‘ perspectives on the introduction of imagery within schema therapy: A qualitative study of patients’ experiences. Cognitive and Behavioral Practice, 18, 482-490.
Tamminga, S. J., de Boer, A. G. E. M., Verbeek, J. H. A. M., Frings-Dresen, M. H. W. (2012). Breast cancer survivors’ views of factors that influence the return-to-work process – a qualitative study. Scandinavian Journal of Environment and Health, 38, 144-154.
Van der Heiden, S., Gebhardt, W. A., Willemsen, M. C., Nagelhout, G. E., & Dijkstra, A. (2013). Behavioural and psychological responses of lower educated smokers to the smoke-free legislation in Dutch hospitality venues: A qualitative study. Psychology & Health, 28, 49-66.
van Zwieten, M., & Willems, D. (2004). Waardering van kwalitatief onderzoek. Huisarts en Wetenschap,47, 631-635.
Wittkampf, K. A., van Zwieten, M., Smits, F. T., Schene, A. H., Huyser, J., & van Weert, H. C. (2008). Patients’ view on screening for depression in general practice. Family Practice, 25, 438-444.
