1
Vaststellen van Treatment Integrity met zelfrapportage van patiënten
de Treatment Integrity Scale (TIS) in een onderzoek naar Schema Therapie
Universiteit van Amsterdam
Faculteit der Maatschappij- en Gedragswetenschappen
Auteur: Laura Wilderom
Studentnummer: 6340601/10000367
Email: laura.wilderom@student.uva.nl Begeleider: Arnoud Arntz
2 Inhoudsopgave Abstract ... 3 1. Inleiding ... 4 1.1 Onderzoeksvraag ... 5 1.2 Relevantie ... 5 1.3 Structuur These ... 6 2. Theoretisch kader ... 7 2.1 Treatment Integrity ... 7 2.2 ST bij BPS ... 13 2.3 TAU bij BPS ... 13 2.4 ST versus TAU ... 13 2.5 De TIS ... 14 2.6 Hypotheses ... 14 3. Methode ... 15 3.1 Deelnemers ... 15 3.2 Materiaal ... 15 3.3 Procedure ... 16 3.4 Analyses ... 16 4. Resultaten ... 188
4.1 Algemene gegevens deelnemers ... 188
4.2 Exploratieve factoranalyse ... 188 4.3 Betrouwbaarheidsanalyse ... 2221 4.4 Onafhankelijke T-toets ... 233 5. Discussie ... 266 5.1 Resultaten ... 266 5.2 Beperkingen ... 277 5.3 Theorie ... 288 5.4 Conclusie ... 288 5.5 Aanbevelingen ... 299 Literatuur ... 31 Bijlages ... 355
3
Abstract
In onderzoeken naar de effectiviteit van behandelingen wordt de mate van Treatment Integrity (TI) vaak niet of niet correct vastgesteld, waardoor er gezocht wordt naar alternatieve
methodes. Het gebruikte onderzoek is van Wetzelaer et al. (2014) naar de effectiviteit van Schema Therapie (ST) bij de Borderline persoonlijkheidsstoornis (BPS). Onderzocht is of de Treatment Integrity Scale (TIS), een zelfrapportagelijst voor patiënten, een valide vragenlijst is en kan differentiëren tussen ST en Treatment As Usual (TAU). De helft van de 234
deelnemers kreeg of groep ST of een combinatie van individuele en groep ST, de andere helft TAU. De TIS bleek te kunnen differentiëren tussen ST en TAU. De gevonden resultaten dragen bij aan het vergemakkelijken van het vaststellen van de mate van TI in onderzoek naar de effectiviteit van behandelingen.
Sleutelwoorden: treatment integrity, treatment integrity scale, behandeldifferentiatie, schema therapie, borderline persoonlijkheidsstoornis
4
1. Inleiding
Mentale stoornissen vormen een probleem bij een groot aantal mensen. In Europa rapporteert 25.9% van de mensen een lifetime mentale stoornis en de 12-maands prevalentie ligt op 11.5% (Alonso, & Lepine, 2007). In de Verenigde Staten liggen deze cijfers hoger en wordt de lifetime prevalentie geschat op 46.4% en de 12-maands prevalentie op 30% (Kessler et al., 2005; Kessler, Chiu, Demler, Walters, 2005). Er is dus een groot aantal mensen dat nu of ooit last heeft van een mentale stoornis, en voor een groot deel van deze mensen is er behandeling nodig. De werking van therapieën wordt onderzocht door middel van het uitvoeren van randomised clinical trials (RCT’s) om zo aan te tonen dat verandering in een afhankelijke variabele (bijvoorbeeld de mate van aanwezigheid van de Borderline
persoonlijkheidsstoornis) het directe resultaat is van systematische manipulatie van een onafhankelijke variabele (bijvoorbeeld Groep Schema Therapie). Om vervolgens conclusies te kunnen trekken over de werkzame componenten van een behandeling dient er echter zekerheid te zijn dat de behandeling zo gegeven is als deze bedoeld was (Marks & Tolsma, 1986; Yeaton & Sechrest, 1981). De term die hiervoor gebruikt wordt is treatment integrity (TI), ook wel treatment fidelity of procedural reliability genoemd (Billingsley, White, & Munson, 1980; Gresham, 1989, 2004; Gresham, MacMillan, Beebe-Frankenberger, & Bocian, 2000; Lane, Bocian, MacMillan, & Gresham, 2004; Moncher & Prinz, 1991; Vermilyea, Barlow, & O’Brien, 1984). De term treatment integrity (TI) zal in de rest van deze these gebruikt worden.
TI procedures worden in een zeer klein deel van de onderzoeken op een juiste manier geïmplementeerd. Uit onderzoek van Perepletchikova, Treat en Kazdin (2007) blijkt dat dit in slechts 3.5% van de 147 geëvalueerde onderzoeken gebeurt. Het ging hierbij om
psychotherapieën die gepubliceerd zijn in tijdschriften met een hoge impact. Hoewel het vaststaat dat het testen van interventies onmogelijk is zonder te kijken of de interventie gedaan is zoals deze ontworpen is, wordt deze vorm van TI slechts in 3.5% van alle
behandelingen op een goede manier vastgesteld. Onderzoekers zien de tijd, kosten, moeite en obstakels die het vaststellen van de mate van TI met zich meebrengt als redenen om dit niet te doen (Perepletchikova, Hilt, Chereji & Kazdin, 2009). Daarbij is er een gebrek aan algemene kennis over TI en zijn er geen eisen aan het vermelden van TI procedures in publicaties. Er zijn dus meerdere factoren die eraan bijdragen dat de mate van TI vaak niet (op een correcte manier) wordt vastgesteld. Om deze reden is het van belang te onderzoeken of er methodes zijn die kunnen bijdragen aan het vaker vast worden gesteld van de TI.
De focus op TI in tijdschriften en op wetenschappelijke conferenties is toegenomen dankzij artikelen van onderzoekers als Perepletchikova et al. (2007) en Gearing et al. (2011). Onderzoekers hebben tijdschriften aangespoord de TI op te nemen en moedigen de presentatie van TI data aan in ingestuurde manuscripten, en dan voornamelijk in de resultaten van RCT’s (Bellg et al., 2004; Dusenbury et al., 2003; Perepletchikova et al., 2007). Een onderzoek waar het vaststellen van de mate van TI hoog in het vaandel staat is het onderzoek van Wetzelaer et al. (2014). Hierin wordt onderzocht wat de klinische effectiviteit van is van Groep Schema Therapie (GST) bij patiënten met een Borderline persoonlijkheidsstoornis (BPS) in
5 combinatie van GST met Individuele Schema Therapie (IST) voor meer effect zorgt dan GST alleen. De onderzoekers moeten de mate van TI vaststellen om conclusies te kunnen trekken over de resultaten die zij vinden.
Normaliter wordt de TI op een directe manier vastgesteld (Perepletchikova, 2011). De mogelijkheden hiervoor zijn observatie en video/audio opnames. Optioneel kan indirecte vaststelling hier aan worden toegevoegd, waarbij de therapeuten na elke sessie een checklist invullen die gaat over procedures van de behandeling. Bij een dergelijke checklist hebben de therapeuten dan bij iedere vraag de mogelijkheid om een toelichting te geven (zie ook figuur 1). Het maken van audio- of video opnames om de behandeldifferentiatie vast te stellen bleek in het onderzoek van Wetzelaer et al. (2014) op veel plaatsen onmogelijk vanwege ethische en logistieke redenen die het maken van opnames van TAU t.b.v. het onderzoek in de weg
stonden. De onderzoekers hebben getracht dit probleem op te lossen door de deelnemers een vragenlijst, de Treatment Integrity Scale (TIS), in te laten vullen over technieken die typisch en niet-typisch zijn voor Schema Therapie (ST).
1.1 Onderzoeksvraag
In dit onderzoek staat het onderzoeken van de validiteit van de TIS centraal. De vraag die hiermee gepaard gaat is of de TIS, een vragenlijst die ingevuld wordt door patiënten, kan differentiëren tussen ST en TAU. Deze differentiatie wordt vastgesteld door te kijken naar het verschil in de hoeveelheid ST-technieken die gebruikt zijn tijdens ST en TAU. De TIS kan differentiëren tussen ST en TAU als de scores van de deelnemers in de ST-conditie op de TIS hoger zijn dan de scores van de deelnemers in de TAU conditie. Mocht er uit de resultaten blijken dat er gedifferentieerd kan worden tussen twee verschillende behandelingen door middel van een vragenlijst die in wordt gevuld door patiënten dan zal dit verdere implicaties hebben voor het vaststellen van de TI in de toekomst.
1.2 Relevantie
Er zouden veel kosten en tijd kunnen worden bespaard als de mate van behandelingsdifferentiatie, een onderdeel van de TI, kan worden vastgesteld met een vragenlijst die ingevuld wordt door deelnemers. De mate van TI wordt in onderzoeken nu vaak helemaal niet of op een niet-correcte manier vastgesteld. Het gebruiken van een
vragenlijst voor patiënten om de behandelingsdifferentiatie vast te stellen zorgt ervoor dat er meer tijd en geld overblijft om de andere onderdelen van TI vast te stellen, waardoor mogelijk meer onderzoekers de TI opnemen in hun onderzoek.
Daarnaast stelt de theorie dat de drie onderdelen van TI (therapietrouw, bekwaamheid van de therapeut en de behandelingsdifferentiatie) alleen op een directe manier kunnen worden vastgesteld door middel van observaties en opnames of op een indirecte manier door therapeuten die checklists invullen (Perepletchikova, 2011). Het valide zijn van de TIS zou betekenen dat er aan de theorie kan worden toegevoegd dat de differentiatie ook kan worden vastgesteld met een vragenlijst ingevuld door patiënten. Daarnaast zou dit betekenen dat de veronderstelling dat patiënten niet gebruikt kunnen worden bij het vaststellen van de TI, niet klopt. Het idee was dat dit niet mogelijk zou zijn omdat zij niet over de kennis en training zouden beschikken die hiervoor nodig is (Waltz, Addis, Koerner, & Jacobson, 1993).
6 Wanneer de TIS valide blijkt te zijn, wijst dit erop dat cliënten gezien kunnen worden als experts betreffende de behandeldifferentiatie van de behandelingen die zij ondergaan zijn.
1.3 Structuur These
In het volgende hoofdstuk wordt het theoretische kader geschetst waarin de
belangrijkste begrippen TI, ST bij Borderline, TAU bij Borderline en de TIS zullen worden toegelicht. Hoofdstuk 3 gaat over de methodologie waarin vermeld wordt welke deelnemers, procedure en analyses er gebruikt zijn in dit onderzoek. In hoofdstuk 4 zullen de gevonden resultaten beschreven worden. In hoofdstuk 5 zullen deze resultaten vervolgens besproken worden, waarbij de beperkingen van het onderzoek gegeven zullen worden, er gekeken wordt in hoeverre de hypotheses worden ondersteund door de bevindingen, de algemene conclusie van het onderzoek gegeven wordt met daarbij de aanbevelingen voor toekomstig interviews. Ten slotte zal de literatuurlijst vermeld worden.
7
2. Theoretisch kader
2.1 Treatment Integrity
TI bestaat uit drie verschillende aspecten: de treatment adherence ofwel
therapietrouw, de bekwaamheid van de therapeuten en de differentiatie van de behandeling (Margison et al., 2000; Waltz, Addis, Koerner, & Jacobson, 1993). Therapietrouw gaat over de mate waarin de therapeut de voorgeschreven procedures heeft gebruikt. De bekwaamheid van een therapeut is het niveau van de vaardigheden en het beoordelingsvermogen van de therapeut die de behandeling geeft (Barber et al., 2006; Barber, Sharpless, Klostermann, & McCarthy, 2007; Barber, Triffeleman, & Marmar, 2007; Perepletchikova et al., 2007). Behandelingsdifferentiatie is de mate waarin de behandelingen die onderzocht worden van elkaar verschillen op belangrijke dimensies die essentieel zijn in de uitvoering van die behandelingen (Perepletchikova et al., 2007; Waltz, Addis, Koerner, & Jacobson, 1993).
Er zijn verschillende procedures om een hoge mate van TI te kunnen bewerkstelligen als te zien in tabel 1 (Perepletchikova, Hilt, Chereji & Kazdin, 2009; Perepletchikova & Kazdin, 2005). Voorbeelden hiervan zijn duidelijke definities van TI aspecten, operationele definities van interventies, training van de therapeuten, supervisie van de therapeuten, het weergeven van psychometrische eigenschappen van metingen en een accurate data representatie. Daarnaast zijn er richtlijnen voor het vaststellen van de mate van TI en methodes om de TI te beoordelen, te controleren voor metingreactiviteit en om de data te rapporteren.
De regels om te bepalen wanneer de mate van TI hoog genoeg is zijn arbitrair omdat er nog geen gangbaar criterium voor de voldoende mate van TI is vastgesteld. Verwachten dat de implementatie perfect of bijna perfect zal zijn, is onrealistisch. Perepletchikova (2011) heeft een indeling ontwikkeld waarbij de procedures die gebruikt kunnen worden om een hoge mate van TI te behalen, die ingedeeld zijn in niveaus als te zien in figuur 1. De literatuur suggereert dat niveau 4 het aanbevolen niveau is voor de eisen aan een RCT (Carroll & Nuro, 2002; Gresham, Donald, MacMillan, Beebe-Frankenberger, & Bocian, 2000; Schlosser, 2002; Waltz, Addis, Koerner, & Jacobson, 1993).
Elk volgend niveau bouwt verder op procedures van de voorgaande niveaus dus om aan niveau 4 te voldoen is het nodig dat er (a) een specifieke behandelingshandleiding is, de therapeuten direct en indirect getraind worden en dat er doorlopende supervisie en monitoring is over het geven van de behandeling, (b) een indirecte vaststelling is van therapietrouw en bekwaamheid, de data gerapporteerd wordt in termen van algemene therapietrouw en
bekwaamheid en dat de gerapporteerde data informatief is over de mate van TI, (c) een directe vaststelling is van therapietrouw en bekwaamheid, een representatieve steekproef wordt getrokken van de data over therapeuten, fases, deelnemers, situaties en sessies, er training is voor de beoordelaars en dat de interbeoordelaarsbetrouwbaarheid wordt vastgesteld en dat er (d) zowel directe als indirecte vaststelling is van therapietrouw en bekwaamheid, dat de assessmentmetingen goede psychometrische eigenschappen hebben en dat de
8 Tabel 1
Richtlijnen voor de implementatie van TI procedures (uit: Perepletchikova, 2011)
Beschrijving
TI procedure Therapietrouw Bekwaamheid therapeut Behandelingsdifferentiatie Definities van TI
aspecten
Mate van gebruik van de gespecificeerde procedures en mate van te vermijden voorgeschreven procedures
Niveau van de vaardigheden en het beoordelingsvermogen in het doen van de interventies
Verzekeren dat de behandelingen die onderzocht worden van elkaar verschillen op belangrijke dimensies Operationele
definitie van interventies
Specifieke behandelingshandleiding die informatie bevat over een theoretische basis van de interventies, rationales voor de therapietrouw specificeert, uitspraken voorschrijft die gemaakt kunnen worden door therapeuten, karaktereigenschappen beschrijft voor het behandelproces en de volgorde van de technieken voorschrijft, voorbeelden van handelingen in de behandeling verschaft en procedures beschrijft voor afwijkingen van de handelingen
Beschrijving van procedures omvat richtlijnen voor goede implementatie en biedt gelegenheid voor het flexibel toepassen van taken
Behandelingshandleiding beschrijft procedures, taken en activiteiten die vermeden moeten worden
Training van de therapeuten
1. Indirecte trainingsprocedures: onderwijs technische instructies over de interventie en geschreven materialen die de rationale, scripts, taken en activiteiten beschrijven
2. Directe trainingsprocedures: mogelijkheden tot rollenspellen in het gebruik van technieken, voorbeelden van de juiste toepassing van taken, moeilijke situaties te oefenen en fouten hierin op te zoeken, behandeling na te bootsen en periodieke booster sessies te krijgen.
Supervisie van therapeuten
Wekelijkse supervisiesessie kan inhouden dat therapiesessies worden bekeken om feedback te kunnen geven over de therapietrouw en de bekwaamheid van de therapeuten, om moeilijke situaties aan te kunnen pakken met rollenspellen, om deelnemers en additionele procedures te bespreken zodat ze in de handleiding kunnen worden opgenomen. Voortgaande klinische supervisie kan gedaan worden door middel van directe observatie van behandelsessies via een beeldscherm of een tweerichtingsspiegel. Verder kan een supervisor de therapietrouw en
bekwaamheidschecklisten onderzoeken die ingevuld zijn door therapeuten na elke sessie om feedback te kunnen krijgen over hun prestatie en hun implementatie van taken te kunnen aanpassen.
9
Vaststellen van de mate van TI
1. Direct vaststellen: observaties, video/audio opnames
2. Indirect vaststellen: therapeuten vullen therapie checklists in na elke sessie om procedures aan te geven die wel of niet geïmplementeerd zijn zoals beschreven in de handleiding (met mogelijkheid om lage niveaus van bekwaamheid toe te lichten)
1. Direct vaststellen: observaties, video/audio opnames (rekening gehouden met het aantal voltooide sessies, de mate van vooruitgang van de cliënt, moeilijkheidsniveau van de cliënt en flexibiliteit van aanpak op een manier die consistent is met de voorgeschreven procedures) 2. Indirect vaststellen: therapeuten vullen checklists in over hun eigen bekwaamheid in het doen van de interventie (met mogelijkheid om lage niveaus van bekwaamheid toe te lichten)
Vaststellen van implementatie van voorgeschreven procedures en vermijding van voorgeschreven taken is voldoende om behandelingsdifferentiatie aan te tonen Psychometrische eigenschappen van metingen
Verschaffen van data over de validiteit en betrouwbaarheid van de gebruikte therapietrouw en bekwaamheidsmetingen (kunnen apart van het hoofdrapport worden gepubliceerd)
Accuraatheid van de data
Een willekeurige steekproef (doorgaans 20-40%) van de gemaakte opnames wordt onderzocht om de mate van TI vast te stellen. Om er zeker van te zijn dat de steekproef representatief is dient deze getrokken te worden over de verschillende therapeuten, de behandelingsfases, situaties, deelnemers en sessies
Beoordelen van de TI
1. Beoordelaars zijn getraind in grote en kleine behandelingscomponenten, subtiele aspecten van de behandeling en de behandelingshandleiding 2. Beoordelaars zijn getraind in therapietrouw en bekwaamheidsmetingen
3. Interbeoordelaarsbetrouwbaarheid wordt vastgesteld
4. Beoordelaarsbias wordt gereduceerd (blinderen, meerdere beoordelaars per doel, consensus ratings, statistische correctie van verstoringen) Controleren voor
meting reactiviteit
1. Alle sessies worden opgenomen op video of audio
2. “Spot checks” (therapeuten worden geïnterviewd door stafleden zonder aankondiging) van behandelingsimplementatie worden gedaan op een variabel tijdsschema
10
Rapportage van data 1. Specifieke definities van therapietrouw worden gegeven
2. Procedures voor het tot stand brengen, vaststellen en evalueren van therapietrouw worden weergegeven 3. Therapietrouw wordt gerapporteerd in termen van (a) gehele integriteit (d.w.z. integriteit van
behandelingscomponenten over sessies)
(b) component integriteit (d.w.z. integriteit van het implementeren van elke behandelingscomponent over sessies)
(c) sessie integriteit (d.w.z. integriteit van alle behandelingscomponenten binnen elke sessie) 4. Numerieke data is informatief over de mate van therapietrouw (d.w.z. het percentage therapietrouw)
1. Specifieke definities van therapeut bekwaamheid worden gegeven
2. Procedures voor het tot stand brengen, vaststellen en evalueren van de bekwaamheid worden geven
3. Gehele therapeutbekwaamheid wordt gerapporteerd
4. Numerieke data is informatief over de mate van bekwaamheid (d.w.z. percentage
bekwaamheid)
Als er toezicht wordt gehouden op de voorgeschreven procedures, is de data over therapietrouw voldoende om behandelingsdifferentiatie aan te tonen
11 Er zijn positieve resultaten behaald met zowel een TI van 60% integriteit (wat
mogelijk overeenkomt met niveau 3) als met een TI van 80% integriteit (wat mogelijk overeenkomt met niveau 4) (Durlak & DuPre, 2008). In de huidige literatuur wordt een hoge mate van TI gezien als 80-100% integriteit en een lage mate van TI wordt gezien als 50% integriteit of minder (Burke, 1996; Galloway & Sheridan, 1994; Gansle & McMahon, 1997; Gresham, Gansle, & Noell, 1993; Holcombe et al., 1994; Noell et al., 2002).
Optimale adequaatheid
Opmerking. Elk nieuw niveau bouwt voort op de voorgaande niveaus.
(uit: Perepletchikova, 2011) Figuur 1
De mate van therapietrouw aan het GST behandelingsprotocol in het onderzoek van Wetzelaer et al. (2014) wordt vastgesteld door getrainde onafhankelijke beoordelaars die een willekeurige selectie van video-opnames van groep ST sessies van de begin-, midden- en eindfase van de behandeling beoordelen met een daarvoor nieuw ontwikkeld instrument. De
Niveau 5 1. Er wordt gecontroleerd voor meting reactiviteit
2. De meting is sensitief (wordt niet beperkt door plafond- of vloereffecten) 3. Data wordt gerapporteerd in termen van algemene, component en sessie trouw en algemene bekwaamheid
Niveau 4
1. Directe en indirecte vaststelling van therapietrouw en bekwaamheid 2. Assessment metingen hebben goede psychometrische eigenschappen 3. De beoordelaars bias wordt verminderd
Niveau 3
1. Directe vaststelling van therapietrouw en bekwaamheid
2. De steekproef van de data wordt getrokken over therapeuten, fases, deelnemers, situaties en sessies
3. Beoordelaars worden getraind en interbeoordelaarsbetrouwdheid wordt vastgesteld
Niveau 2
1. Indirecte vaststelling van therapietrouw en bekwaamheid
2. Data wordt gerapporteerd in termen van algemene therapietrouw en bekwaamheid 3. Gerapporteerde data is informatief over de mate van TI
Niveau 1 1. Specifieke behandelingshandleiding 2. Direct en indirecte training van therapeuten
12 individuele ST sessies worden ook op deze manier beoordeeld alleen gaat het hier om audio opnames en verloopt de beoordeling met reeds bestaande instrumenten.
Er zijn verscheidene zaken die ervoor zorgen dat het niveau van de vaardigheden en het beoordelingsvermogen van de therapeuten hoog is waardoor dit ook geldt voor hun bekwaamheid. De GST sessies worden geleid door twee schematherapeuten, van wie er minimaal één senior schematherapeut is. Er zijn inval schematherapeuten beschikbaar om de therapeuten te vervangen bij afwezigheid (bijv. door ziekte, vakantie of zwangerschap). De senior therapeut is hiernaast ook een plaatselijke supervisor voor andere schematherapeuten. Individuele schematherapeuten kunnen dezelfde personen zijn als die voor GST. Groep schematherapeuten krijgen een training van drie tot vier dagen in GST. Kandidaat schema therapeuten (individueel en groep) die nog niet getraind zijn in ST krijgen eerst een drie tot vierdaagse training in individuele ST voor BPD. Tijdens de studie zijn er tweemaal per jaar intensieve supervisiebijeenkomsten. Daarnaast is er lokaal wekelijkse teamsupervisie en is er centrale supervisie door de ontwikkelaars van GST beschikbaar door middel van
teleconferentie en het kijken naar video opnames. Dit gebeurt in de eerste maanden elke twee weken en daarna is dit maandelijks. De versleutelde opnames worden ge-upload op een centrale server zodat supervisors ze kunnen downloaden en bekijken.
Een goede differentiatie zou betekenen dat er in de GST technieken worden gebruikt die bij GST horen en dat technieken die bij TAU horen worden vermeden. Het maken van opnames was echter niet overal mogelijk. Zo werd TAU bijvoorbeeld gegeven in
privéklinieken of in gemengde groepen waardoor de sessies ook patiënten bevatten die niet deelnamen aan het onderzoek.
2.2 ST bij BPS
De borderline persoonlijkheidsstoornis wordt gekenmerkt door een pervasief patroon van instabiliteit in interpersoonlijke relaties, identiteit, impulsiviteit en affect (American Psychiatric Association, 1994). Zo’n 1-2% van de algemene populatie heeft deze
persoonlijkheidsstoornis, wat oploopt tot 10% bij de ambulante psychiatrische patiënten en 20% bij de klinische patiënten (Torgersen, Kringlen, & Cramer, 2001; Swartz, Blazer, George, & Winfield, 1990; Widiger, & Weissman, 1991). Daarnaast is het sterftecijfer van deze stoornis erg hoog door suïcide, ongeveer 10% van de patiënten suïcideert zichzelf, wat 50 keer zoveel is in vergelijking met de algemene populatie (American Psychiatric
Association, 2001). Door aanzienlijk gebruik van behandeling, hebben patiënten met BPS meer gezondheidszorg nodig dan personen met andere psychiatrische stoornissen (Zanarini, Frankenburg, Khera, & Bleichmar, 2001; Bender, Dolan, Skodol et al., 2001).
Er zijn een aantal soorten medicatie die werkzaam blijken te zijn voor verschillende symptomen van BPS in RCT’s, maar er is geen medicatie gevonden die voor BPS als geheel een oplossing biedt (Stoffers, Lieb, Voellm, 2009 in press). Hierdoor blijft psychotherapie de nodige en primaire behandelingsvorm voor BPS (Webber, & Farrell, 2008).
ST is ontstaan als therapie voor degenen die niet reageerden op cognitieve therapie of die last hadden van terugvallen (Young, Beck, & Weinberger, 1993). Deze patiënten bleken meer rigide cognitieve structuren te hebben, meer chronische en vaak levenslange
13 psychologische problemen en meer diep gewortelde dysfunctionele overtuigingen. Deze “schema’s” vonden vaak hun oorsprong in een verstoorde kindertijd waarin verwaarlozing en/of misbruik plaatsvond.
Schema-focused therapy (SFT) of ST lijkt een alomvattende behandeling te zijn voor BPS met totaal herstel als doel (Giesen-Bloo et al., 2006; Nordahl, & Nysaeter, 2005; van Asselt et al., 2008). De consistentie en duur van psychotherapie die nodig is voor meer
diepgaande BPS psychotherapie, is lastig om voor elkaar te krijgen, vooral voor personen met ernstige symptomen die behandeld worden in openbare zorginstellingen. Een mogelijke oplossing hiervoor is het geven van ST in groepsvorm. Deze vorm van therapie biedt zowel economisch gezien als qua dienstverlening veel voordelen door het meer efficiënt gebruiken van de beschikbare middelen. Daarbij spelen belangrijke werkzame factoren een rol bij groepen welke ontstaan door interacties met gelijken zoals universaliteit, een gevoel van erbij horen, indirect leren en de mogelijkheid tot in vivo oefening. Uit een relatief kortdurend onderzoek naar GST bleek dat er significante verminderingen gevonden konden worden in BPS symptomen en algemene ernst van psychiatrische symptomen, en dat er sprake was van een toegenomen algemeen functioneren (Farrell, Shaw, & Webber, 2009). Gezien de korte behandelingstijd (8 maanden in contrast met 3 jaar in studies naar individuele ST) suggereren deze resultaten dat GST tot sneller herstel leidt dan individuele ST. Er is echter nog niet onderzocht hoe effectief GST is als deze behandeling gegeven wordt door therapeuten (die niet de ontwikkelaars van deze therapievorm zijn) in andere centra. Daarbij was GST in het onderzoek van Farrell, Shaw en Webber een toevoeging op TAU voor patiënten die daarvoor al TAU als behandeling hadden. Om deze redenen wordt het onderzoek van Wetzelaer et al. (2014) gedaan.
2.3 TAU bij BPS
Behandelingen waarbij de werkzaamheid is aangetoond voor een aantal BPS
symptomen in RCT’s naast ST zijn Dialectische Gedragstherapie (Linehan, Comtois, Murray, Brown, Gallop, Heard, et al., 2006), Cognitieve therapie (Davidson et al., 2006);
Transference-Focused Psychotherapy (Clarkin, Levy, Lenzenweger, & Kernberg, 2007; hoewel de verschillen tussen de vergeleken groepen niet significant waren), Mentalisatie gebaseerde therapie (Chiesa, Fonagy, & Holmes, 2006) en Systeem training voor emotionele voorspelbaarheid en probleem oplossing (Blum et al., 2008). In het onderzoek van Wetzelaer et al. (2014) heeft het intake personeel in elk centrum voor iedere patiënt in de TAU conditie de optimale behandeling bepaald. Er waren geen beperkingen in de keuze die het personeel kon maken; of ze nu kozen voor een intensieve, individuele, groep, ambulante, klinische of dagbehandeling. Hierdoor is de TAU conditie representatief voor de optimale huidige behandelingen.
2.4 ST versus TAU
Met de TIS wordt onderzocht of ST en TAU van elkaar verschillen en deze vragenlijst dus kan worden gebruikt voor de differentiatie tussen deze twee behandelingen. Als de deelnemers uit de ST-conditie hoger scoren op de TIS dan de deelnemers uit de TAU conditie, betekent dit dat de TIS een valide vragenlijst is. Er zal verder nog gekeken worden
14 of er onderscheid is tussen de conditie waarin deelnemers zitten die alleen GST krijgen (ST-A conditie) en de conditie waarin GST wordt gecombineerd met individuele ST-sessies (ST-B).
2.5 De TIS
De onderzoekers Wetzelaer et al. (2014) hebben zelf de TIS geconstrueerd op basis van de (G)ST behandeling. De vragenlijst bestaat uit items met typische-ST technieken en items met typische niet-ST technieken. Deze vragenlijst is er voor TAU en individuele ST in de één therapeut versie en voor GST in de meerdere therapeuten versie. De vragenlijst is te vinden in bijlage A.
Uit de theorie blijkt dat het mogelijk is om onderdelen van de TI, zoals de
therapietrouw, vast te stellen met vragenlijsten waarin technieken opgenomen zijn die het meest karakteristiek zijn voor een bepaalde behandeling (Luborsky, Woody, McLellan, O’Brien, & Rosenzweig, 1982). Ook kan de competentie van de therapeuten worden vastgesteld met een beoordelingslijst (7-punts schaal) over de specifieke types van interventies (Klerman, Weissman, Rounsaville, & Chevron, 1984).
Er wordt echter getwijfeld aan het kunnen gebruiken van patiënten als beoordelaar van de TI. Het zou problematisch kunnen zijn om patiënten te gebruiken als bron van informatie over TI, omdat zij niet de kennis of training zouden hebben die nodig is om te beschrijven wat er gebeurd is in een sessie op het niveau van analyse dat nodig is voor een manipulatie check (Waltz, Addis, Koerner, & Jacobson, 1993).
2.6 Hypotheses
Verwacht wordt dat de scores op de TIS van de deelnemers in de ST conditie hoger zijn dan de scores van de deelnemers in de TAU conditie. Daarnaast wordt er verwacht dat er met de TIS items betrouwbare schalen kunnen worden geconstrueerd.
15
3. Methode
3.1 Deelnemers
Deelnemers werden geworven in de verschillende centra die meedoen aan het
onderzoek van Wetzelaer et al. (2014). Op het moment van de start van dit onderzoek was er data beschikbaar van zes centra: drie in Nederland, twee in Duitsland en één in Australië. In de centra Nederland waren er 131 deelnemers, in Duitsland 80 deelnemers en in Australië waren dat er 23. Deelnemers werden uitgenodigd om deel te nemen aan het screening proces als zij gediagnosticeerd waren met een Borderline Persoonlijkheidsstoornis (BPS) of als aanwezigheid hiervan vermoed werd. Patiënten waren geschikt om deelnemer te zijn als zij (1) tussen 18 en 65 jaar oud waren, (2) BPS als primaire diagnose hadden, (3) een BPD severity score hadden van hoger dan 20 op de Borderline Personality Disorder Severity Index, versie IV, (4) bereid waren om deel te nemen aan de studie, (5) in staat waren om deel te nemen aan (groeps)behandeling en onderzoek voor 2 jaar.
Patiënten werden uitgesloten van het onderzoek als zij ooit een psychotische stoornis hadden (met uitzondering van een korte psychotische stoornis als beschreven in de Diagnostic and Statistical Manual of mental disorders, versie IV (DSM-IV), BPS criterium 9), een IQ lager dan 80 hadden, niet in staat waren om te lezen, praten of spreken in de taal die gebruikt wordt in het centrum, als ze Attention Deficit Hyperactivity Disorder (ADHD), bipolaire stoornis type 1, dissociatieve identiteitsstoornis, volledige of sub threshold narcistische of antisociale persoonlijkheidsstoornis hadden, afhankelijk waren van middelen en klinische detoxificatie nodig hebben, een serieuze en/of onstabiele medische ziekte hadden of meer dan drie maanden in schema-therapie zijn geweest in de afgelopen drie jaar.
In het onderzoek zijn de data van 234 deelnemers gebruikt. Oorspronkelijk werden er 592 deelnemers verwezen voor mogelijke deelname aan het onderzoek. Na exclusie door het voldoen aan de exclusiecriteria, niet voldoen aan de inclusiecriteria, weigering om aan het onderzoek deel te nemen, uitval, het voltooien van slechts een deel van de baseline of het ontbreken van data bleven er 234 deelnemers over. Van deze deelnemers zaten 122 personen in de experimentele conditie (de conditie) welke nog onderverdeeld kon worden in de ST-A conditie en de ST-B conditie. In de ST-ST-A conditie zaten 59 deelnemers zaten die
hoofdzakelijk ST sessies kregen en in de ST-B conditie zaten 63 deelnemers die groep-ST sessies gecombineerd met individuele groep-ST-sessies kregen. De deelnemers uit de groep-ST-A conditie konden op aanvraag een beperkt aantal individuele sessies krijgen. De overige 114 deelnemers zaten in de controle conditie (de TAU-conditie).
3.2 Materiaal
De vragenlijst die gevalideerd wordt in dit onderzoek is de Treatment Integrity Scale, waarvan er een single therapist version en een multiple therapist version is. De vragenlijst bestaat uit 22 items en wordt meestal via een internetprogramma afgenomen, hoewel er ook een papieren versie is. De antwoordmogelijkheden lopen van 1 “niet of heel erg weinig” tot 7 “uitgebreid, vaak”. Voorbeelden van items zijn: “De therapeuten voelen mij aan en tonen begrip voor mijn ervaringen en gevoelens” en “In de therapie leer ik verschillende kanten van mij onder woorden brengen”. De minimum score is 22 en de maximum score 154. De items
16 met niet-typische ST technieken zijn de items 2, 5, 11, 13 en 14 . Deze items moeten
omgescoord worden. Een voorbeeld van zo’n item is: “De therapeuten stellen zich afstandelijk op”. De volledige vragenlijst is te vinden in bijlage 1.
3.3 Procedure
Er wordt onderzocht of de TIS kan differentiëren tussen ST en TAU. De deelnemers zijn toegewezen aan de ST conditie of aan de TAU conditie. De deelnemers hebben op vijf verschillende momenten de TIS ingevuld, zie tabel 2. Er zal van sommige deelnemers
mogelijk data ontbreken voor één of meerdere van de meetmomenten. Er zal daarom per item worden berekend wat de gemiddelde item score is over de verschillende meetmomenten. De 22 gemiddelde item scores worden vervolgens bij elkaar opgeteld en vormen samen een totaalscore. Vervolgens kunnen de totaalscores van de deelnemers uit de ST conditie en uit de TAU conditie met elkaar vergeleken worden. Om te kunnen concluderen dat de TIS kan differentiëren tussen ST en TAU zouden de totaalscores van de deelnemers uit de ST conditie significant hoger moeten zijn dan de totaalscores van de deelnemers uit de TAU conditie.
Tabel 2
Meetmomenten TIS
Meetmoment Aantal maanden
1 6 maanden
2 12 maanden
3 18 maanden
4 24 maanden
5 36 maanden
De deelnemers hebben naast de TIS ook achtergrond informatie als leeftijd en geslacht ingevuld. Hiernaast wordt ook de informatie over de conditie, het land van afkomst en het hebben van één of meerdere therapeuten meegenomen.
3.4 Analyses
Allereerst werd er een exploratieve factoranalyse gedaan om de subschalen van de TIS af te leiden. Vervolgens werden deze schalen psychometrisch onderzocht waarbij de interne consistentie werd geschat door het berekenen van Cronbach’s Alfa, en het functioneren van de individuele items bestudeerd werd door item-rest correlaties te bekijken. Items die
onvoldoende samenhang vertoonden met de rest werden verwijderd. De statistische techniek die gebruikt is om de validiteit van de schalen en de vragenlijst te bepalen is de
onafhankelijke t-toets. Hiermee kan de gemiddelde score van de deelnemers uit de ST-conditie op elke subschaal van de TIS en ook op de gehele TIS vergeleken worden met de gemiddelde score van de deelnemers uit de TAU conditie. Hierbij werd de versie van de TIS, al dan niet met subschalen, gebruikt die afgeleid is van de voorafgaande psychometrische analyse.
Als uit de t-toets blijkt dat de scores van de deelnemers uit de ST conditie hoger zijn dan die van de deelnemers uit de TAU conditie, bekrachtigt dit de hypothese en kan de TIS beschouwd worden als een valide instrument. Als echter uit de t-toets blijkt dat er geen
17 verschil is tussen de scores uit de twee condities of dat de scores van de deelnemers uit de TAU-conditie juist hoger zijn, wordt hiermee de hypothese ontkracht. De TIS zou namelijk moeten kunnen differentiëren tussen ST en TAU en wel op zo’n manier dat de scores van de deelnemers uit de ST conditie hoger zijn, gezien er gebruikt is gemaakt van typische en niet-typische ST kenmerken in de vragenlijst.
18
4. Resultaten
4.1 Algemene gegevens deelnemers
Voorafgaand aan de analyses is er gekeken naar de algemene kenmerken van de deelnemers. In de eerste plaats is er gekeken naar de verdeling van mannen en vrouwen over de verschillende condities. Er is een chi-kwadraat toets uitgevoerd om dit te onderzoeken. Er wordt voldaan aan de assumptie dat alle verwachte frequenties groter zijn dan 5. De chi- kwadraat toets toont aan dat de variabelen geslacht en conditie onafhankelijk zijn en dat de verdeling van mannen en vrouwen over de condities dus gelijk is, χ² (2) = .66, p = .72. In tabel 3 is de verdeling van mannen en vrouwen over de condities te zien.
Om te kijken of de verdeling van de leeftijd van de deelnemers gelijk is over de condities is er een ANOVA uitgevoerd. Er is voldaan aan de assumptie van homogeniteit van de varianties. Uit de ANOVA blijkt dat ook leeftijd onafhankelijk is van conditie en dat de verdeling van de leeftijd van de deelnemers dus gelijk is over de condities, F(2, 231) = .47, p = .63. De verdeling van de leeftijd van de deelnemers is te vinden in tabel 3.
Tabel 3
Algemene gegevens
ST-A(groep) ST-B(gr+ind) TAU Totaal Geslacht Man Vrouw Totaal 7 (13.6%) 51 (86.4%) 59 9 (14.5%) 53 (85.5%) 62 12 (10.6%) 101 (89.4%) 113 29 205 234 Leeftijd Gem.(SD) 34.7(9.44) 36.3(9.7) 36.0(9.4) 35.7 Range 20-58 21-61 19-63 19-63 4.2 Exploratieve factoranalyse
De factoranalyse is uitgevoerd over de 22 items van de TIS en daarbij is een oblique rotatie (oblimin) gebruikt, omdat de factoren gecorreleerd kunnen zijn. Als er wordt gekeken naar de factoren met eigenwaarde >1, blijken er 6 factoren te zijn. Als er wordt gekeken naar de scree plot is er geen duidelijke knik te zien, hieruit kan dus niet opgemaakt worden hoeveel factoren er aanwezig zijn. Omdat er geen volledige duidelijkheid is over het aantal factoren zijn alle mogelijkheden van 2 tot 6 factoren geëvalueerd. Al deze oplossingen bevatten steeds één factor met een eigenwaarde >8 die ongeveer 40% van de variantie verklaart. De overige factoren verklaren elk minder dan 10% van de variantie. Tabel 4. laat de eigenwaarden en verklaarde varianties zien.
19 Tabel 4
Gegevens factoranalyse 22 items
Component Eigenwaarde Verklaarde variantie Cumulatief percentage 1 9.0 40.7% 40.7% 2 2.0 9.1% 49.8% 3 1.2 5.6% 55.4% 4 1.2 5.3% 60.7% 5 1.1 4.8% 65.6% 6 1.1 4.8% 70.4%
De keuze voor zes factoren blijkt inhoudelijk goed te interpreteren. De Kaiser-Meyer-Olkin meting toont aan dat de grootte van de steekproef voldoende is, KMO = .91. De KMO waardes voor item 2 (.39) en item 11 (.37) liggen onder de acceptabele grens van >.5. Om deze reden worden de items 2 en 11 verwijderd uit de analyses. De nieuwe factor analyse met de resterende 20 items heeft een KMO waarde van KMO = .92. De waardes van de
individuele items liggen boven de grens van >.5. Bartlett’s test of sphericity toont aan dat de correlaties tussen de items voldoende hoog zijn voor de factor analyse, χ²(190) = 2833, p < .001. Door het verwijderen van twee items blijven er vijf in plaats van 6 componenten over. De vijf componenten verklaren samen 71.04% van de variantie, zoals te zien in tabel 5. De items die clusteren op dezelfde componenten suggereren dat component 1 gaat over de kern van ST, component 2 over oefeningen, component 3 over empathie van de therapeuten, component 4 over de jeugd en component 5 over de kritische houding van de therapeuten. De factorladingen van de items zijn te vinden in tabel 6.
Tabel 5
Gegevens factoranalyse 20 items
Component Eigenwaarde Verklaarde variantie Cumulatief percentage 1 9.0 44.7% 44.7% 2 2.0 10.0% 54.7% 3 1.2 5.8% 60.6% 4 1.2 5.3% 65.9% 5 1.1 5.1% 71.0% 1 9.0 44.7% 44.7%
20 Tabel 6
Resultaten van de item-factor ladingen voor de TIS (N = 233)
Item nummer
Item Factor Factor
lading 19 De therapeut helpt mij om voor- en nadelen af te wegen van
kanten of delen van mij.
Kern ST 0.78 20 De therapeuten helpen mij om inzicht te krijgen in hoe mijn
ongezonde gedrag (bijv. vermijden van gevoelens, vermijden van gezond gedrag, alcoholmisbruik, zelfverwonding, onveilige seks, ongecontroleerde boosheid) gekoppeld is aan kanten of delen van mij.
Kern ST 0.75
16 De therapeuten stellen grenzen wanneer ik gedrag vertoon dat schadelijk of gevaarlijk is.
Kern ST 0.73 21 De therapeuten helpen mij om gedrag te veranderen dat niet
goed voor me is, door bijvoorbeeld advies te geven hoe het anders kan of mij vaardigheden aan te leren.
Kern ST 0.67
17 Als de therapeuten mijn onhandige of ongezonde acties met mij bespreken, doen ze dit op een manier die ik prettig vind, zonder mij rot te laten voelen (voorbeelden van zulke acties: huiswerk niet doen, drinken, drugsgebruik, vermijden van gezond gedrag, uitspattingen, zelfverwonding).
Kern ST 0.66
10 Als ik een sterke emotie ervaar, dan leer ik in de therapie deze emotieverandering aan een deel of kant van mij te koppelen
Kern ST 0.64 6 Als een bepaald patroon van gedachten en gevoelens bij mij
overheerst dan wordt dit in de therapie benoemd als een kant (modus) van mij en word ik geholpen deze kant te herkennen.
Kern ST 0.60
9 In de therapie leer ik verschillende kanten van mij onder woorden te brengen.
Kern ST 0.50 22 In de therapie leer ik veiligheid in mijn leven te vinden. Kern ST 0.46 13 In de therapie wordt gepraat; er worden geen oefeningen
gedaan.
Oefeningen 0.88 18 In de therapie gebruiken we rollenspellen om te oefenen hoe ik
goed op een situatie kan reageren, ook buiten de therapie.
Oefeningen 0.74 15 Nare (traumatische) ervaringen uit mijn jeugd worden in de
therapie verwerkt met verbeeldingsoefeningen, rollenspelen, of meerstoelen-technieken, waarin in fantasie wordt ingegrepen.
Oefeningen 0.64
12 In de therapie doen we oefeningen waarin een situatie uit het verleden, heden of toekomst wordt voorgesteld en mij gevraagd wordt naar mijn behoeften en de beleving van deze situatie.
Oefeningen 0.52
14 De therapie is op het heden gericht – er is geen aandacht voor mijn jeugd.
Jeugd -0.82 8 De therapeut koppelt een specifiek probleem uit mijn leven aan
een deel of kant van mij, en bekijkt samen met mij hoe dat samenhangt met ervaringen uit mijn jeugd.
Jeugd -0.59
1 De therapeuten zijn warm naar mij toe en proberen veiligheid te creëren.
Empathie therapeuten
-0.90
3 De therapeuten geven om mij. Empathie
therapeuten
-0.89 4 De therapeuten voelen mij aan en tonen begrip voor mijn Empathie -0.86
21
ervaringen en gevoelens. therapeuten 7 De therapeut stelt zich als een soort goede ouder op, onder
meer door:
a. beschikbaar te zijn voor mij als ik dat nodig heb (ook buiten de sessies om, bijv. via email, of door een extra gesprek als dat nodig is)
b. tegemoet te komen aan mijn behoeften
c. mijn gevoelens, behoeften en mening te begrijpen en te respecteren
d. mij advies te geven als ik dat nodig heb e. mij verbonden met hem/haar te laten voelen
Empathie therapeuten
-0.65
5 De therapeuten zijn kritisch naar mij. Kritische houding therapeuten
22 4.3 Betrouwbaarheidsanalyse
Uit de betrouwbaarheidsanalyse blijkt dat de Cronbach’s alpha van de KernST schaal een waarde heeft van α = .91, wat betekent dat de items een goede samenhang hebben met de schaal als geheel. Als er vervolgens wordt gekeken naar de item-rest correlaties blijkt dat item 16 de minst hoge item-rest correlatie heeft (.52) (zie tabel 7). De Cronbach’s alpha verhoogt echter niet sterk na het verwijderen van dit item, dus daarom blijft het opgenomen in de schaal. De KernST-schaal bestaat uit 9 items en heeft een item gemiddelde van 4.62 (M=4.62, SD =0.17) en een schaalgemiddelde van 41.59 (M=41.59, SD=10.40). Het bereik loopt van 9 tot 63.
De Oefeningen schaal heeft een Cronbach’s alpha van α = .82, wat betekent dat de items een goede samenhang hebben met de schaal als geheel. Als er vervolgens wordt gekeken naar de item-rest correlaties blijkt dat er geen items in de schaal zitten die de
betrouwbaarheid verlagen. De schaal bestaat uit vier items, namelijk item 12, 13, 15 en 18. De oefeningen schaal heeft een itemgemiddelde van 3.33 (M=3.33, SD=.62) en een
schaalgemiddelde van 13.30 (M=10.79, SD=4.24). Het bereik loopt van 4 tot 28. Zie tabel 7 voor de item-rest correlaties van de schaal.
De Jeugd schaal heeft een Cronbach’s alpha van α = .56 , wat voor een schaal
bestaande uit slechts twee items en goede betrouwbaarheid is. De schaal bestaat uit 2 items en heeft een item gemiddelde van 4.52 (M=4.52, SD=.05) en een schaalgemiddelde van 9.03 (M=9.03, SD=2.88). Het bereik loopt van 2 tot 14. Zie tabel 7 voor de item-rest correlaties van de schaal.
De Empathie schaal heeft een betrouwbaarheid van α = .88, wat aangeeft dat de betrouwbaarheid hoog is en dat de items een goede samenhang hebben met de schaal als geheel. De laagste item-rest correlatie is van item 7(.69), maar deze is voldoende hoog en ook verhoogt de Cronbachs alpha niet bij het verwijderen van dit item. De Empathie schaal bestaat uit 4 items en heeft een item gemiddelde van 5.22 (M=5.22, SD=.16) en een schaalgemiddelde van 20.89 (M=20.89, SD=4.63). Het bereik loopt van 4 tot 28. Zie tabel 7 voor de item-rest correlaties van de schaal.
De Kritische houding schaal bestaat uit slechts 1 item, waardoor het niet mogelijk is om de betrouwbaarheid uit te rekenen. Bij de interpretatie zal er rekening moeten worden gehouden met de ontbrekende betrouwbaarheid.
23 Tabel 7
Item-rest correlaties betrouwbaarheidsanalyse TIS
Kern ST schaal Oefeningen schaal Jeugd schaal Empathie schaal Item Item-rest correlatie Item Item-rest correlatie Item Item-rest correlatie Item Item-rest correlatie 6 .71 12 .63 8 .39 1 .74 9 .73 13 .55 14 .39 3 .77 10 .79 15 .73 4 .77 16 17 19 20 21 22 .52 .66 .75 .77 .70 .71 18 .68 7 .69 4.4 Onafhankelijke T-toets
Er is een onafhankelijke t-toets uitgevoerd om te onderzoeken of conditie effect heeft op de TIS totaalscore. De Kolmogorov-Smirnov toets toont aan dat de data in de ST conditie niet normaal verdeeld is, D(120) = .09, p < .05, terwijl de data in de TAU conditie dat wel is, D(107) = .05 p = .20. Levene’s test toont aan dat de varianties van de groepen homogeen zijn, F(225, 224) = 2.73, p = .1. Na het bekijken van de boxplots zijn er zes uitbijters verwijderd (ppnnr 241, 815, 818, 833, 1209 en 2254).
Uit de t-toets blijkt dat de scores van de deelnemers in de ST conditie op de TIS (M = 105.27, SD = 15.70) hoger zijn dan de scores van de deelnemers in de TAU-conditie (M = 96.22, SD = 15.33) (zie tabel 8). Dit verschil is significant t(225) = 4.40, p < .01, en is een gemiddeld effect, r = 0.28. Tabel 8 Gemiddelden en SD’s T-toets conditie N M SD ST (ST-A+ST-B) 115 105.27 15.70 TAU 107 96.22 15.33
24 Er is vervolgens een ANOVA gedaan om te kijken naar de verschillen tussen de ST-A en ST-B conditie in vergelijking met de TAU conditie. De Kolmogorov-Smirnov toets toont aan dat de data normaal verdeeld is in zowel de ST-A conditie, D(55) = .11, p = .08, als in de ST-B conditie, D(60) = .10, p = .20, als in de TAU conditie, D(112) = .05, p = .20. Levene’s test toont aan dat de varianties van de groepen homogeen zijn, F(2, 224) = .23, p = .80. Er wordt een significant effect gevonden van conditie op TIS score, F(2, 226) = 10.15, p < .001; dit is een gemiddeld effect, ω = .07. Zie tabel 9 voor de gemiddelden en standaarddeviaties. Het eerste contrast laat een significant verschil zien als de ST-A en ST-B conditie samen worden vergeleken met TAU, t(224) = 4.36, p < .01; dit is een gemiddeld effect, rcontrast 1= .28. Het tweede contrast kan geen verschil aantonen tussen de ST-A en ST-B conditie, t(224) = .99, p = .32, dit is een klein effect, rcontrast 2 = .07.
Tabel 9 Gemiddelden en SD’s ANOVA conditie N M SD ST-A 55 103.78 15.31 ST-B 60 106.64 16.04 TAU 112 96.22 15.33
Er is een Gabriel post-hoc test uitgevoerd om de verschillen tussen de ST-A, ST-B en TAU-conditie met elkaar te vergelijken. Er is gekozen voor deze test omdat deze rekening houdt met het verschil in steekproefgrootte. Uit de post-hoc test blijkt dat de deelnemers in de ST-A conditie significant hoger scoren dan de deelnemers in de TAU conditie, p <.01, en dat dit ook geldt voor de ST-B conditie als deze met TAU wordt vergeleken, p <.01. Er kan geen verschil in score worden aangetoond tussen de ST-A en ST-B conditie, p = .69. Zie tabel 10 voor de gemiddelde verschillen, standaarddeviaties en significantieniveau.
Tabel 10
Gegevens Gabriel post hoc test
conditie 1 conditie 2 M verschil SD p
ST-A ST-B -2.86 2.90 .69
TAU 7.56 2.55 .009
25 Vervolgens is er voor iedere subschaal van de TIS een onafhankelijke t-toets
uitgevoerd om te onderzoeken of er een effect is van conditie. Uit de t-toets van de KernST schaal blijkt dat de scores van de deelnemers in de ST-conditie op de KernST schaal (M = 43.60, SD = 9.61) hoger zijn dan de scores van de deelnemers in de TAU conditie (M = 41.00, SD = 9.20). Dit verschil is significant t(225) = 2.08, p < .05, en is een gemiddeld effect, r = 0.28.
De t-toets van de Oefeningen schaal toont aan dat er een effect is van conditie op schaal score. De deelnemers in de ST conditie (M = 13.00, SD = 3.67) hebben hogere scores gehaald op de Oefeningen schaal dan de deelnemers in de TAU conditie (M = 8.57, SD = 3.55). Het verschil is significant t(225) = 9.23, p < .01, en heeft een grote effectgrootte, r = 0.52.
De t-toets van de Jeugd schaal laat zien dat de deelnemers in de ST conditie (M = 10.33, SD = 2.22) hoger scoren op de schaal dan de deelnemers in de TAU conditie (M = 7.91, SD = 2.89). Het is een significant verschil t(225) = 7.09, p < .01 en heeft een grote effectgroote, r = 0.43.
Uit de t-toets van de Empathie schaal blijkt dat er geen verschil kan worden gevonden tussen de scores van de deelnemers in de ST conditie (M = 21.66, SD = 4.25) en de scores van de deelnemers in de TAU conditie (M = 20.71, SD = 4.10), t(225) = 0.96, p = .09. Dit is een klein effect, r = 0.11.
De t-toets van de Kritische houding schaal laat een verschil in score zien tussen de ST en TAU conditie. De deelnemers in de ST-conditie (M = 4.30, SD = 1.23) haalden hogere scores op de schaal dan de deelnemers in de TAU-conditie (M = 3.90, SD = 1.46),
t(225) = 2.20, p < .05 . Dit is een klein effect r = 0.14. Zie tabel 11 voor de gemiddelden en standaarddeviaties van de schalen.
Tabel 11
Gemiddelden en SD’s t-toets schalen
Kern-ST schaal Oefeningen schaal Jeugd schaal
conditie N M SD N M SD N M SD
ST(A+B) 115 43.60 9.61 115 13.00 3.67 115 10.33 2.22
TAU 107 41.00 9.20 112 8.57 3.55 112 7.91 2.89
Empathie schaal Kritische houding schaal
N M SD N M SD
ST(A+B) 115 21.66 4.25 115 4.30 1.23
26
5. Discussie
5.1 Resultaten
Het eerste wat duidelijk wordt uit de resultaten is dat geslacht en leeftijd geen invloed hebben en dus gelijk verdeeld zijn over de condities. Deze factoren zijn daarom niet
meegenomen in de rest van de analyses.
De factoranalyse die exploratief is uitgevoerd blijkt 5 factoren te onderscheiden. Deze factoren weerspiegelen de kern van ST, oefeningen in de therapie, de jeugd, de empathie van de therapeuten en de kritische houding van de therapeuten. Nadat alle analyses zijn uitgevoerd en er gecontroleerd is of er aan de assumpties voldaan is en of de schalen betrouwbaar zijn, blijven er 5 schalen over. Deze schalen bevatten 19 van de 22 oorspronkelijke items. Er is een groot aantal items (9 items) dat tezamen de kern van de ST weerspiegelt. Daarnaast blijken oefeningen in de therapie en het hebben over de jeugd belangrijke onderdelen te zijn van de ST. Deze drie schalen samen zouden de therapie specifieke eigenschappen van de ST kunnen weerspiegelen. De empathie schaal en kritische houding schaal weerspiegelen mogelijk de meer therapie algemene eigenschappen die bij elke therapie aanwezig zijn. Ondanks dat deze eigenschappen waarschijnlijk ook te vinden zijn bij therapeuten die andere vormen van therapie geven, zijn deze eigenschappen onmisbaar in de ST wat ervoor zorgt dat ze in deze vragenlijst ook eigen schalen vormen.
Er is een onafhankelijke t-toets uitgevoerd om te onderzoeken of de TIS kan differentiëren tussen ST en TAU. De resultaten tonen aan dat er een significant verschil is tussen de totaal scores op de TIS van de deelnemers in de ST en in de TAU conditie. De deelnemers in de ST conditie scoorden significant hoger dan de deelnemers in de TAU-conditie. Dit resultaat bleek een kleine effectgrootte te hebben. Deze effectgrootte geeft aan dat er in de therapie van de deelnemers in de ST-conditie zo’n 60-70% meer ST-technieken gebruikt zijn dan in de therapie van de deelnemers in de TAU conditie.
Er is met een ANOVA onderzocht welke van de drie condities van elkaar verschillen in TIS totaal score. De ANOVA bleek een significant effect voor conditie aan te tonen. Het eerste contrast toonde aan dat er een significant verschil is als de ST-A en ST-B conditie samen worden genomen en worden vergeleken met TAU. Het tweede contrast toonde aan dat de scores op de ST-A en ST-B conditie niet van elkaar verschillen als deze met elkaar worden vergeleken. De Gabriel post-hoc test liet zien dat zowel de deelnemers in de ST-A conditie als de deelnemers in de ST-B conditie significant hoger blijken te scoren op de TIS dan de deelnemers in de TAU conditie. Als de drie condities apart met elkaar vergeleken worden , blijkt dus dat er in beide ST-condities meer gebruik is gemaakt van typische ST-technieken. Deze post-hoc test toonde nogmaals aan dat er geen verschil gevonden kan worden als de scores van de deelnemers in de ST-A conditie vergeleken worden met de scores van de deelnemers in de ST-B conditie.
De 5 schalen die uit de exploratieve factoranalyse naar voren kwamen bleken, op de Empathie schaal na, allemaal een verschil te kunnen aantonen in score tussen de ST en TAU conditie. De deelnemers in de ST conditie scoorden hoger op de schalen dan de deelnemers in de TAU conditie. De Empathie schaal bleek geen verschil te kunnen aantonen in score.
27 Concluderend toont de exploratieve factoranalyse aan dat er meerdere componenten te onderscheiden zijn in de TIS. De KernST schaal lijkt de items te bevatten die de
grondbeginselen van de ST weergeven. Daarbij blijken de oefeningen die gedaan worden tijdens de therapie en de jeugd aparte onderdelen te zijn. De KernST, Oefeningen en Jeugd schalen lijken samen de therapie specifieke kenmerken van de ST te weergeven. Daarnaast zijn de empathie en de kritische houding van de therapeuten twee onderdelen in de ST die mogelijk meer therapie algemeen zijn, maar ondanks dat onmisbaar in de ST.
Er zijn twee belangrijke conclusies te trekken uit de resultaten van de t-toets en de ANOVA. Ten eerste blijken de deelnemers in de ST-A en ST-B conditie, of deze nu samen of apart genomen worden, hoger te scoren op de TIS dan de deelnemers in de TAU conditie. Er zijn in de ST condities dus meer typische-ST technieken gebruikt dan in de TAU conditie. De tweede belangrijke conclusie is dat er geen verschil kan worden gevonden tussen de scores van de deelnemers in de ST-A en ST-B conditie. In beide ST condities is er dus evenveel gebruik gemaakt van typische-ST technieken. Dit betekent dat de toevoeging van individuele sessies naast groepssessies, zoals in de ST-B conditie, niet zorgt voor een verandering in de hoeveelheid typische-ST technieken die gebruikt worden. Deze resultaten samen leiden tot de conclusie dat de TIS kan differentiëren tussen ST en TAU.
5.2 Beperkingen
Er zijn een aantal beperkingen aan dit onderzoek waar rekening mee moet worden gehouden bij het interpreteren van de resultaten. Een beperking die invloed kan hebben op de validiteit van het onderzoek is dat er wordt aangenomen dat een bepaalde score die een deelnemer haalt op de TIS gelijkstaat aan het aantal ST technieken die de therapeuten hebben gebruikt tijdens de therapie. Het is echter niet met zekerheid vast te stellen dat deze bewering opgaat. Het is mogelijk dat de deelnemers in het onderzoek niet in staat zijn om dit
waarheidsgetrouw te rapporteren om wat voor reden dan ook. Deelnemers zouden onbewust niet waarheidsgetrouw kunnen rapporteren doordat zij bijvoorbeeld last hebben van een depressie en daardoor een voor elk item een lage aanwezigheid scoren of vanwege het hebben van een bepaalde responsstijl. Deelnemers zouden ook bewust niet waarheidsgetrouw kunnen rapporteren doordat zij bijvoorbeeld geen klik hadden met de therapeuten en daardoor een lage aanwezigheid scoren van alle items of doordat zij de vele vragenlijsten lastig of
vervelend vonden en daardoor snel door de antwoorden heen zijn gegaan. Bij de selectie van de deelnemers is getracht om personen uit te sluiten van deelname aan het onderzoek, die mogelijk niet in staat zouden kunnen zijn tot waarheidsgetrouwe rapportage van de therapie. Een aantal factoren die hieronder vallen, zijn het hebben van een psychotische stoornis, antisociale persoonlijkheidskenmerken, een laag IQ of het niet beheersen van de taal.
Daarnaast is er gebruik gemaakt van een grote steekproef deelnemers. Dit zorgt ervoor dat een enkele uitschieter niet zoveel invloed heeft op het resultaat en hier dus voor gecontroleerd wordt. Ook zijn er een aantal items gebruikt waarin niet-typische ST technieken zijn
opgenomen. Als een deelnemer dus een bepaalde responsstijl heeft dan is dat te zien aan deze items, en deze items zorgen ervoor dat er wordt gecorrigeerd voor een extreem hoge of extreem lage score.
28 Een beperking die invloed kan hebben op de betrouwbaarheid van het onderzoek is dat niet alle deelnemers de TIS op alle 5 de meetmomenten hebben ingevuld. Er zijn deelnemers die de TIS slechts één keer hebben ingevuld en deze resultaten wegen net zo zwaar als de resultaten van deelnemers die de TIS op 5 verschillende momenten hebben ingevuld. Het vaker invullen van de TIS zorgt voor meer betrouwbare resultaten en geeft andere factoren minder kans om invloed te hebben op de resultaten. Echter zijn er in zowel de ST als de TAU conditie deelnemers waarbij dit het geval is, waardoor het niet voor ongelijke scores en resultaten tussen de condities zorgt.
Een beperking voor de conclusies van dit onderzoek is dat er niet alleen een nieuwe vragenlijst maar ook een nieuwe manier van vaststellen van de behandeldifferentiatie wordt onderzocht. Het kunnen differentiëren tussen ST en TAU van de TIS toont aan dat de TIS een valide vragenlijst is. Om te kunnen concluderen dat de behandeldifferentiatie met
zelfrapportage vastgesteld kan worden, zijn er andere onderzoeken nodig naar bijvoorbeeld andere therapievormen en met andere vragenlijsten. Als deze resultaten ook bewijs geven voor het kunnen vaststellen van de behandeldifferentiatie door middel van zelfrapportage, dan kan deze conclusie met meer zekerheid worden getrokken. Uit dit onderzoek kan slechts geconcludeerd worden dat het mogelijk is om de behandeldifferentiatie tussen ST en TAU met zelfrapportage vast kan worden gesteld met de TIS.
5.3 Theorie
In de meeste onderzoeken is het gangbaar om audio- of video opnames te maken en de therapeuten een checklist in te laten vullen waarmee de therapietrouw en gelijk ook de
behandeldifferentiatie wordt vastgesteld. Omdat het in dit onderzoek niet mogelijk was om zulke opnames te maken is er gekozen voor een zelfrapportage vragenlijst ingevuld door de patiënten. De theorie van Perepletchikova (2011) over de richtlijnen voor implementatie van TI procedures noemt een zelfrapportage vragenlijst over technieken van een therapievorm ingevuld door patiënten niet als een van de opties om de behandeldifferentiatie mee vast te stellen. Uit dit onderzoek blijkt dat de TIS kan differentiëren tussen ST en TAU en dat een zelfrapportage vragenlijst over technieken van een bepaalde behandeling daarom dus wel degelijk tot de opties behoort. Ook vormt de validatie van de TIS bewijs voor het wel kunnen gebruiken van patiënten als beoordelaars van de TI. Zij zouden volgens Waltz, Addis,
Koerner en Jacobson (1993) niet de kennis of training hebben die nodig is om op voldoende niveau te kunnen rapporteren. Deze bewering zal in twijfel moeten worden getrokken en in verder onderzoek worden meegenomen.
5.4 Conclusie
De exploratieve factoranalyse toont aan dat er 4 betrouwbare en 1 onbetrouwbare schaal kunnen worden geconstrueerd met de TIS. Naast de kern van de ST lijken de oefeningen in de therapie en de jeugd aparte onderdelen te zijn. De empathie en kritische houding van de therapeuten blijken ook apart te onderscheiden factoren in de ST.
Uit het onderzoek kan geconcludeerd worden dat de TIS een valide vragenlijst is die kan differentiëren tussen ST en TAU. De deelnemers in beide ST condities behaalden hogere scores op de TIS dan de deelnemers in de TAU conditie, wat wil zeggen dat er in de ST
29 condities meer gebruik is gemaakt van typische-ST technieken. Daarnaast bleek er geen verschil te kunnen worden aangetoond in het aantal typische-ST technieken die in beide ST condities zijn gebruikt. Een kanttekening hierbij is dat het resultaat slechts een kleine effectgrootte heeft.
Deze resultaten zijn een belangrijke stap in de implementatie van het vaststellen van de mate van TI in onderzoeken naar de effectiviteit van behandelingen. De mate van TI blijkt tot kort geleden in slechts 3.5% van de onderzoeken naar behandelingen op een correcte manier te worden vastgesteld (Perepletchikova, Treat en Kazdin, 2007). De tijd, kosten, moeite en obstakels die onderzoekers zien aan het vaststellen van de mate van TI zijn redenen om dit niet te doen (Perepletchikova, Hilt, Chereji & Kazdin, 2009). De validatie van de TIS zorgt voor nieuwe mogelijkheden in het vaststellen van de mate van TI. De kosten van het laten invullen van vragenlijsten door patiënten zullen aanzienlijk lager zijn dan het maken van audio- en video opnames en het aanstellen van onderzoekers die deze opnames beoordelen. Ook de tijd, moeite en obstakels zullen met deze ontwikkeling mee afnemen. Daarnaast draagt dit onderzoek bij aan het meer onder de aandacht brengen van het belang van het vaststellen van de mate van TI.
5.5 Aanbevelingen
Een aanbeveling voor vervolgonderzoek is het onderzoeken van de mogelijkheden van zelfrapportage vragenlijsten bij het vaststellen van de behandeldifferentiatie. Er zal
onderzocht moeten worden of er andere vragenlijsten kunnen worden geconstrueerd om de behandeldifferentiatie tussen andere behandelingen en TAU vast te stellen. Dit zou kunnen bijdragen aan zelfrapportage als optie om de behandeldifferentiatie mee vast te stellen.
De mogelijkheid van het gebruiken van patiënten bij de rapportage van de
behandeldifferentiatie (en mogelijk andere onderdelen van de TIS) biedt interessante kansen voor de toekomst. Eerdere onderzoeken van Luborsky, Woody, McLellan, O’Brien, en Rosenzweig (1982) en Klerman, Weissman, Rounsaville, en Chevron (1984) gaven al aanwijzingen voor de rapportagevaardigheden van patiënten betreffende de mate van TI. Uit dit onderzoek blijkt ook dat zij inderdaad in staat zijn om aan te geven als bepaalde
technieken meer of minder worden gebruikt. Het vaststellen van de mate van TI zal in de toekomst met toenemende mate belangrijker worden in het onderzoek naar de effectiviteit van behandelingen. Het zou interessant kunnen zijn om te onderzoeken wat de capaciteiten van patiënten zijn door hun beoordeling te vergelijken met die van getrainde beoordelaars.
Uit de theorie blijkt dat het mogelijk is om de therapietrouw vast te stellen met vragenlijsten waarin technieken opgenomen zijn die het meest karakteristiek zijn voor een bepaalde behandeling (Luborsky, Woody, McLellan, O’Brien, & Rosenzweig, 1982). Ook kan de competentie van de therapeuten worden vastgesteld met een beoordelingslijst (7-punts schaal) over de specifieke types van interventies (Klerman, Weissman, Rounsaville, & Chevron, 1984). In toekomstig onderzoek zou getracht kunnen worden om alle drie de onderdelen van de TI met alleen vragenlijsten vast te stellen. De vragen zouden dan deels moeten gaan over de voorgeschreven en de juist niet voorgeschreven procedures van de onderzochte therapievorm en in welke mate deze door de therapeuten gebruikt zijn. Hiermee kunnen dan zowel de therapietrouw als de behandeldifferentiatie worden vastgesteld. Het
30 andere deel van de vragen zou moeten gaan over de bekwaamheid van de therapeuten, wat het niveau is van hun vaardigheden en beoordelingsvermogen. Hiermee kan dan de bekwaamheid van de therapeuten worden vastgesteld. Dit zou de oplossing kunnen bieden voor het gebrek aan vaststellen van de mate van TI in onderzoeken.
31
Literatuur
Alonso, J., & Lépine, J. P. (2007). Overview of key data from the European Study of the Epidemiology of Mental Disorders (ESEMeD). Journal of Clinical Psychology, 68, 3-9.
American Psychiatric Association (1994). Diagnostic and Statistical Manual of Mental Disorders (fourth edition) American Psychiatric Association, Washington, DC.
American Psychiatric Association (2001). Practice guideline for the treatment of patients with borderline personality disorder—introduction. American Journal of Psychiatry, 158, 2. Barber, J. P., Gallop, R., Crits-Christoph, P., Frank, A., Thase, M. E., Weiss, R.
D., Gibbons, B. C. (2006).The role of therapist adherence, therapist competence, and alliance in predicting outcome of individual drug counseling: Results from the national institute drug abuse collaborative cocaine treatment study. Psychotherapy
Research, 16, 229–240.
Barber, J. P., Sharpless, B. A., Klostermann, S., McCarthy, K. S. (2007). Assessing
intervention competence and its relation to therapy outcome. Professional Psychology: Research and Practice, 38,493–500.
Barber, J., Triffleman, E., Marmar, C. (2007). Considerations in treatment integrity: Implications and recommendations for PTSD research. Journal of Traumatic Stress, 20, 793–805.
Bellg, A. J., Borrelli, B., Resnick, B., Hecht, J., Minicucci, D.S., Ory, M. et al. (2004). Enhancing treatment fidelity in health behavior change studies: Best practices and recommendations from the NIH behavior change consortium. Health Psychology, 23(5), 443–451.
Bender, D. S., Dolan, R. T., & Skodol, A. E. (2001). Treatment utilization by patients with personality disorders. American Journal of Psychiatry, 158, 295-302.
Blum, N., St John, D., Pfohl, B., Stuart, S., McCormick, M. A., Allen, J. et al. (2008). Systems Training for Emotional Predictability and Problem Solving (STEPPS) for outpatients with borderline personality disorder: a randomized controlled trial and 1 year follow-up. American Journal of Psychiatry, 165 (4), 468–478
Burke, R. V. (1996). Effects of treatment integrity and risk for children abuse on parent training outcomes. Dissertation Abstracts International, 56(7-A), 2884, US: University Microfilms International.
Carroll, K. M., & Nuro, K. F. (2002). One size cannot fit all: A stage model for psychotherapy manual development. Clinical Psychology: Science and Practice, 9, 396–406.
Chiesa, M., Fonagy, P., & Holmes, J. (2006). Six-year follow-up of three treatment programs for personality disorder. Journal of Personality Disorders, 20, 493–509
Clarkin, J. F. Levy, K. N., Lenzenweger, M. F., & Kernberg, O.F. (2007). Evaluating three treatments for borderline personality: a multiwave study. American Journal of Psychiatry, 164(6), 922–928
32 Davidson, K., Norrie, J., Tyrer, P., Gumley, A., Tata, P., Murray, H. et al. (2006). Journal of
Personality Disorders, 20(5), 450–65.
Dusenbury, L., Brannigan, R., Falco, M., & Hansen, W. B. (2003). A review of research on fidelity of implementation: Implications for drug abuse prevention in school settings. Health Education Research, 18(2), 237-256.
Durlak, J. A., & DuPre, E. P. (2008). Implementation Matters: A Review of Research on the Influence of Implementation on Program Outcomes and the Factors Affecting
Implementation. American Journal of Psychology, 41, 327-350.
Farrell, J. M., Shaw, I. A., & Webber, A. (2009). A schema-focused approach to group psychotherapy for outpatients with borderline personality disorder: A randomized controlled trial. Elsevier, 40(2), 317-328.
Galloway, J., & Sheridan, S. M. (1994). Implementing scientific practices through case studies: Examples using home-school interventions and consultation. Journal of School Psychology, 32, 385–413.
Gansle, K. A., & McMahon, C. M. (1997). Component integrity of teacher intervention management behavior using a student self-monitoring treatment: An experimental analysis. Journal of Behavioral Education, 7, 405–419.
Giesen-Bloo, J., van Dyck, R., Spinhoven, P., van Tilburg, W., Dirksen, C., van Asselt, T. et al. (2006). Outpatient psychotherapy for borderline personality disorder: randomized trial of schema-focused therapy vs. transference-focused psychotherapy. Archives of General Psychiatry, 63, 649–658.
Gearing, R. E., El-Bassel, N., Ghesquiere, A., Baldwin, Gillies, J., & Ngeow, E. (2011). Major ingredients of fidelity: A review and scientific guide to improving quality of intervention research implementation. Clinical Psychology Review, 31(1), 79-88. Gresham, F. M. (1989). Assessment of treatment integrity in school consultation and
prereferral intervention. School Psychology Review, 18, 37–50.
Gresham, F. M. (2004). Current status and future directions of school-based behavioral interventions. School Psychology Review, 33, 326–343.
Gresham, F. M., Donald, L., MacMillan, D. L., Beebe-Frankenberger, M. E., & Bocian, K. M. (2000). Treatment integrity in learning disabilities intervention research: Do we really know how treatments are implemented? Learning Disabilities Research and Practice, 15, 198–205.
Gresham, F. M., Gansle, K. A., & Noell, G. H. (1993). Treatment integrity in applied behavior analysis with children. Journal of Applied Behavior Analysis, 26, 257–263. Gresham, F., MacMillan, D. L., Beebe-Frankenberger, M. B., & Bocian, K. M. (2000).
Treatment integrity in learning disabilities intervention research: Do we really know how treatments are implemented? Learning Disabilities Research and Practice, 15, 198–205.
