Klachtreductie Binnen de GGZ: Vergelijking van Generieke
Versus Stoornis-Specifieke Vragenlijsten
Naam: Gabrielle Oosterdijk Studentnummer: 10179518 Universiteit van Amsterdam
Begeleider UvA: Arnold van Emmerik Begeleider GGZ-NHN: Annet Nugter Datum: 21 februari 2016
Inhoud Abstract 3 Klachtreductie Binnen de GGZ 4 Methode 7 Resultaten 11 Discussie 17 Literatuur 21 Bijlage 26
Abstract
Achtergrond en doel: Bij Routine Outcome Monitoring (ROM) wordt veelal gebruik gemaakt van generieke vragenlijsten. Dit onderzoek kijkt of er verschil is in vooruitgang, tussen de meting met stoornis-specifieke vragenlijsten en een generieke vragenlijst.
Methode: Er is gebruik gemaakt van bestaande data van 657 cliënten bij de GGZ-NHN met een angststoornis. De vragenlijsten waren de OQ-45, AGO, PADUA, POL, PSWQ, SFS, SIAS en SVL. Vooruitgang is op meerdere manieren
geoperationaliseerd.
Resultaten: Er bleek een ander beloop van de vooruitgang gevonden te worden voor beide soorten vragenlijsten, waarbij de generieke vragenlijst over het algemeen meer vooruitgang liet zien.
Conclusie: Er is verschil in gemeten vooruitgang en men zou daarom beide soorten vragenlijsten moeten gebruiken bij het beoordelen van een behandeling.
Klachtreductie Binnen de GGZ
Tegenwoordig is er steeds meer aandacht voor uitkomsten binnen de geestelijke gezondheidszorg (GGZ). Routine Outcome Monitoring (ROM) wordt steeds belangrijker. Hierbij worden de uitkomsten van behandelingen systematisch gemeten (Nugter & Buwalda, 2012; Van Os et al., 2012). Dit gebeurt met
klachtgerichte vragenlijsten die zowel aan het begin, als aan het eind van de
behandeling worden afgenomen en soms ook tijdens de behandeling. De uitkomsten van ROM kunnen voor verschillende doeleinden gebruikt worden. Ten eerste kan er op individueel niveau door de therapeut gekeken worden naar het verloop van de behandeling van een cliënt en kan aan de hand van de resultaten eventueel besloten worden de behandeling aan te passen. Dit soort feedback aan de behandelaar is zeer effectief gebleken: het ontvangen van feedback over het verloop van de behandeling heeft een positieve uitwerking op de uitkomst van de behandeling (Harmon et al., 2007; Knaup, Koesters, Schoefer, Becker & Puschner, 2009; Lambert et al., 2001; Shimokawa, Lambert & Smart, 2010).
Een tweede manier waarop ROM data gebruikt kan worden is voor
vergelijkingen of evaluaties binnen een instelling. Met gegevens van ROM kunnen bijvoorbeeld afdelingen onderling vergeleken worden of kan evaluatie van nieuwe beleidsvormen plaatsvinden (Nugter & Buwalda, 2012). Een derde aspect waar ROM data voor kan dienen is de vergelijking tussen instellingen, ook wel benchmarking genoemd (Barendregt, 2015; Nugter & Buwalda, 2012). Dit wordt vooral gedaan in opdracht van zorgverzekeraars, wat enige zorg met zich meebrengt over de eventuele interferentie van interne- met externe doeleinden; te weten de kwaliteitsverbetering binnen de behandeling versus de kwaliteitsverbetering van de gehele instelling en de eventuele financiering die daarmee samengaat (Barendregt, 2015). Daarnaast kan de wetenschap dat de gegevens naar buiten komen, van invloed zijn op de manier waarop men de vragenlijsten invult (Nugter & Buwalda, 2012), wat deels ook zorgt voor bedenkingen over de validiteit van deze gegevens (Van Os et al., 2012). Bovendien wordt er met deze ‘one size fits all’ benadering voorbij gegaan aan de complexiteit van de geestelijke gezondheidszorg (Van Os et al., 2012), terwijl deze complexiteit juist van belang is bij het bepalen van het echte herstel van een cliënt. Een valide maat voor herstel, ontbreekt echter nog bij ROM (Van Os et al., 2012). Het is nog onduidelijk wanneer iemand echt hersteld is, terwijl dit juist het belangrijkste is voor de cliënt. Dit soort kwesties verdienen aandacht en onderzoek naar hoe er mee
om te gaan. Tot slot wordt ROM data gebruikt voor onderzoek. Door de grote hoeveelheid aan datagegevens kan er op veel gebieden onderzoek gedaan worden, zoals bijvoorbeeld naar de effectiviteit van een behandeling (Nugter & Buwalda, 2012).
Gezien de vele doeleinden van ROM en de toenemende belangen die hieraan gehecht worden, is het van belang dat ROM zich wel op de meest accurate informatie baseert en dat de uitkomsten waaraan eventuele conclusies verbonden worden, wel een optimaal beeld geven van de behandeluitkomst.
De eerstgenoemde en veelgebruikte functie van ROM is het verloop van de behandeling evalueren. Er wordt daarbij gekeken of een cliënt voor- of achteruitgang van de klachten laat zien dan wel of de behandeling stagneert. Dit gebeurt aan de hand van de scores op een ROM vragenlijst, welke worden gebruikt om de
behandeling te sturen. Voor ROM zijn meerdere instrumenten beschikbaar, die vaak generiek van aard zijn en zich bijvoorbeeld richten op de afname van klachten, het verbeterd functioneren en de kwaliteit van leven (Nugter & Buwalda, 2012). Hierbij wordt geen rekening gehouden met het soort problematiek waarvoor de behandeling bij de cliënt is ingezet. Er zijn echter ook vragenlijsten die zich meer op de specifieke stoornis en de daarbij behorende symptomen richten en op de eventuele vooruitgang die een cliënt daarop laat zien. Het is mogelijk, dat de gemeten vooruitgang van een cliënt anders is wanneer er gevraagd wordt naar algemene klachten, dan wanneer er gevraagd wordt naar specifieke klachten gerelateerd aan de stoornis waar de cliënt mee gediagnosticeerd is. Een eerder onderzoek laat bijvoorbeeld zien, dat er meer vooruitgang wordt gevonden bij mensen met een obsessief compulsieve stoornis (OCS), wanneer er wel gekeken wordt naar de specifieke klachten (Lee, Jones, Goodman & Heyman, 2005). Bij dit onderzoek werd de vooruitgang van cliënten met OCS onderzocht met zowel een generieke als een stoornis-specifieke vragenlijst en hieruit kwam naar voren dat hoe generieker de inhoud van de vragenlijst, hoe kleiner de effect size van de vooruitgang.
De vraag is dus of de generieke vragenlijsten wel voldoende specifieke informatie geven over de voortgang van de behandeling. Deze vraag wordt in het huidige onderzoek bekeken voor cliënten met een angststoornis. Dit, omdat een angststoornis een van de meest voorkomende stoornissen is (Hofmann & Smits, 2008; Wampold et al., 2011), met een twaalf maanden prevalentie van 18.1% en een
soorten angststoornissen zijn, er ook veel verschillende soorten stoornis-specifieke vragenlijsten zijn voor angststoornissen, waardoor een eventueel verschil tussen generieke en stoornis-specifieke vragenlijsten wellicht goed naar voren zou kunnen komen in onderzoek. Bovendien wordt in de praktijk toch vaak voor een generieke vragenlijst gekozen, wellicht juist mede doordat er veel keus is in stoornis-specifieke vragenlijsten en er dan gekozen wordt voor een vragenlijst waarvan gedacht wordt dat deze alles omvat.
Er is veel wetenschappelijk onderzoek gedaan naar de effectiviteit van de behandeling van angststoornissen en daaruit blijkt dat cliënten met een angststoornis baat hebben bij verschillende vormen van therapie, waaronder Cognitieve
Gedragstherapie (Hofmann & Smits, 2008) en andere vormen van Evidence Based Treatment (Wampold et al., 2011). Bij wetenschappelijk onderzoek naar de
effectiviteit van een behandeling wordt veelal gebruik gemaakt van vragenlijsten die zich richten op de specifieke klachten van een stoornis (Aderka, Nickerson, Bøe & Hofmann, 2012). Hier lijkt sprake te zijn van twee tegengestelde manieren van het onderzoeken van de vooruitgang van een cliënt. Wanneer de effectiviteit van een behandeling en dus de vooruitgang van cliënten door die behandeling
wetenschappelijk wordt onderzocht, wordt gekeken naar de afname van stoornis-specifieke symptomen bij de cliënt. De meer algemene uitkomsten zijn hooguit een secundaire onderzoeksvraag. Wanneer echter in de praktijk onderzocht wordt of cliënten vooruit gaan door een behandeling binnen een instelling, wordt gekeken naar de afname van algemenere klachten. Bovendien laat onderzoek ook zien, dat
behandeling in de praktijk vaak minder positieve resultaten laat zien dan in wetenschappelijk onderzoek (Berkham et al., 2008; Hansen, Lambert & Forman, 2002). Naast het gebrek aan mogelijkheden om in de praktijk cliënten, dan wel therapeuten te selecteren, zou het gebruik van generieke vragenlijsten in de praktijk hier ook een mogelijke verklaring voor kunnen zijn. De vraag is dan ook of de huidige ROM-praktijk niet een onderschatting geeft van de uitkomsten van
behandelingen. Het is immers voor te stellen dat, gezien de variëteit aan psychische stoornissen en de verscheidenheid binnen psychische stoornissen, een generieke vragenlijst wellicht een minder duidelijk beeld geeft van de eventuele vooruitgang van een cliënt.
Het doel van het huidige onderzoek is daarom om te kijken of er een verschil is tussen de mate van vooruitgang van een cliënt wanneer deze gemeten wordt met
een generieke vragenlijst en wanneer deze gemeten wordt met een stoornis-specifieke vragenlijst. De hypothese bij dit onderzoek was dat cliënten met een angststoornis meer vooruitgang laten zien op een stoornis-specifieke vragenlijst, dan op een generieke vragenlijst. Dit is mede gebaseerd op de resultaten van het onderzoek van Lee et al. (2005), waarbij meer vooruitgang werd gevonden bij mensen met OCS wanneer dit gemeten werd met een specifieke vragenlijst. Ook is uitgegaan van het onderzoek naar de resultaten van een behandeling bij cliënten met een angststoornis en de vooruitgang die zij over het algemeen laten zien, juist op stoornis-specifieke vragenlijsten.
Methode Deelnemers
Voor dit onderzoek is gebruik gemaakt van bestaande data van 657 cliënten met een angststoornis bij de geestelijke gezondheidszorg Noord-Holland-Noord (GGZ-NHN). Dit aantal is verkregen door een selectie te maken van cliënten die bij de GGZ-NHN in behandeling zijn geweest binnen de periode 01-01-2011 en 31-12-2014. Deze cliënten moesten een angststoornis uit de Diagnostic and Statistical Manual of Mental Disorders (DSM; 4th ed., text rev.; American Psyhiatric
Association, 2000) hebben, onafhankelijk van eventuele comorbiditeit. Hier is voor gekozen, omdat zelfs als er sprake was van comorbiditeit, de behandelaar de
angststoornis blijkbaar genoeg waarde toekende, om de gekozen vragenlijsten daarop te selecteren. Onder een angststoornis werden de volgende diagnoses verstaan: agorafobie, gegeneraliseerde angststoornis, obsessief-compulsieve stoornis, paniekstoornis, posttraumatische stress-stoornis, sociale fobie, specifieke fobie en angststoornis NAO. Ook werden alleen de gegevens van cliënten gebruikt wanneer deze hun behandeling hadden afgerond, blijkens een nameting op de vragenlijsten, en een leeftijd hadden tussen de 18 en 65 jaar. Cliënten moesten zowel een voor- als een nameting op de OQ-45 en op een stoornis-specifieke vragenlijst hebben.
Materiaal
Voor het meten van de vooruitgang van cliënten is gebruik gemaakt van een generieke vragenlijst en meerdere stoornis-specifieke vragenlijsten, afhankelijk van het soort stoornis waarmee de cliënt gediagnosticeerd was. Voor de generieke vragenlijst is gebruik gemaakt van de symptomatische distress (SD) schaal van de Outcome Questionnaire (OQ-45; Lambert et al., 1996; De Jong et al., 2007). Deze
vragenlijst wordt gebruikt om vooruitgang van cliënten in behandeling te meten aan de hand van drie domeinen belangrijk voor psychisch welzijn: subjectief onbehagen, interpersoonlijke relaties en functioneren in de sociale rol (Lambert et al., 1996). Deze domeinen worden gedacht vooral beïnvloed te worden door eventuele
psychopathologie. De SD schaal richt zich specifieker op de meest voorkomende symptomen van psychiatrische problemen. De vragenlijst bestaat uit 45 vragen, waarvan 25 behoren tot de SD schaal, die beantwoord worden op een schaal die loopt van nooit (0) tot bijna altijd (4). Zowel de betrouwbaarheid als de validiteit van deze vragenlijst wordt goed bevonden (Lambert et al., 1996; De Jong et al., 2007).
Voor de stoornis-specifieke vragenlijst zijn meerdere vragenlijsten gebruikt, afhankelijk van het soort angststoornis waar de cliënt mee gediagnosticeerd was: de Agorafobie Schaal (AGO; Ost, 1990), de Padua Inventory-Revised (Sanavio, 1988), de Paniek Opinie Lijst (POL; Telch, 1987), de Penn State Worry Questionnaire (PSWQ; Meijer, Miller, Metzger & Borkovec, 1990), de Socialefobie Schaal (SFS; Mattick & Clarke, 1998), de Social Interaction and Anxiety Scale (SIAS; Mattick & Clarke, 1998) en de Schokverwerkingslijst (SVL-22; Horowitz, Wilner & Alvarez, 1979). Deze gebruikte vragenlijsten en een aantal van hun eigenschappen staan weergegeven in Tabel 1. Voor alle vragenlijsten geldt hoe hoger de score, hoe meer klachten. In de Bijlage staat van elke gebruikte vragenlijst een voorbeelditem. Tabel 1
Instrument, Meetpretentie, Aantal Items en Antwoord Type van de gebruikte Stoornis-Specifieke Vragenlijsten
Instrument Meetpretentie Aantal Items Antwoord Type
AGO Symptomen horend
bij een agorafobie
20 0 = geheel geen angst. 4 = zeer veel angst
PADUA/PI-R Symptomen horend bij een obsessief compulsieve stoornis
41 0 = nooit/helemaal niet. 4 = zeer vaak
POL Symptomen horend
bij een
paniekstoornis
45 0 = helemaal geen. 100 = zeer veel*
bij een gegeneraliseerde angststoornis kenmerkend. 5 = erg kenmerkend SFS Symptomen horend
bij een sociale fobie, gericht op observatie door anderen
20 0 = helemaal niet van toepassing. 4 = helemaal van toepassing
SIAS Symptomen horend
bij een sociale fobie, gericht op sociale interactie
20 0 = helemaal niet van toepassing. 4 = helemaal van toepassing SVL-22 Symptomen horend bij ptss 22 0 = helemaal niet. 4 = Erg vaak
*Bij de POL zijn de antwoordmogelijkheden per subschaal anders geformuleerd, bijvoorbeeld ‘helemaal geen vertrouwen’ of ‘helemaal nooit’.
Procedure
Voor aanvang van de behandeling kreeg de cliënt middels een brief informatie over ROM en het belang van het regelmatig invullen van een aantal vragenlijsten. Ook werd de cliënt op hoogte gebracht van het gebruik van zijn of haar gegevens voor onder andere wetenschappelijk onderzoek en de anonieme verwerking van deze gegevens. De eerste keer dat er gevraagd werd een vragenlijst in te vullen, was na het eerste gesprek. Hier was een medewerker bij aanwezig voor uitleg. De vragenlijst betrof in elk geval de OQ-45 en een stoornis-specifieke vragenlijst, gericht op zijn of haar desbetreffende stoornis. Aan het einde van het behandeltraject werd voor de laatste keer gevraagd om de vragenlijsten in te vullen.
Data-Analyse
Om te beginnen is voor alle gebruikte scores gekeken of er sprake was van normaal verdeelde data aan de hand van de Kolmogorov-Smirnov toets. Hierbij is wel rekening gehouden met de grootte van de dataset. Bekend is immers, dat bij een grote steekproef, de data snel uit de tests komt als zijnde niet normaal verdeeld (Field, 2009). Bij de interpretatie van de normaliteit is daarom enige voorzichtigheid geboden en is ook gekeken naar de histogrammen en Q-Q plots. Wanneer hieruit
echter ook bleek dat de data niet normaal verdeeld was, is bij de betreffende analyse voor een non-parametrische toets gekozen.
Vooruitgang van cliënten werd op meerdere manieren getoetst en beoordeeld. Allereerst is bij dit onderzoek gekeken of er überhaupt samenhang bestond tussen de metingen van de generieke vragenlijst en de stoornis-specifieke vragenlijsten. Deze samenhang is berekend voor de voor- en nametingen en de verschilscores van beide soorten vragenlijsten. Om de samenhang tussen de verschillende vragenlijsten te kunnen berekenen, zijn eerst alle scores omgezet naar genormaliseerde t-scores volgens de methode van De Beurs (2010) en over deze scores is een Pearson Correlatie test uitgevoerd.
Vervolgens is gekeken naar verschillen in effect size (Cohen, 1988) tussen de voor- en nameting van de generieke vragenlijst en tussen de voor- en nameting van de stoornis-specifieke vragenlijsten. Deze effect-sizes geven de grootte weer van het effect van de behandeling volgens de scores op de vragenlijsten met behulp van de volgende formule:
Cohen’s d = M1 - M2/ σ
Waarbij σ = √(SD1² + SD2² - 2 * r * SD1 * SD2)
Deze laatste formule neemt ook de correlatie tussen de voor- en nameting mee, om zo te controleren voor de afhankelijkheid tussen beide metingen. De effect-size is een gestandaardiseerde maat voor vooruitgang en hierdoor kunnen de verschillende effect-sizes onderling met elkaar vergeleken worden. Verwacht werd dat de
stoornis-specifieke vragenlijsten een hogere effect-size en dus een groter effect van de
behandeling zouden laten zien, dan de generieke vragenlijst. Waarbij uitgegaan is van de volgende normering: effect-size 0.2 tot 0.5 = klein, 0.5 tot 0.8 = middelmatig, groter dan 0.8 = groot.
Er is bij dit onderzoek ook gekeken naar de betrouwbaarheid van de eventueel gevonden verschillen in vooruitgang. Dit is gedaan met behulp van de Reliable Change Index (RCI; Jacobson & Truax, 1991). Deze RCI geeft aan in hoeverre een gevonden verandering ook een daadwerkelijke verandering representeert en niet slechts het gevolg is van een onbetrouwbaarheid van de meting. Bij een RCI groter dan 1.96 kan ervan uit worden gegaan dat er echte verandering heeft plaatsgevonden, omdat de kans dat de weergegeven verandering door toeval ontstaan is, kleiner is dan p<.05. De RCI kan berekend worden met de volgende formule:
Waarbij Sdiff = √(2(SE)²) Waarbij SE = S1*√(1-rxx)
Hierbij is S1 de standaarddeviatie op de voormeting van de vragenlijsten en rxx de test-hertest betrouwbaarheid van de vragenlijst. Met deze RCI kan per vragenlijst bekeken worden hoeveel cliënten er vooruit gaan, stagneren of achteruit gaan en met behulp van de Kappa waarde (Ronk, Hooke & Page, 2012) kan vervolgens gekeken worden naar de overeenstemming hiervan tussen alle vragenlijsten. Daarnaast geeft de Kappa waarde ook weer hoe groot deze overeenstemming eventueel is (Viera, Joanne & Garrett, 2005). Hierbij worden de volgende criteria gehanteerd: .01 - .20 = gering, .21 - .40 = matig, .41 - .60 = redelijk, .61 - .80 = substantieel, .81 - .90 = bijna perfect. Er werd een lage mate van overeenstemming tussen beide soorten vragenlijsten
verwacht, omdat bij de stoornis-specifieke vragenlijsten verwacht werd dat cliënten een ander soort beloop van hun behandeling lieten zien, dan bij de generieke vragenlijst.
Met een Pearson Chi-Square toets is gekeken naar de samenhang tussen het soort vragenlijst en het aantal deelnemers dat wel of niet vooruit ging volgens de RCI. Hierbij werd verwacht dat er samenhang zou zijn en dat deze samenhang zich zou vertalen in meer vooruitgang volgens de RCI, wanneer gemeten met een stoornis-specifieke vragenlijst, dan met de generieke vragenlijst.
Tot slot is gekeken naar de verschillen in vooruitgang door te kijken naar de verschilscores van de vragenlijsten. Deze scores zijn tot stand gekomen, door de t-eindscores van de t-beginscores af te trekken. Over deze verschilscores isvervolgens een Paired-Samples t-toets uitgevoerd. Er werd een significant verschil verwacht tussen de verschilscores van de stoornis-specifieke vragenlijsten en de generieke vragenlijst, waarbij de stoornis-specifieke vragenlijsten een groter verschil, en dus meer vooruitgang zouden laten zien, dan de generieke vragenlijst.
Resultaten
Omdat deelnemers van te voren waren geselecteerd op bepaalde
eigenschappen, die dienden als voorwaarden om mee te worden genomen in dit onderzoek, was er geen sprake van uitval en zijn alle 657 deelnemers meegenomen in de analyses. Van deze deelnemers was 234 (35.6%) man en 423 (64.4%) vrouw. De gemiddelde leeftijd was 35.97 (SD=11.87) jaar bij aanvang van het zorgtraject. Er waren 609 (92.7%) deelnemers met een angststoornis als hoofddiagnose en 8 (1.2%)
deelnemers met een comorbide stemmingsstoornis. De overige 40 (6.1%) deelnemers hadden een stemmingsstoornis als hoofddiagnose met een comorbide angststoornis.
In Tabel 2 zijn de gemiddelde scores en standaardafwijkingen weergegeven voor de verschillende vragenlijsten.
Tabel 2
Gemiddelden (M) en Standaarddeviaties (SD) op de Voor- en Nameting van de Vragenlijsten Vragenlijst M SD M(SD) OQ-45 SD schaal* OQ-45, SD schaal (n=657) Voormeting Nameting 53.97 39.44 14.21 17.30 -- AGO (n=147) Voormeting Nameting 27.63 17.24 17.85 16.32 53.47 (13.69) 40.58 (16.17) PADUA (n=71) Voormeting Nameting 57.48 40.42 23.45 20.57 52.87 (13.59) 36.70 (15.79) POL (n=214) Voormeting Nameting 511.64 322.10 301.87 299.61 53.29 (13.62) 39.87 (15.85) PSWQ (n=114) Voormeting Nameting 62.22 53.26 11.54 14.27 54.33 (13.95) 38.89 (17.33) SFS (n=71) Voormeting Nameting 39.68 24.69 18.25 15.29 50.18 (13.59) 38.80 (16.66) SIAS (n=70) Voormeting Nameting 43.33 31.80 14.67 14.70 49.99 (13.74) 38.33 (16.38) SVL (n=196) Voormeting Nameting 56.54 36.87 14.34 22.30 56.71 (14.65) 40.82 (19.54) *Weergegeven van de corresponderende meting op de OQ-45 SD schaal met de
desbetreffende stoornis-specifieke vragenlijst
Voor het berekenen van de samenhang tussen de verschillende metingen van de verschillende vragenlijsten, is gekeken naar de Pearson Correlatie Coëfficiënt tussen de genormaliseerde t-scores van elke stoornis-specifieke vragenlijst en de OQ-45 SD schaal. Dit is gedaan met de voor- en nametingen van de vragenlijsten en met de verschilscores. In Tabel 3 staat voor elke stoornis-specifieke vragenlijst de
correlatie met de OQ-45 weergegeven, tussen de scores op de desbetreffende metingen.
Tabel 3
Correlaties (r) en Significantieniveau (p) tussen de Voor- en Nametingen en de Verschilscores van de Stoornis-Specifieke Vragenlijsten en de OQ-45 SD Schaal Stoornis-Specifieke Vragenlijst Pearson Correlatie Coëfficiënt r* p AGO Voormeting 0.45 <.001 Nameting 0.65 <.001 Verschilscores 0.63 <.001 PADUA Voormeting 0.33 .004 Nameting 0.49 <.001 Verschilscores 0.29 .015 POL Voormeting 0.52 <.001 Nameting 0.64 <.001 Verschilscores 0.53 <.001 PSWQ Voormeting 0.43 <.001 Nameting 0.74 <.001 Verschilscores 0.46 <.001 SFS Voormeting 0.39 .001 Nameting 0.64 <.001 Verschilscores 0.61 <.001 SIAS Voormeting 0.31 .009 Nameting 0.68 <.001 Verschilscores 0.65 <.001 SVL Voormeting 0.51 <.001 Nameting 0.76 <.001 Verschilscores 0.53 <.001
* Weergegeven van desbetreffende meting op de stoornis-specifieke vragenlijst, corresponderend met de overeenkomstige meting op de OQ-45 SD schaal
Uit bovenstaande gegevens blijkt dat er een significante positieve samenhang bestaat tussen de scores op de stoornis-specifieke vragenlijsten en de generieke vragenlijst. Dit houdt in dat een hoge score op een stoornis-specifieke vragenlijst,
vaak gepaard gaat met een hoge score op de generieke vragenlijst en ditzelfde geldt voor lage scores. De gevonden correlaties zijn echter niet hoog en lijken over het algemeen wel hoger te zijn voor de verschilscores en de scores op de nameting, dan voor de scores op de voormeting.
Om de de effect-size per vragenlijst te kunnen berekenen, is eerst de correlatie tussen de voor- en nameting per vragenlijst berekend. Met de Kolmogorov-Smirnov toets is per vragenlijst voor de voor- en nameting gekeken of er aan de assumptie van normaliteit werd voldaan. Dit bleek niet voor elke meting zo te zijn. Rekening
houdende met het feit dat er bij grote steekproeven snel een afwijking van normaliteit wordt gevonden, is ook gekeken naar de histogrammen en de Q-Q plots en is er bij sommige vragenlijsten voor gekozen om de Pearson Correlatie coëfficiënt toe te passen, omdat de data wel normaal verdeeld bleek te zijn. Voor een aantal
vragenlijsten is echter voor de Spearman Correlatie coëfficiënt gekozen, gezien daar de assumptie van normaliteit ook volgens de histogrammen en Q-Q plots geschonden werd. Het ging hierbij om de AGO, POL, SFS en SVL. In Tabel 4 staan de effect sizes weergegeven per vragenlijst.
Tabel 4
Effect Sizes (Cohen’s d) per Vragenlijst
Vragenlijst Cohen’s d Cohen’s d OQ-45 SD schaal*
OQ-45, SD schaal totaal 0.92 --
AGO 0.75 0.83 PADUA 0.95 1.14 POL 0.62 0.90 PSQW 0.65 1.01 SFS 0.86 0.75 SIAS 0.72 0.78 SVL 0.91 0.91
* Weergegeven van de corresponderende meting op de OQ-45 SD schaal met de desbetreffende stoornis-specifieke vragenlijst
De effect sizes blijken allemaal medium of groot te zijn, waarbij de PADUA het grootste effect van de behandeling laat zien en de POL het kleinste effect, wanneer gekeken naar de effect-size van de gehele vragenlijsten. De OQ-45 laat een grote effect-size zien, welke vergelijkbaar is met die van de PADUA, SFS en SVL,
maar welke hoger ligt dan die van de AGO, POL, PSWQ en SIAS. De stoornis-specifieke vragenlijsten blijken onderling redelijk te variëren in effect-size, waarbij ze vaker onder het niveau van de OQ-45 liggen, dan dat ze vergelijkbaar of groter zijn. Daarnaast blijkt uit de vergelijking van de effect size op de OQ-45 en de stoornis-specifieke vragenlijst van de corresponderende meting, dat de OQ-45 daar over het algemeen een grotere effect size laat zien. Beiden resultaten waren niet in lijn met de verwachting.
Voor de RCI is per vragenlijst per deelnemer de RCI berekend en is vervolgens gekeken hoeveel deelnemers volgens deze RCI vooruit zijn gegaan, gestagneerd zijn, of achteruit zijn gegaan. Ook is voor deze aantallen de mate van overeenstemming tussen de vragenlijsten berekend, in de vorm van de Kappa waarde. Het aantal deelnemers per vragenlijst dat vooruit is gegaan, gestagneerd is of achteruit is gegaan, staat in aantallen en procenten ten opzichte van de desbetreffende
vragenlijst, weergegeven in Tabel 5. De Kappa waarden voor de stoornis-specifieke vragenlijsten en de generieke vragenlijst staan tevens weergegeven in Tabel 5. Tabel 5
Aantal Deelnemers met Vooruitgang, Stagnatie of Achteruitgang volgens de RCI per Vragenlijst en Overeenstemming (Kappa) en Significantieniveau (p) met de OQ-45 SD Schaal
Vragenlijst Vooruit Stagnatie Achteruit Kappa* p OQ-45, SD schaal 357(54.3%) 284 (43.2%) 16 (2.4%) -- -- AGO 51 (34.7%) 94 (63.9%) 2 (1.4%) .28 <.001 PADUA 29 (40.8%) 42 (59.2%) 0 .12 <.001 POL 83 (38.6%) 116 (54.4%) 15 (7%) .25 <.001 PSWQ 46 (40.4%) 61 (53.5%) 7 (6.1%) .23 .005 SFS 33 (46.5%) 37 (52.1%) 1 (1.4%) .41 <.001 SIAS 27 (38.6%) 39 (55.7%) 4 (5.7%) .38 <.001 SVL 115 (58.7%) 73 (37.2%) 8 (4.1%) .43 <.001
* Weergegeven van de corresponderende meting op de OQ-45 SD schaal met de desbetreffende stoornis-specifieke vragenlijst
Uit deze gegevens kan afgeleid worden dat er over het algemeen een matige overeenstemming is tussen de vragenlijsten wat betreft vooruitgang, stagnatie en
achteruitgang volgens de RCI, waarbij de PADUA slechts een geringe overeenkomst heeft met de OQ-45 en de SFS en SVL een redelijke overeenkomst. Dit betekent dat deelnemers niet eenzelfde soort beloop laten zien van hun behandeling, volgens de stoornis-specifieke vragenlijsten en de generieke vragenlijst. Dit resultaat was in lijn met de verwachting.
Met een Pearson Chi-Square toets is gekeken of er samenhang bestond tussen het soort vragenlijst en wel of geen vooruitgang volgens de RCI. Er bleek een
significante samenhang: χ²(1) = 91.99, p < .001. Gebaseerd op de Odds Ratio, lijkt deze significantie te representeren dat de kans op vooruitgang volgens de RCI 1.19 keer zo groot is, wanneer van de scores op de generieke vragenlijst uit wordt gegaan, dan wanneer de scores op de stoornis-specifieke vragenlijst als uitgangspunt worden genomen. Dit was niet in lijn met de verwachting.
Voor het berekenen van een eventueel verschil in de mate van vooruitgang tussen beide soorten vragenlijsten, is gebruik gemaakt van een Paired-Samples t-toets die is uitgevoerd over de verschilscores van de stoornis-specifieke vragenlijsten en de generieke vragenlijst. De verschilscores zijn verkregen door de genormaliseerde t-scores op de voormeting van de genormaliseerde t-t-scores op de nameting af te trekken. In Tabel 6 staan per stoornis-specifieke vragenlijst de gemiddelden verschilscores en standaard error, evenals de corresponderende verschilscores en standaard error van de generieke vragenlijst. Ook staan de uitkomsten van de Paired-Samples t-toets weergegeven. Deze uitkomsten zijn gebaseerd op de Paired-Paired-Samples t-toets die is uitgevoerd over de verschilscores van de desbetreffende
stoornis-specifieke vragenlijst en de OQ-45 SD schaal. Tabel 6
Gemiddelde Verschilscores (M) en Standaarderror (SE) per Vragenlijst en T-waarden (t), Vrijheidsgraden (df) en Significantienievau (p)
Vragenlijst M (SE) OQ-45 SD Schaal M (SE) t* df* p* AGO 6.83 (0.66) 8.40 (0.84) 2.36 146 .020 PADUA 8.33 (0.94) 10.38 (1.12) 1.65 70 .103 POL 7.50 (0.70) 8.76 (0.67) 1.89 213 .06 PSWQ 6.78 (0.99) 9.99 (0.93) 3.20 113 .002 SFS 8.35 (1.10) 7.16 (1.21) -1.15 70 .254
SIAS 7.66 (1.23) 7.36 (1.20) -.29 69 .771
SVL 10.93 (0.88) 10.33 (0.83) -.72 195 .471
* Blijkens de Paired-Samples t-toets over de verschilscores van de stoornis-specifieke vragenlijsten en de corresponderende verschilscores van de OQ-45 SD schaal
Uit bovenstaande tabel kan afgeleid worden, dat de gemiddelden
verschilscores op de AGO, PADUA, POL en PSWQ lager waren dan de gemiddelden verschilscores van de OQ-45, waarbij het verschil met de AGO en de PSWQ
significant is. Bij de SFS, SIAS en SVL waren de gemiddelden verschilscores hoger dan op de OQ-45, maar dit bleek niet significant. De resultaten laten zien dat
deelnemers volgens de AGO en de PSWQ significant minder vooruitgang laten zien dan volgens de OQ-45. Voor de overige vragenlijsten zijn de verschillen, in beide richtingen, niet significant. Dit resultaat was niet in lijn met de verwachting.
Discussie
In dit onderzoek is gekeken of er een verschil is in de mate van vooruitgang die cliënten laten zien op een stoornis-specifieke vragenlijst en op een generieke vragenlijst. Deze vooruitgang is op meerdere manieren geoperationaliseerd. Allereerst is uit de resultaten gebleken dat er een positieve samenhang bestaat tussen de scores op de stoornis-specifieke vragenlijsten en de scores op de generieke vragenlijst. Deze samenhang verschilt wel in grootte tussen de vragenlijsten en is ook verschillend voor de verschillende metingen. Het lijkt er op dat de scores op de stoornis-specifieke vragenlijsten redelijk overeenkomen met de scores op de generieke vragenlijst wat betreft ernst en beloop, maar dat beide soorten vragenlijsten wel verschillende dingen meten, blijkens de grootte van de samenhang.
Ook kwam uit het onderzoek naar voren, dat elke vragenlijst een medium tot groot effect van de behandeling laat zien aan het eind van de behandeling, maar dat dit effect over het algemeen groter is voor de generieke vragenlijst, dan voor de stoornis-specifieke vragenlijst. Dit onverwachte resultaat kan meerdere betekenissen hebben. Een mogelijke verklaring is, dat bij de behandeling van bepaalde specifieke klachten, de generieke klachten meer vooruit gaan dan bij de behandeling van andere specifieke klachten. Het zou kunnen dat sommige specifieke klachten een grotere invloed hebben op het algemeen psychologisch welzijn, dan andere specifieke klachten. Het zou echter ook zo kunnen zijn, dat het verschil in het effect van de
behandeling ten gunste valt van de generieke vragenlijst en dat de specifieke symptomen, die getoetst worden met een stoornis-specifieke vragenlijst, minder afnemen gedurende behandeling dan de meer algemene symptomen die getoetst worden met een generieke vragenlijst. De antwoorden op een generieke vragenlijst reflecteren wellicht meer het algemeen welbevinden en de algemene klachten van iemand, die mogelijk juist sneller verbeteren door de behandeling, terwijl de
antwoorden op de stoornis-specifieke vragenlijst de klachten weergeeft, waarvoor de cliënt in behandeling is en die wellicht meer tijd nodig hebben en minder snel
verbeteren door de behandeling. Aangaande de effect-size, moet wel genoemd worden dat de grootte van de effect-size niet per definitie bewijs levert over het
daadwerkelijke effect van de behandeling. De effect-size is immers afhankelijk van de score op de voormeting, maar bij minder ernstige problematiek kan de voormeting laag uitvallen, waardoor de effect-size ook lager uitvalt. Zo’n kleinere effect-size kan misleidend zijn, omdat de grootte ervan niet altijd inherent is aan het daadwerkelijke effect van de behandeling, maar wellicht terug te leiden kan zijn naar minder ernstige problematiek bij aanvang van de behandeling.
Een ander resultaat uit dit onderzoek is dat er tussen de deelnemers
overeenkomst is wat betreft het beloop van hun behandeling volgens de verschillende soorten vragenlijsten, maar dat deze overeenkomst tussen de aantallen die
vooruitgaan, stagneren of achteruitgaan niet hoog is. Er is dus verschil in de mate van vooruitgang, uitgaande van deze geringe overeenkomst. Zoals eerder uit de grootte van de samenhang bleek, meten de vragenlijsten ieder iets anders, dit zou ook een verklaring kunnen zijn voor de gevonden geringe overeenkomst tussen de
vragenlijsten. Daarnaast is gebleken dat de kans op vooruitgang groter is, wanneer gemeten met de generieke vragenlijst, dan gemeten met een stoornis-specifieke vragenlijst. Dit resultaat was onverwacht, maar zou mogelijk verklaard kunnen worden door de manier waarop de RCI tot stand komt. In de formule voor de RCI, wordt gebruik gemaakt van de standaarddeviatie en uiteindelijk kan via de formule een kleine standaarddeviatie zorgen voor een grote RCI. Een grote RCI is gunstig; deze moet immers een bepaalde waarde overschrijden, om de eventuele vooruitgang als betrouwbaar te kunnen definiëren. Het is mogelijk dat de antwoorden van mensen op de generieke vragenlijst minder verschillen, juist vanwege het algemene karakter van de vragen. Wanneer de antwoorden minder verschillen, zijn de
grens overschrijdt naar betrouwbaar. Hierdoor zou er meer betrouwbare vooruitgang kunnen worden gevonden op de generieke vragenlijst, dan op de stoornis-specifieke vragenlijst, waar de antwoorden wellicht meer van elkaar verschillen en de RCI dus kleiner uitvalt, door de grotere standaardafwijkingen.
Tot slot is uit dit onderzoek gebleken, dat er stoornis-specifieke vragenlijsten zijn die minder vooruitgang laten zien dan de generieke vragenlijst. Ook hier lijkt er dus verschil in de gemeten mate van vooruitgang tussen de verschillende soorten vragenlijsten, waarbij de generieke vragenlijst over het algemeen meer vooruitgang meet dan een stoornis-specifieke vragenlijst. Dit onverwachte resultaat zou mogelijk samen kunnen hangen met de sensitiviteit van de gebruikte instrumenten. Over het algemeen zijn de gebruikte instrumenten sensitief voor verandering, maar wellicht dat het ene instrument toch beter verandering detecteert dan het andere, waardoor er verschillen in gemeten vooruitgang kunnen ontstaan. Een ander element dat invloed kan hebben gehad op de hier gevonden resultaten is de gebruikte methode. Binnen de methode van De Beurs (2010) wordt voor niet-normaal verdeelde data een toepassing gebruikt die de data omzet naar genormaliseerde t-scores. Deze toepassing en de daaruit voorvloeiende analyse is gebaseerd op de scores van de voormeting, maar moet ook worden toegepast op de scores van de nameting. Het zou mogelijk zijn dat de genormaliseerde t-scores op de nameting hierdoor enigszins vervormd worden. Al zou de methode namelijk toegepast worden met de scores op de nameting als
uitganspunt, volgen niet exact dezelfde genormaliseerde t-scores als wanneer de voormeting als uitgangspunt wordt genomen. Deze methode heeft uiteindelijk dus invloed op de verschilscores die volgen uit de genormaliseerde t-scores op de voor-en nameting. Hierdoor zouden de resultaten mogelijk ook anders geweest zijn, bij een andere methode.
Uitgaande van de gevonden resultaten en de huidige onderzoeksopzet, zijn er een aantal aspecten die verbeterd zouden kunnen worden in vervolgonderzoek en die mogelijk ook invloed zouden kunnen hebben gehad op de gevonden resultaten. Zo is er bij dit onderzoek geen rekening gehouden met eventuele comorbiditeit. Van de deelnemers die in dit onderzoek zijn meegenomen hadden sommige naast een angststoornis ook een depressie, maar wellicht dat er ook nog sprake was van andere diagnoses of problematiek, mogelijk ook op een van de andere assen. Het wel of niet hebben van één of meerdere stoornissen naast een angststoornis, kan invloed hebben gehad op de gevonden resultaten. Iemand die alleen te maken heeft met een
angststoornis, laat wellicht een ander beloop van zijn verandering gedurende therapie zien, dan iemand die daarnaast ook nog één of meerdere andere stoornissen heeft. Zo is het plausibel dat bij iemand met bijvoorbeeld een persoonlijkheidsstoornis de klachten hardnekkiger zijn en wellicht langer aanhouden, waardoor deze persoon ook een andere mate van vooruitgang op de vragenlijsten zou kunnen laten zien.
Comorbiditeit zou invloed kunnen hebben op de gemeten vooruitgang, waarbij het mogelijk is dat bij comorbiditeit de generieke klachten meer vooruitgaan dan de specifieke klachten, omdat er op verschillende terreinen specifiek klachten spelen. Om rekening te kunnen houden met de eventuele invloed van comorbiditeit, zou in vervolgonderzoek gecontroleerd kunnen worden voor deze eventuele comorbiditeit en zou er gekeken kunnen worden of er verschil is, en zo ja, wat voor verschil er is, wanneer comorbiditeit een rol speelt.
Een tweede punt van aandacht is dat er bij dit onderzoek geen rekening is gehouden met de behandelduur en behandelvorm. Er is niet gekeken hoe lang elke deelnemer in behandeling is geweest en hier is dan ook niet voor gecontroleerd bij het verkrijgen van de resultaten. Het zou kunnen zijn dat wanneer iemand lang in
behandeling is, deze persoon uiteindelijk meer vooruitgang laat zien op één of op beide soorten vragenlijsten, gezien de behandeling dan wellicht meer resultaat kan behalen. Het kan echter ook zo zijn dat iemand die lang in behandeling is, juist weinig vooruitgang laat zien, wat wellicht ten grondslag ligt aan de lange duur van de
behandeling. Het zou nuttig kunnen zijn om te kijken of de behandelduur samenhangt met de mate van vooruitgang en of die dan ook verschilt per soort vragenlijst.
Daarnaast is niet bekend wat voor behandeling heeft plaatsgevonden en of en in welke mate deze specifiek gericht was op de behandeling van de angststoornis. Binnen de GGZ-NHN wordt veel gewerkt met groepstherapie, waarbij de deelnemende cliënten niet allemaal dezelfde stoornis hebben. Deze mogelijke vorm van gegeven therapie zou bijgedragen kunnen hebben aan de bij dit onderzoek verkregen resultaten.
Vervolgonderzoek zou dit aspect kunnen ondervangen, door deelnemers te selecteren die allemaal dezelfde vorm van therapie ontvangen en welke in overeenkomstige mate gericht is op het behandelen van de angststoornis.
Dit onderzoek heeft laten zien dat cliënten over het algemeen meer
vooruitgang laten zien op een generieke vragenlijst dan op een stoornis-specifieke vragenlijst, maar dat er wel verschillende informatie over een behandeluitkomst gevonden wordt, wanneer er verschillende meetinstrumenten gebruikt worden. Gezien
de vele implicaties van ROM, is het van belang dat er rekening mee wordt gehouden dat de generieke vragenlijst, welke tot op heden veel gebruikt wordt, niet altijd
hetzelfde beeld geeft van de behandeluitkomst, als een stoornis-specifieke vragenlijst. Het is daarom aan te raden ook gebruik te maken van stoornis-specifieke vragenlijsten en de uitkomst daarvan mee te nemen in de beoordeling van de behandeling. Dit kan bovendien nuttig zijn ter indicatie van eventuele stoornis-specifieke klachten die mogelijk meer aandacht behoeven en minder duidelijk naar voren komen op een generieke vragenlijst. Verder onderzoek zal uit moeten wijzen of de verschillen in vooruitgang tussen beide soorten vragenlijsten standhouden of wellicht groter worden, wanneer er gecontroleerd wordt voor verschillende mogelijke invloeden, waaronder comorbiditeit en soort- en duur van de behandeling. Vooralsnog is het raadzaam, gezien de verschillen tussen de uitkomsten van beide soorten vragenlijsten, niet alleen uit te gaan van de uitkomsten van de generieke vragenlijst, maar ook gebruik te maken van de stoornis-specifieke vragenlijst en een conclusie niet alleen te baseren op de uitkomst van de generieke vragenlijst.
Literatuur
Aderka, I. M., Nickerson, A., Bøe, H. J., & Hofmann, S. G. (2012). Sudden gains during psychological treatments of anxiety and depression: A meta-analysis. Journal of Consulting and Clinical Psychology, 80(1), 93-101.
American Psychiatric Association. (2000). Diagnostic and statistical manual of mental disorders (4th ed., text rev.; American Psychiatric Association, 2000).
Balkom, A. J. L. M. van, De Beurs, E., Hovens, J. E. J. M., & Van Vliet, I. M. (2004). Meetinstrumenten bij angststoornissen. Tijdschrift voor Psychiatrie, 46, 687-692.
Barendregt, M. (2015). Benchmarking en andere functies van ROM: Back to basics. Tijdschrift voor Psychiatrie, 57, 517-525.
Barkham, M., Stiles, W.B., Connell. J., Twigg, E., Leach. C., Lucock, M., et al. (2008). Effects of psychological therapies in randomised trails and practice based studies. British Journal of Clinical Psychology, 47, 397-415.
Beurs, E. de. (2010). De genormaliseerde t-score, een ‘euro’ voor testuitslagen. Maandblad Geestelijke Volksgezondheid, 65(9), 684-695.
Brom, D., & Kleber, R. J. (1985). De schokverwerkingslijst. Nederlands Tijdschrift voor de Psychologie, 40, 164-168.
Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Hillsdale, NJ: Lawrence Earlbaum Associates.
Feske, U., & de Beurs, E. (1997). The panic appraisal inventory: Psychomatric properties. Behaviour Research and Therapy, 35(9), 875-882.
Field, A. (2009). Discovering statistics using spss (3rd ed.). London: Sage Publications.
Hansen, N.B., Lambert, M.J., & Forman. E.M. (2002). The psychotherapy dose-response effect and its implications for treatment delivery services. Clinical Psychology: Science and Practice, 9(3), 329-343.
Harmon, S. C., Lambert, M. J., Smart, D. M., Hawkins, E., Nielsen, S. L., Slade, K., et al. (2007). Enhancing outcome for potential treatment failures: Therapist-cliënt feedback and clinical support tools. Psychotherapy Research, 17(4), 379-392.
Hofmann, S. G., & Smits, J. A. J. (2008). Cognitive-behavioral therapy for adult anxiety disorders: A meta-analysis of randomised placebo-controlled trials. Journal of Clinical Psychiatry, 69(4), 621-632.
Horowitz, M., Wilner, N., & Alvarez, W. (1979). Impact of Event Scale: A measure of subjective stress. Psychosomatic Medicine, 41(3), 209-218.
Jacobson, N. S., & Truax, P. (1991). Cinical significance: A statistical approach to defining meaningful change in psychotherapy research. Journal of Consulting and Clinical Pyschology, 59 (1), 12-19.
Jong, K. de, Nugter, M. A., Polak, M. G., Wagenbor, J. E. A., Spinhoven, P., & Heiser, W. J. (2007). The Outcome Questionnaire (OQ-45) in a Dutch population: A cross-cultural validation. Clinical Psychology and Psychotherapy, 14, 288-301.
Kerkhof, A., Hermans, D., Figee, A., Laeremand, I., Pieters, G., & Aardema, A. (2000). De Penn State Worry Questionnaire en de Worry Domains
Questionnaire: Eerste resultaten bij Nederlandse en Vlaamse klinische en poliklinische populaties. Gedragstherapie, 33, 135-146.
Knaup, C., Koester, M., Schoefer, D., Becker, T., & Puschner, B. (2009). The British Journal of Psychiatry, 195, 15-22.
Lambert, M. J., Burlingame, G. M., Umphress, V., Hansen, N. B., Vermeersch, D. A., Clouse, G. C., et al. (1996). The riliability and validity of the Outcome
Questionnaire. Clinical Psychology and Psychotherapy, 3(4), 249-258.
Lambert, M. J., Whipple, J. L., Vermeersch, D. A., Nielsen, S. L., & Hawkins, E. J. (2001). The effects of providing therapists with feedback on patient progress during psychotherapy: Are outcomes enhanced? Psychotherapy Research 11(1), 49-68.
Lee, W., Jones, L., Goodman, R., & Heyman, I. (2005). Broad outcome measures may underestimate effectiveness: An instrument comparison study. Child and Adolescent Mental Health, 10(3), 143-144.
Mattick, R. P., & Clarke, J. C. (1998). Development and validation of measures of social phobia scrutiny fear and social interaction anxiety. Behaviour Research and Therapy, 36, 455-470.
Meijer, T. J., Miller, M. L., Metzger, R. L., & Borkovec, T. D. (1990). Development and validation of the Penn State Worry Questionnaire. Behaviour Research and therapy, 28, 487-495.
Nugter, M. A., & Buwalda, V. J. A. (2012). Achtergronden en gebruiksmogelijkheden van ROM in de ggz. Tijdschrift voor Psychiatrie, 54(2), 111-120.
Oppen, P. van, Hoekstra, R. J., & Emmelkamps, P. M. G. (1995). The structure of obsessive-compulsive symptoms. Behaviour Research and Therapy, 33, 15-23.
Os, J. van, Kahn, R., Denys, D., Schoever, R. A., Beekman, A. T. F., Hoogendijk, W. J. G., et al. (2012). ROM: Gedragsnorm of dwangmaatregel. Overwegingen bij het themanummer over routine outcome monitoring. Tijdschrift voor
Psychiatrie, 54(3), 245-253.
Ost, L. G. (1990). The Agoraphobia Scale: An evaluation of its reliability and validity. Behaviour Research and Therapy, 28, 323-329.
Ploeg, E. van der., Mooren, T. T. M., van der Velden, P. G., Kleber, R. J., & Brom, D. (2004). Construct Validation of the Dutch Version of the Impact of Event Scale, 16(1), 16-26.
Rijsoort, S.N. van., Emmelkamp, P., & Verveake, G. (1999). The Penn State Worry Questionnaire and the Worry Domains Questionnaire: Structure, reliability and validity. Clinical Psychology and Psychotherapy, 6, 279-307.
Ronk, F. R., Hooke, G.R., & Page, A.C. (2012). How consistent are clinical
significance classifications when calculation methods and outcome measures differ? Clinical Psychology: Science and Practice, 19(2), 167-179.
Sanavio, E. (1988). Obsessions and compulsions: The Padua Inventory. Behavior Research and Therapy, 26, 167-177.
Shimokawa, K; Lambert, M. J., & Smart, D. W. (2010). Enhancing treatment outcome of patients at riks of treatment failure: Meta-analytic and
mega-analytic review of a psychotherapy quality assurance system. Journal of Consulting and Clinical Psychology, 78(3), 298-311.
Speer, D. C. (1992). Significant change: Jacobson and Truax (1991) revisited. Journal of Consulting and Clinical Psychology, 60(3), 402-408.
Telch, M.J. (1987). The Panic Appraisal Inventory. Unpublished Scale. University of Texas at Austin.
Viera, A.J., & Garrett, J.M. (2005). Understanding interobserver agreement: The Kappa statistic. Family Medicine, 37(5), 360-363.
Wampold, B. E., Budge, S. L., Laska, K. M., Del Re, A. C., Baardseth, T. P.,
Fluckiger et al. (2011). Evidence-based treatments for depression and anxiety versus treatment-as-usual: A meta-analysis of direct comparisons. Clinical Psychology Review, 31, 1304-1312.
Bijlage: Voorbeelditems per Vragenlijst OQ-45
Ik ben nergens in geïnteresseerd. AGO
In een menigte zijn zonder gezelschap van een bekende. PADUA
Ik heb het gevoel dat ik vieze handen krijg als ik met geld in aanraking kom POL
Winkelen in een groot druk bezocht warenhuis. PSWQ
Mijn zorgen overweldigen mij. SFS
Ik ben bang dat ik ga blozen als ik bij anderen ben. SIAS
Ik maak me zorgen dat ik niet weet wat ik moet zeggen in sociale situaties. SVL
