Het meten van kwaliteit van enkele studies in meta-analyses over psychotherapie Een systematische review
Abstract: In deze systematische review is gekeken in hoeverre meta-analyses systematisch de kwaliteit meten van geincludeerde studies. Hiervoor zijn 114 meta-analyses over psychotherapie beoordeeld door twee psychologiestudenten. Specifiek is gekeken naar verschillen tussen meta-analyses over Depressie- of angststoornissen en andere meta-meta-analyses. Er is gebleken dat in de helft van de meta-analyses de kwaliteit van studies niet gemeten werd. Bij meta-analyses over depressie of angst werd dit vaker gedaan dan bij andere meta-analyses. Bij meta-analyses over depressie of angst werd minder vaak berekend wat de invloed van van kwaliteit van de studies op effectsize was. In tegenstelling tot eerder onderzoek werd bij de meeste onderzochte meta-analyses geen samenhang gevonden tussen kwaliteit van de enkele studies en de effectsize. Op basis van deze studie wordt aanbevolen om bij de uitvoer van meta-analyses vaker de kwaliteit systematisch te meten en zo mogelijk een moderator-analyse uit te voeren.
Student: Lonneke Hagedoorn Studentnummer: 5804655 Begeleider: Nexh Morina
Inleiding
Een belangrijk onderzoeksgebied in de Klinische psychologie is het onderzoeken van verschillende behandelvormen voor psychische stoornissen. Uit NEMESIS-II (Trimbos Instituut, 2010), een grootschalig onderzoek naar de geestelijke gezondheid van de Nederlandse bevolking, bleek een lifetime-prevalentie van een As-1 stoornis van 42,7%. De meest voorkomende stoornissen waren hierbij stemmingsstoornissen prevalentie van 20,1%) en angststoornissen (lifetime-prevalentie van 19,6%). Deze cijfers geven aan dat het belang van het vinden van effectieve vormen van therapie groot is.
Er is dan ook veel onderzoek naar psychotherapie gedaan. Zo geeft een zoekopdracht via Psycinfo (20 mei 2015) met de zoekterm ‘Psychotherapy’ een resultaat van meer dan 114 duizend hits.Bevindingen van enkele studies kunnen worden samengebracht in meta-analyses. Field en Gillet (2010) noemen in hun artikel drie belangrijke punten van analyses. Ten eerste kan een meta-analyse meer zeggen over het gemiddelde en de variantie van de populatie die je wilt onderzoeken. Enkele studies hebben ten slotte vaak een kleine steekproef. In een meta-analyse worden de data van de onderzoeken verzameld waarna een her-analyse plaatsvindt. Op die manier wordt het bewijs van de vraag die je wilt onderzoeken sterker. Ten tweede kan het gebruikt worden om te kijken naar de variabiliteit van effectsizes. Als laatste is het een manier om moderators te onderzoeken.
Wanneer er variabiliteit in de effectsizes wordt gevonden, wat vaak zo is, kan deze variabiliteit worden onderzocht in termen van modererende factoren.
Om deze redenen is de hoeveelheid meta-analyses over psychotherapie de laatste jaren enorm toegenomen. Resultaten van Psycinfo bevestigen deze toename. Wanneer gezocht werd naar een combinatie van de termen ‘meta-analysis’ en ‘psychotherapy’ was te zien dat er in de periode tussen 1990 en 1995 zo’n 243 publicaties waren. Wanneer gekeken werd naar de jaren 2009 tot en met 2014 leverde dat 5243 publicaties op.
Niet alleen worden er steeds meer meta-analyses gepubliceerd, ook is het belang ervan groot. Meta-analyses kunnen bijvoorbeeld mede uitgevoerd worden in opdracht van de overheid, en op basis daarvan kan beleid bepaald worden. Ook zorgverzekeringen kunnen bepalen of ze bepaalde therapievormen vergoeden op basis van meta-analyses. Zo is in 2010 in Nederland door het College van Zorgverzekeringen bepaald dat Psychoanalyse niet meer vergoed zou worden door de
basisverzekering, omdat er onvoldoende bewijs was voor de effectiviteit. De conclusies die getrokken worden in meta-analyses kunnen dus grote gevolgen hebben. Daarom is het van groot belang dat de kwaliteit meta-analyse van hoog niveau is, zodat de conclusies die getrokken worden correct zijn.
Bij de uitvoering van een meta-analyse kunnen zich namelijk verschillende problemen voordoen. De eerste is publicatiebias. Dit houdt in dat niet alle over alle studies die uitgevoerd worden gepubliceerd wordt. Studies zonder significant effect hebben minder kans om gepubliceerd te worden. Wanneer men met een meta-analyse een bepaalde onderzoeksvraag wil beantwoorden en daarbij alleen gepubliceerde studies gebruikt, kan het effect daardoor groter worden ingeschat dan het daadwerkelijk is.
Een tweede probleem is de kwaliteit van de geïncludeerde studies. Wanneer een analyse studies includeert van slechte kwaliteit, kan dit invloed hebben op de kwaliteit van de meta-analyse. Als de kwaliteit van de studie niet goed is, kan dit namelijk invloed hebben of er wel of niet een effect gevonden wordt, en hoe groot het gevonden effect is. Uit onderzoek van Cuijpers, van Straten, Bohlmeijer, Hollon en Andersson (2010) bleek dat studies over psychotherapie van een hoge kwaliteit een significant lagere effectsize rapporteerden dan studies van lage kwaliteit. Om deze reden heeft het de voorkeur bij het uitvoeren van een meta-analyse om alleen studies te includeren van hoge kwaliteit. Soms blijkt dat echter om praktische redenen lastig te zijn. Als over een
onderwerp bijvoorbeeld nog niet veel gepubliceerd is, kan besloten worden om toch ook studies van lagere kwaliteit te includeren. Het zou dan voor de kwaliteit van de meta-analyse wel het beste zijn
om de kwaliteit van alle studies te beoordelen en vervolgens te kijken of het invloed had op de gevonden effectsize, als moderatoranalyse.
Om de kwaliteit van publicaties te beoordelen, en op die manier ook betere meta-analyses te kunnen uitvoeren, zijn veel verschillende meetinstrumenten ontwikkeld. In ‘Methods of Clinical Epidemiology’ (2013) worden deze meetinstrumenten in drie soorten opgedeeld: Zo zijn er Schalen, hierbij wordt bij elk item een numerieke score bepaald, waarna een totaalscore per studie volgt. Ook zijn er Checklists, lijsten met minstens twee items, zonder een numerieke beoordeling. En als laatste de zogenoemde ‘Component Rating’. Hierbij krijgen verschillende onderdelen van de studie
(bijvoorbeeld randomisatie) een kwalitatieve beoordeling.
Deze systematische review, geschreven in het kader van het Bachelorproject Klinische Psychologie aan de Universiteit van Amsterdam, gaat over meta-analyses over psychotherapie en hoe zij de kwaliteit van enkele studies meten. Welke meetschalen zijn hiervoor gebruikt en wat maten zij, wat waren hierin de overeenkomsten en/of verschillen. Vervolgens werd gekeken of ook samenhang werd berekend tussen kwaliteit van de studies en gerapporteerde effectsize. Daarna is gekeken of hierin verschillen zijn tussen meta-analyses die over therapie bij angst of depressie gingen, in vergelijking met meta-analyses over andere onderwerpen. Dit is gedaan door een systematische online zoektocht naar meta-analyses over psychotherapie, waarna deze inhoudelijk bekeken en geanalyseerd zijn door twee bachelorstudenten. Aanvankelijk was het doel van dit project een meta-analyse te doen over de samenhang tussen kwaliteit van enkele studies en
gerapporteerde effectsize. Bij het analyseren van de meta-analyses bleek echter dat de kwaliteit niet vaak gemeten werd of werd gekeken werd wat de samenhang was tussen kwaliteit en effectsize. Daarnaast werden veel verschillende statistische methoden gebruikt, waardoor het heranalyseren van de data niet mogelijk was.
Om deze systematische review uit te voeren werd begonnen met een systematische online zoektocht naar meta-analyses over psychotherapie. Hiervoor werd de online database Psycinfo gebruikt (17 februari 2015). Deze werd uitgevoerd door de begeleider van het bachelorproject. De zoektermen ‘meta-analysis’, ‘quantative review’ en ‘meta-analytic review’ werden gecombineerd met de termen ‘psychotherap*’, ‘therap*’, ‘intervention*’ en ‘treatment*’. Daarna werden de zoekresultaten beperkt tot publicaties uit tijdschriften, uitgevoerd bij mensen, en geschreven in het Engels. Deze resultaten werden beperkt op meta-analyses die niet over drugs, medicatie of
farmacotherapie gingen. Dit leverde 2353 artikelen op.
Daarna gingen 2 studenten met deze gegevens aan de slag. Er werd gekeken uit welke tijdschriften deze publicaties het vaakst kwamen en alleen de publicaties uit de 10 meest publicerende tijdschriften werden meegenomen. Dit omdat de studie door 2 studenten moest worden afgerond binnen 4 maanden en het daarom door tijdsgebrek niet mogelijk was om alle gevonden publicaties te beoordelen op geschiktheid. De 10 meest meta-analyses publicerende tijdschriften waren Clinical Psychology Review (n=107), Journal of Consulting and Clinical Psychology (n=70), Psychological Bulletin (n=41), Psychological Medicine (n=40), British Medical Journal (n=31), Health Psychology (n=30,) The British Journal of Psychiatry (n=27), The American Journal of
Psychiatry (n=25), Journal of Affective Disorders (n=25) en Review of Educational Research (n=25) .
Met deze selectiecriteria bleven 421 publicaties over die de studenten op basis van titel en abstract beoordeelden op geschiktheid. De meta-analyses moesten gaan over een vorm van psychotherapie uitgevoerd bij een psychische stoornis. Beiden deden dit onafhankelijk van elkaar, waarna onduidelijkheden en twijfelgevallen werden besproken met elkaar en de begeleider.
Uiteindelijk kwam hier een selectie van 120 artikelen uit. Deze sample werd in tweeën verdeeld, elke student nam de helft van de artikelen door.
Er werd gekeken of in de meta-analyses de kwaliteit van enkele studies werd gemeten en zo ja, of dit in de analyses werd meegenomen. Hieruit bleek van 6 artikelen dat ze bij nader inzien
inhoudelijk niet overeen kwamen met de inclusiecriteria of niet in full-tekst beschikbaar waren. Deze meta-analyses werden geëxcludeerd.
Figuur 1. Flowchart van het zoek- en selectieproces.
Resultaten
Studiekenmerken
Uit de zoektocht naar meta-analyses die aan alle inclusiecriteria voldeden kwamen 114 meta-analyses. Vervolgens werden deze in 3 categorieën verdeeld: de eerste categorie bestond uit meta-analyses die de kwaliteit van de enkele studies niet hadden gemeten. In de tweede
categorie was de kwaliteit wel gemeten, maar werd niet statistisch de samenhang tussen kwaliteit en 2353 hits via
Psycinfo
421 mogelijk geschikte publicaties
Inclusie op basis van 10 journals waaruit de meeste publicaties afkomstig waren.
(N = 1932 publicaties geëxcludeerd)
120 publicaties
Titel en abstracts van de publicaties gecheckt op inclusie/exclusiecriteria. (N = 301 publicaties geëxcludeerd)
114 publicaties geïncludeerd in systematische review
Exclusie op basis van:
- publicatie niet in volledige tekst online beschikbaar
- publicatie bleek bij het lezen van volledige tekst niet aan
inclusiecriteria te voldoen. (N = 6 publicaties geëxcludeerd)
effectsize berekend. Bij artikelen uit de derde categorie was zowel naar de kwaliteit van de studies gekeken als dat er werd gekeken naar de samenhang met de effectsizes van de enkele studies.
Van alle artikelen zaten er 54 (47,3%) in de eerste categorie. 60 artikelen (52,6%) zaten in categorie 2 of 3, hierbij werd wel systematisch de kwaliteit gemeten. Van de 114 artikelen gingen er 58 over psychotherapie bij een angst- of depressieve stoornis, 56 gingen over andere stoornissen of onderzochten een specifieke vorm van psychotherapie bij meerdere stoornissen. In Tabel 1. Is de verdeling over de categorieën per groep te zien.
Tabel 1. Hoeveelheid artikelen verdeeld over de verschillende categorieën
Onderwerp
Meta-analyse Categorie 1. Categorie 2. Categorie 3. Totaal Depressie/Angst 23 (39,7%) 18 (31%) 17 (29,3%) 58
Overig 31 (55,4%) 8 (14,3%) 17 (30.4%) 56
Totaal 54 (47,3%) 26 (22,8%) 34 (29,8%) 114
Het is opvallend dat de verhoudingen bij beide groepen anders liggen. Bij de meta-analyses over depressie/angst zitten de meeste artikelen in de eerste categorie en de verdeling over categorie twee en drie is min of meer gelijk. Bij de overige meta-analyses is de verdeling ongelijk. De meeste studies zitten in categorie 1, daarna volgt de derde categorie en de minste studies zitten in categorie 2.
Twee punten zijn hierbij opvallend. Het eerste punt is het verschil in hoe vaak überhaupt systematisch de kwaliteit van meta-analyses is bekeken. Bij meta-analyses over depressie/angst is bij 23 artikelen, oftewel 39,7%, niet gekeken naar kwaliteit van de enkele studies. Bij de overige meta-analyses lag dit percentage veel hoger, 31 artikelen (55,4%) keken niet naar kwaliteit.
Er was nog een tweede verschil tussen de groepen. Bij meta-analyses over depressie/angst werd bij 17 artikelen (48,6%) gekeken wat de samenhang was tussen kwaliteit van de enkele studies en de effectsizes, bij 18 artikelen (51,4%) niet. Deze verhouding lag anders bij de overige
meta-analyses. 17 artikelen (68%) berekenden wel samenhang, en bij 8 artikelen (32%) niet. Oftewel, bij meta-analyses over depressie/angst werd vaker systematisch de kwaliteit van de geïncludeerde studies gemeten, maar vervolgens werd minder vaak geanalyseerd of dit ook samenhing met de effectsizes.
Uit deze resultaten volgde de vraag waarom de kwaliteit van enkele studies in sommige artikelen wel systematisch beoordeeld werd, maar er vervolgens niet gekeken werd of dit samenhing met effectsize? Door het lezen van de artikelen uit categorie 2 is gebleken wat er wel met de
kwaliteitsbeoordeling werd gedaan. Meerdere artikelen gaven een meer globale beoordeling van de kwaliteit van de studies, zoals ‘Kwaliteit van de geïncludeerde studies was niet optimaal’. Meerdere artikelen geven aan welk percentage van de studies voldoen aan de criteria, bijvoorbeeld: ’60 procent van de studies wezen de deelnemers random toe aan een conditie’. Op die manier gaven zij een meer beschrijvende beoordeling van de kwaliteit. Bij 6 artikelen werd de kwaliteitsscore per studie vermeld in het artikel of in een online appendix. Een aantal artikelen vermelde expliciet waarom er geen moderator-analyse uitgevoerd kon worden. Zo bleek uit de meta-analyses van Wampold et al. (2011)79 en Hallion et al. (2011)65 dat de studies dusdanig vaak niet genoeg informatie gaven op de vantevoren vastgestelde kwaliteitscriteria, dat geen goede score of beoordeling gedaan kon worden. Ook gaven een aantal artikelen aan dat de studies te homogeen scoorde op de kwaliteitsbeoordeling. Als er geen onderscheid in kwaliteit van de studies gemaakt kan worden, kan uiteraard ook geen correlatie berekend worden.
Overzicht van artikelen en meetschalen
In Tabel 2 is een overzicht gegeven van alle artikelen in categorie 1, inclusief het onderwerp van de meta-analyse.
Tabel 2. Overzicht van artikelen in Categorie 1.
Studie Onderwerp
Fluckiger et al. (2014)19 Depressie/Angst Hanrahan et al. (2013)24 Depressie/Angst Casement et al. (2012)10 Depressie/Angst Belleville et al. (2011)4 Depressie/Angst Driessen et al. (2010)15 Depressie/Angst
Rodenburg et al. (2009)39 Depressie/Angst Bell et al. (2009)3 Depressie/Angst Wolitzky et al. (2008)54 Depressie/Angst Benish et al. (2008)5 Depressie/Angst Spielmans et al. (2007) 42 Depressie/Angst Lewinsohn et al (1999)30 Depressie/Angst Okumura et al. (2014) 36 Depressie/Angst Wampold et al. (2002)47 Depressie/Angst Brunwasser et al (2009)8 Depressie/Angst Stewart et al. (2009)43 Depressie/Angst Vittengl et al (2007)46 Depressie/Angst Nordhus et al. (2003)35 Depressie/Angst Western et al. (2001)53 Depressie/Angst Gaffan et al. (1995)20 Depressie/Angst Dobson (1989)14 Depressie/Angst Nietzel et al. (1987)34 Depressie/Angst Weisz et al. (2006)50 Depressie/Angst Bradley et al. (2005)7 Depressie/Angst
Marcus et al. (2014)32 Verschillende vormen van therapie Budge et al. (2013)9 Persoonlijkheidsstoornissen Rapport et al. (2013)38 ADHD*
Baardseth et al. (2013)2 CGT*
Spielmans et al. (2013)41 Boulimia Nervosa Taylor et al. (2010)45 Seksueel misbruik Harvey et al. (2010)25 Seksueel misbruik Gold et al. (2009)22 Muziektherapie Fabiano et al. (2009)17 ADHD*
Malouff et al. (2007)31 PST*
Kato et al. (1999 )27 Therapie bij Rouw
Febbraro et al. (1998)18 Interventies gericht op zelfregulatie Lewandowski et al. (1997)29 CGT bij Boulimia
Anderson et al. (1995)1 Kortdurende dynamische psychotherapie Gould et al. (1993)23 Zelfhulpinterventies
Irwin et al. (2007)26 Insomnia Murtagh et al. (1995)33 Insomnia
Weiss et al. (1995)49 Gedragstherapie bij kinderen Svartberg et al. (1991)44 Psycho-analytische psychotherapie Benton et al. (1990)6 Schizofrenie
Weisz et al. (1987)51 Psychotherapie bij kinderen en adolescenten Shoham-Salomon (1987)40 Paradoxale interventies
Currier et al. (2008)13 Therapie bij rouw
Wampold et al. (1997)48 Verschillende vormen van therapie
Weisz et al. (1995)52 Psychotherapie bij kinderen en adolescenten Grynszpa net al. (2011)21 Schizofrenie
Pilling et al. (2002)37 Schizofrenie Dutra et al. (2008)16 Verslaving
Cordwell et al. (2007)11 Behandeling van stoornissen bij daklozen
Leichsenring et al. (2003)28 Psychodynamische en Cognitieve Gedragstherapie bij persoonlijkheidsstoornissen
*ADHD= Attention Deficit Hyperactivity Disorder, CGT= Cognitieve Gedragstherapie, PST= Problem Solving Therapy
Vervolgens staan in Tabel 3 de artikelen uit categorie 2 en 3, inclusief het onderwerp, de gebruikte statistische analyse en de eventuele samenhang.
Studie N Cat. Onderwerp
Meta-analyse Gebruikte Meetschaal Methode Samenhang Hansen et al.
(2013)67 20 2 Depressie/Angst Criteria van Jadad +zelfbedachte criteria
-
Barrera et al.
(2013)56 12 2 Depressie/Angst Cochrane Risk of Bias - Hans et al.
(2013)66 71 2 Depressie/Angst Cochrane Risk of Bias & GAAC Checklist
-
Richards et al.
(2012)71 17 2 Depressie/Angst Cochrane Risk of Bias - Wampold et al.
(2011)79 14 2 Depressie/Angst Zelfbedachte criteria - Cuijpers et al.
(2007)62 16 2 Depressie/Angst Cochrane Risk of Bias - Hallion et al.
(2011)65 45 2 Depressie/Angst Zelfbedachte Criteria - Van Straten et
al. (2015)75 10 2 Depressie/Angst Cochrane Risk of Bias - Cuijpers et al.
(2014)63 10 2 Depressie/Angst Cochrane Risk of Bias (4 criteria) - Seekles et al.
(2013)72 12 2 Depressie/Angst Cochrane Risk of Bias - Jakobsen et al.
(2012)69 7 2 Depressie/Angst Cochrane Risk of Bias - Cuijpers et al.
(2010)60 21 2 Depressie/Angst Cochrane Risk of Bias (4 criteria) - Acaturk et al.
(2009)55 29 2 Depressie/Angst Cochrane Risk of Bias (4 criteria) - Spek et al.
(2007)74 12 2 Depressie/Angst Zelfbedachte criteria - Den Boer et al.
(2004)58 14 2 Depressie/Angst The Delphi List - Townsend et al.
(2001)76 6 2 Depressie/Angst Cochrane Risk of Bias - Cuijpers et al.
(2014)61 18 2 Depressie/Angst Cochrane Risk of Bias (5 criteria) - Huntley et al.
(2012)68 23 2 Depressie/Angst Cochrane Risk of Bias - Ehring et al. (2014)64 16 2 PTSS Zelfbedachte criteria - Smit et al. (2012)73 11 2 LTPP Amsterdam-Maastricht Consensus List - Wittouck et al.
(2011)80 14 2 Gecompliceerde Rouw Quality Assessment Tool for Quantative
Studies Virues-Ortega
et al. (2010)77 22 2 Gedragsinterventie bij autisme Downs & Black Checklist - Vos et al.
(2015)78 15 2 Existentiële therapie Cochrane Risk of Bias (4 criteria) - Polnay et al.
(2014) 70 10 2 Groepstherapie bij Boulimia Nervosa Cochrane Risk of Bias - De Bruin et al.
(2013)59 34 2 Autisme WWC Draft Standards - Bird et al.
(2010)57 11 2 CGT* & Gezinsinterventie bij psychoses
SIGN Checklist -
Keefe et al.
(2014)93 14 3 Depressie/Angst RCT-PCRS Regressie- analyse Geen samenhang Cuijpers et al.
(2014)87 38 3 Depressie/Angst Cochrane Risk of Bias Onderscheid in hoge en lage kwaliteit Geen verschil Reynolds et al.
(2012)103 55 3 Depressie/Angst Cochrane & Quality Coding System van Moncrief et al. Funnel- plot analyse Geen samenhang Piet et al.
(2011)100 6 3 Depressie/Angst Criteria van Jadad + Extra criteria van Coelho et al. (2007)
Regressie-
analyse Geen samenhang
Sanchez-Meca
et al. (2010)106 42 3 Depressie/Angst Zelfbedachte criteria Regressieanalyse Positieve samenhang Powers et al.
(2010)101 13 3 Depressie/Angst Criteria van Jadad Regressieanalyse Geen samenhang Rosa-Alcazar et
al. (2008)105 19 3 Depressie/Angst Zelfbedachte criteria Regressieanalyse Geen samenhang Cuijpers et al.
(2014)86 92 3 Depressie/Angst Cochrane Risk of Bias Meta-regressie analyse
Negatieve samenhang Cuijpers et al.
(2013)85 13 3 Depressie/Angst Cochrane Risk of Bias Regressieanalyse Geen samenhang Hofmann et al.
(2014)91 44 3 Depressie/Angst EPHPP Rating Systeem Regressieanalyse Geen samenhang Scogin &
McElreath (1994)107
17 3 Depressie/Angst Criteria van
Suydam (1968) Pearson’s Correlatie Geen samenhang Gerger et al.
(2014)90 66 3 Depressie/Angst Zelfbedachte Criteria (geen toelichting in artikel)
Negatieve samenhang Renner et al.
(2014)102 31 3 Depressie/Angst Cochrane Risk of Bias
(2008)88 Khan et al.
(2002) Regressieanalyse Roberts et al.
(2009)104 25 3 Depressie/Angst Zelfbedachte criteria Sensitiviteitsanalyse Positieve samenhang Beltman et al.
(2010)82 29 3 Depressie/Angst Amsterdam-Maastricht Consensus List
Correlatie
analyse Geen samenhang Bisson et al.
(2007)83 38 3 Depressie/Angst Zelfbedachte criteria Positieve samenhang Turner et al.
(2014)110 30 3 Virtual Reality Interventies CONSORT & CONSORT E-Health Checklist
Sensitivite
itsanalyse Geen verschil Van Der Stouwe
et al. (2014)111 22 3 Multi-Systeem Therapie Quality Assessment Tool for Quantative Studies
Regressie-
analyse Negatieve samenhang
Winkler et al.
(2013)113 17 3 Internetverslaving GGK Quality Score Regressie- analyse Positieve samenhang Virues-Ortega
et al. (2013)112 13 3 Autisme Downs & Black Checklist Correlatie Negatieve samenhang Khoury et al.
(2013)94 209 3 Mindfulness Based Therapy Criteria van Jadad + zelfbedachte criteria
Regressie-
analyse Negatieve samenhang
Kleinstauber et
al. (2011)95 27 3 MUPS* Criteria van Jadad Regressie-analyse Wel samenhang Bate et al.
(2011)81 18 3 Habit Reversal Therapy 4 Criteria op basis van Cuijpers et al. (2010) en Gearing et al. (2010)
Regressie
analyse Geen samenhang
Tolin (2010)108 26 3 CGT* Criteria van Jadad, Criteria Foa & Meadows
Regressie
analyse Geen samenhang Kliem et al.
(2010)96 16 3 DGT* bij Borderline Persoonlijkheids- stoornis
Downs & Black
Checklist (geen toelichting in artikel)
Geen samenhang
Engels et al.
(1993)89 28 3 RET* Zelfbedachte Criteria Correlatie analyse Bower et al.
(2003)84 7 3 CGT* CCDAN- Quality Rating Scale Sensitiviteits-analyse Geen verschil Turner et al.
(2014)109 48 3 Psychologische interventies bij psychose
Cochrane Risk of
Bias (4 criteria) Pearsons product- moment correlatie
Geen samenhang
Wykes et al.
(2011)114 40 3 CRT* bij Schizofrenie Clinical Trials Assessment Measure (geen toelichting artikel) Geen samenhang Morin et al. 59 3 Insomnia Zelfbedachte Correlatie Negatieve
N=Hoeveelheid studies geincludeerd per meta-analyse Cat.=Categorie
*PTSS= Post Traumatische Stress Stoornis, LTPP= Long Term Psycho-analytic Psychotherapy, CGT = Cognitieve Gedragstherapie, MUPS = Medically Unexplained Physical Symptoms, DGT = Dialectische Gedragstherapie, RET = Rational Emotive Therapy, CRT = Cognitive Remediation Therapy
Zoals in tabel 4 . Al te zien is, werden bij de 60 meta-analyses die systematisch naar kwaliteit keken veel verschillende meetschalen en/of criteria gebruikt. Er zijn een aantal die meerdere keren gebruikt worden, namelijk de Cochrane Risk of Bias Assessment Tool (22 keer), de Criteria van Jadad (7 keer), Downs & Black Checklist (3 keer), Amsterdam-Maastricht Consensus Checklist (2 keer) en de Quality Assessment Tool for Quantative Studies (2 keer). Daarnaast bedachten bij 13 artikelen de onderzoekers zelf criteria om de kwaliteit van de studies te beoordelen (deze zijn in de tabel weergegeven als ‘zelfbedachte criteria’). Alle overige checklists/meetschalen werden slechts eenmalig gebruikt. Dit geeft weer op hoeveel verschillende manieren de kwaliteit gemeten kan worden. Ook hier is weer een verschil te zien tussen meta-analyses over angst/depressie en overige meta-analyses. Meta-analyses over angst/depressie gebruiken namelijk grotendeels de Cochrane Risk of Biass Assessment Tool om kwaliteit te beoordelen. Bij de overige meta-analyses is er niet één meetschaal die zeer frequent voorkomt, de heterogeniteit van de gebruikte meetschalen is daar veel groter.
In categorie 3 is de samenhang tussen effectsize en kwaliteit van de studies op meerdere manieren geanalyseerd. In de meeste gevallen is gekozen voor een regressie-analyse. Opvallen is dat in de meeste meta-analyses geen samenhang werd gevonden, wat niet in lijn is met eerder onderzoek. Ook valt hierbij onvolledigheid op. In meerdere meta-analyses wordt wel samenhang vermeld, maar worden geen toetsgegevens hierover gegeven.
(1994)99 Criteria analyse samenhang
Jauhar et al.
(2014)92 52 3 CGT bij Schizofrenie Cochrane Risk of Bias sensitiviteitsanalyse Wel verschil Koelen et al.
(2014)97 16 3 Somatoforme Stoornis Psychotherapy Quality Rating Scale (PQRS) (geen toelichting in artikel) Negatieve samenhang Leichsenring & Rabung (2011)98 10 3 LTPP Criteria van
Jadad (Geen toelichting in artikel)
Geen samenhang
Niet alleen zijn er veel verschillende meetschalen om kwaliteit te beoordelen, ze meten ook niet allemaal hetzelfde. Er is overlap, maar ook verschil in de criteria die ze hanteren. In tabel 4. is weergegeven op welke criteria het meest gelet werd.
Tabel 4. Overzicht van factoren waarin de verschillende gebruikte meetschalen overeenkwamen, en in hoeveel meta-analyses de studies op die factor beoordeeld werden.
Beoordeelpunt Frequentie (per meta-analyse)
Blindering 44
Incomplete Data 40
Adequate Sequence Generation 39 Concealment of Treatment Allocation 29
Selectieve Datarapportage 15
Behandeling uitgevoerd volgens een protocol/ Behandelingsintegriteit-check
15
Overige validiteitsbedreigingen 13
Andere vormen van bias 7
Confounders 7
(Geschiktheid van) Statistische Analyses 6
Poweranalyse 5
Diagnose door middel van een (valide) instrument
5
(eisen aan/voldoende grootte van) Sample Size 4 (volledigheid van) Follow-Up metingen 4
Uit deze systematische review zijn verschillende bevindingen gekomen. Zo bleek bij ongeveer de helft van de artikelen wel naar de kwaliteit van geïncludeerde studies te zijn gekeken, in de andere helft niet. Van de artikelen die de kwaliteit beoordeelden, bleek iets meer dan de helft (56,7%) ook de samenhang met de effectsize te berekenen. Daarnaast bleken er inderdaad verschillen te zijn tussen meta-analyses over psychotherapie bij angst/depressie en meta-analyses over overige onderwerpen. Meta-analyses over angst/depressie gebruikten vaker een meetschaal om de kwaliteit te beoordelen dan overige meta-analyses. Vervolgens berekenden ze minder vaak de samenhang tussen kwaliteit van de enkele studie en de effectsize. Ook gebruikten meta-analyses vaker de Cochrane Risk of Bias Assessment Tool, terwijl de overige meta-analyses een veelvoud aan verschillende meetschalen gebruikte. Deze twee bevindingen zijn mogelijk aan elkaar gelinkt. De Cochrane RoBAT is een meetschaal die een kwalitatieve indeling maakt. Een indeling op een numerieke schaal leent zich waarschijnlijk meer om samenhang tussen kwaliteit en effectsize te berekenen.
Omdat deze systematische review geschreven is in kader van een bachelorproject en in korte tijd moest worden afgerond zijn een aantal pragmatische keuzes gemaakt. Deze kunnen invloed hebben gehad op de resultaten. Zo is bij de online zoektocht naar meta-analyses slechts gebruik gemaakt van één database; Psycinfo. Mogelijk zijn daardoor meta-analyses over dit onderwerp gemist. Een tweede keuze uit tijdsgebrek is het beperken van de meta-analyses tot publicaties uit de 10 meest meta-analyse publicerende tijdschriften uit het zoekresultaat. Ook dit zou tot een overschatting hebben kunnen leiden op verschillende punten. De publicaties kwamen uit tijdschriften die
regelmatig analyses publiceerden. Om die reden is te verwachten dat de kwaliteit van de meta-analyses hoger ligt dan bij meta-meta-analyses uit tijdschriften die ze minder vaak publiceren.
Daarnaast is het beoordelen van de artikelen gedaan door twee studenten, die elk de helft van de artikelen op zich namen. Hierbij zouden inconsistenties kunnen hebben opgetreden.
In vervolgonderzoek zou het aan te raden zijn om dit onderzoek uit te laten voeren door meerdere studenten. Op die manier zouden alle gevonden meta-analyses op geschiktheid beoordeeld kunnen worden.
Literatuurlijst
Artikelen in categorie 1
1. Anderson, E. M., & Lambert, M. J. (1995). Short-term dynamically oriented psychotherapy: A review and meta-analysis. Clinical Psychology Review, 15(6), 503-514.
2. Baardseth, T. P., Goldberg, S. B., Pace, B. T., Wislocki, A. P., Frost, N. D., Siddiqui, J. R., et al. (2013). Cognitive-behavioral therapy versus other therapies: Redux. Clinical Psychology Review, 33(3), 395-405.
3. Bell, A. C., & D'Zurilla, T. J. (2009). Problem-solving therapy for depression: A meta-analysis. Clinical Psychology Review, 29(4), 348-353.
4. Belleville, G., Cousineau, H., Levrier, K., & St-Pierre-Delorme, M. (2011). Meta-analytic review of the impact of cognitive-behavior therapy for insomnia on concomitant anxiety. Clinical Psychology Review, 31(4), 638-652.
5. Benish, S. G., Imel, Z. E., & Wampold, B. E. (2008). The relative efficacy of bona fide psychotherapies for treating post-traumatic stress disorder: A meta-analysis of direct comparisons. Clinical Psychology Review, 28(5), 746-758.
6. Benton, M. K. & Schroeder, H. E. (1990). Social skills training with schizophrenics: A meta-analytic evaluation. Journal of Consulting and Clinical Psychology, 58(6), 741-747.
7. Bradley, R., Greene, J., Russ, E., Dutra, L. & Western, D. (2005). A Multidimensional Meta-Analysis of Psychotherapy for PTSD. The American Journal of Psychiatry, 162(2), 214-227.
8. Brunwasser, S. M., Gillham, J. E. & Kim, S. E. (2009). A meta-analytic review of the Penn Resiliency Program’s effect on depressive symptoms. Journal of Consulting and Clinical Psychology, 77(6), 1042-1054.
9. Budge, S. L., Moore, J. T., Del Re, A. C., Wampold, B. E., Baardseth, T. P., & Nienhuis, J. B. (2013). The effectiveness of evidence-based treatments for personality disorders when comparing
treatment-as-usual and bona fide treatments. Clinical Psychology Review, 33(8), 1057-1066.
10. Casement, M. D., & Swanson, L. M. (2012). A meta-analysis of imagery rehearsal for post-trauma nightmares: Effects on nightmare frequency, sleep quality, and posttraumatic stress. Clinical Psychology Review, 32(6), 566-574.
11. Cordwell, C. M. & Bender, W. S. (2007). The effectiveness of assertive community treatment for homeless populations with severe mental illness: A meta-analysis. The American Journal of Psychiatry, 164(3), 393-399.
12. Crits-Christoph, P. (1992). The efficacy of brief dynamic psychotherapy: A meta-analysis. The American Journal of Psychiatry, 149(2), 151-158.
13. Currier, J. M., Neimeyer, R. A. & Berman, J. S. (2008). The effectiveness of psychotherapeutic interventions for bereaved persons: A comprehensive quantitative review. Psychological Bulletin, 134(5), 648-661.
14. Dobson, K. S. (1989). A meta-analysis of the efficacy of cognitive therapy for depression. Journal of Consulting and Clinial Psychology, 57(3), 414-419.
15. Driessen, E., Cuijpers, P., de Maat, S. C. M., Abbass, A. A., de Jonghe, F., & Dekker, J. J. M. (2010). The efficacy of short-term psychodynamic psychotherapy for depression: A meta-analysis. Clinical Psychology Review, 30(1), 25-36.
16. Dutra, L., Stathopoulou, G., Basden, S. L., Leyro, T. M., Powers, M. B. & Otto, M. W. (2008). A meta-analytic review of psychosocial interventions for substance use disorders. The American Journal of Psychiatry, 165(2), 179-187.
17. Fabiano, G. A., Pelham Jr., W. E., Coles, E. K., Gnagy, E. M., Chronis-Tuscano, A., & O'Connor, B. C. (2009). A meta-analysis of behavioral treatments for attention-deficit/hyperactivity disorder. Clinical Psychology Review, 29(2), 129-140.
18. Febbraro, G. A. R., & Clum, G. A. (1998). Meta-analytic investigation of the effectiveness of self-regulatory components in the treatment of adult problem behaviors. Clinical Psychology Review, 18(2), 143-161.
19. Flückiger, C., Del Re, A. C., Munder, T., Heer, S., & Wampold, B. E. (2014). Enduring effects of evidence-based psychotherapies in acute depression and anxiety disorders versus treatment as usual at follow-up — A longitudinal meta-analysis. Clinical Psychology Review, 34(5), 367-375.
20. Gaffan, E. A., Tsaousis, J. & Kemp-Wheeler, S. M. (1995). Researcher allegiance and meta-analysis: The case of cognitive therapy for depression. Journal of Consulting and Clinical Psychology, 63(6), 966-980.
21. Grynszpan, O., Perbal, S., Pelissolo, A., Fossati, P., Jouvent, R., Dubal, S. & Perez-Diaz, F. (2011). Efficacy and specificity of computer-assisted cognitive remediation in schizophrenia: A meta-analytical study. Psychological Medicine, 41(1), 163-173.
22. Gold, C., Solli, H. P., Krüger, V., & Lie, S. A. (2009). Dose–response relationship in music therapy for people with serious mental disorders: Systematic review and meta-analysis. Clinical Psychology Review, 29(3), 193-207.
23. Gould, R. A., & Clum, G. A. (1993). A meta-analysis of self-help treatment approaches. Clinical Psychology Review, 13(2), 169-186.
24. Hanrahan, F., Field, A. P., Jones, F. W., & Davey, G. C. L. (2013). A meta-analysis of cognitive therapy for worry in generalized anxiety disorder. Clinical Psychology Review, 33(1), 120-132.
25. Harvey, S. T., & Taylor, J. E. (2010). A meta-analysis of the effects of psychotherapy with sexually abused children and adolescents. Clinical Psychology Review, 30(5), 517-535.
26. Irwin, M. R., Cole, J. C., & Nicassio, P. M. (2006). Comparative meta-analysis of behavioral
interventions for insomnia and their efficacy in middle-aged adults and in older adults 55+ years of age. Health Psychology, 25(1), 3-14.
27. Kato, P. M., & Mann, T. (1999). A synthesis of psychological interventions for the bereaved. Clinical Psychology Review, 19(3), 275-296.
28. Leichsenring, G. & Leibing, E. (2003). The Effectiveness of Psychodynamic Therapy and Cognitive Behavior Therapy in the Treatment of Personality Disorders: A Meta-Analysis. The American Journal of Psychiatry, 160(7), 1223-1232.
29. Lewandowski, L. M., Gebing, T. A., Anthony, J. L., & O'Brien, W. H. (1997). Meta-analysis of cognitive-behavioral treatment studies for bulimia. Clinical Psychology Review, 17(7), 703-718.
30. Lewinsohn, P. M., & Clarke, G. N. (1999). Psychosocial treatments for adolescent depression. Clinical Psychology Review, 19(3), 329-342.
31. Malouff, J. M., Thorsteinsson, E. B., & Schutte, N. S. (2007). The efficacy of problem solving therapy in reducing mental and physical health problems: A meta-analysis. Clinical Psychology Review, 27(1), 46-57.
32. Marcus, D. K., O'Connell, D., Norris, A. L., & Sawaqdeh, A. (2014). Is the dodo bird endangered in the 21st century? A meta-analysis of treatment comparison studies. Clinical Psychology Review, 34(7), 519-530.
33. Murtagh, D. R. R. & Greenwood, K. M. (1995). Identifying effective psychological treatments for insomnia: A meta-analysis. Journal of Consulting and Clinical Psychology, 63(1), 79-89.
34. Nietzel, M. T., Russell, R. L., Hemmings, K. A. & Gretter, M. L. (1987). Clinical significance of psychotherapy for unipolar depression: A meta-analytic approach to social comparison. Journal of Consulting and Clinical Psychology, 55(2), 156-161.
35. Nordhus, I. H. & Pallesen, S. (2003). Psychological treatment of late-life anxiety: An empirical review. Journal of Consulting and Clinical Psychology, 71(4), 643-651.
36. Okumura, Y., & Ichikura, K. (2014). Efficacy and acceptability of group cognitive behavioral therapy for depression: A systematic review and meta-analysis. Journal of Affective Disorders, 164(0), 155-164.
37. Pilling, S., Bebbinton, P., Kuipers, E., Garety, P., Geddes, J., Martindale, B., Orbach, G. & Morgan, C. Psychological treatments in schizophrenia: II. Meta-analyses of randomized controlled trials of social skills training and cognitive remediation. Psychological Medicine, 32(5), 783-791.
38. Rapport, M. D., Orban, S. A., Kofler, M. J., & Friedman, L. M. (2013). Do programs designed to train working memory, other executive functions, and attention benefit children with ADHD? A meta-analytic review of cognitive, academic, and behavioral outcomes. Clinical Psychology Review, 33(8), 1237-1252.
39. Rodenburg, R., Benjamin, A., de Roos, C., Meijer, A. M., & Stams, G. J. (2009). Efficacy of EMDR in children: A meta-analysis. Clinical Psychology Review, 29(7), 599-606.
40. Shoham-Salomon, V. & Rosenthal, R. (1987). Paradoxical interventions: A meta-analysis. Journal of Consulting and Clinical Psychology, 55(1), 22-28.
41. Spielmans, G. I., Benish, S. G., Marin, C., Bowman, W. M., Menster, M., & Wheeler, A. J. (2013). Specificity of psychological treatments for bulimia nervosa and binge eating disorder? A meta-analysis of direct comparisons. Clinical Psychology Review, 33(3), 460-469.
42. Spielmans, G. I., Pasek, L. F., & McFall, J. P. (2007). What are the active ingredients in cognitive and behavioral psychotherapy for anxious and depressed children? A meta-analytic review. Clinical Psychology Review, 27(5), 642-654.
43. Stewart, R. E. & Chambless, D. L. (2009). Cognitive behavioral therapy for adult anxiety disorders in clincial practice: A meta-analysis of effetiveness studies. Journal of Consulting and Clinical Psychology, 77(4), 595-606.
44. Svartberg, M. & Stiles, T. C. (1991). Comparative effects of short-term psychodynamic
psychotherapy: A meta-analysis. Journal of Consulting and Clinial Psychology, 59(5), 704-714.
45. Taylor, J. E., & Harvey, S. T. (2010). A meta-analysis of the effects of psychotherapy with adults sexually abused in childhood. Clinical Psychology Review, 30(6), 749-767.
46. Vittengl, J. R., Clark, L. A., Dunn, T. W. & Jarret, R. B. (2007). Reducing relapse and recurrence in unipolar depression: A comparative meta-analysis of cognitive-behavioral therapy's effects. Journal of Consulting and Clinical Psychology, 75(3), 475-488.
47. Wampold, B. E., Minami, T., Baskin, T. W., & Callen Tierney, S. (2002). A meta-(re)analysis of the effects of cognitive therapy versus ‘other therapies’ for depression. Journal of Affective Disorders, 68(2–3), 159-165.
48. Wampold, B. E., Mondin, G. W., Moody, M. Stich, F., Benson, K. & Ahn, H. (1997). A meta-analysis of outcome studies comparing bona fide psychotherapies: Empiricially, "all must have prizes." Psychologial Bulletin, 122(3), 203-215.
49. Weiss, B. & Weisz, J. R. (1995). Relative effectiveness of behavioral versus nonbehavioral child psychotherapy. Journal of Consulting and Clinial Psychology, 63(2), 317-320.
50. Weisz, J. R., McCarty, C. A. & Valeri, S. M. (2006). Effects of psychotherapy for depression in children and adolescents: A meta-analysis. Psychological Bulletin, 132(1), 132-149.
51. Weisz, J. R., Weiss, B. Alicke, M. D. & Klotz, M. L. (1987). Effectiveness of psychotherapy with children and adolescents: A meta-analysis for clinicians. Journal of Consulting and Clinical Psychology, 55(4), 542-549.
52. Weisz, J. R., Weiss, B., Han, S. S., Granger, D. A. & Morton, T. (1995). Effects of psychotherapy with children and adolescents revisited: A meta-analysis of treatment outcome studies. Psychological Bulletin, 117(3), 450-468.
53. Western, D. & Morrison, K. (2001). A multidimensional meta-analysis of treatments for depression, panic, and generalized anxiety disorder: An empirical examination of the status of empirically supported therapies. Journal of Consulting and Clinical Psychology, 69(6), 875-899.
54. Wolitzky-Taylor, K. B., Horowitz, J. D., Powers, M. B., & Telch, M. J. (2008). Psychological
approaches in the treatment of specific phobias: A meta-analysis. Clinical Psychology Review, 28(6), 1021-1037.
Artikelen in categorie 2
55. Acaturk, C., Cuijpers, P., van Straten, A. & de Graaf, R. (2009). Psychological treatment of social anxiety disorder: A meta-analysis. Psychological Medicine, 39(2), 241-254.
56. Barrera, T. L., Mott, J. M., Hofstein, R. F., & Teng, E. J. (2013). A meta-analytic review of exposure in group cognitive behavioral therapy for posttraumatic stress disorder. Clinical Psychology
Review, 33(1), 24-32.
57. Bird, V., Premkumar, P., Kendall, T., Whittington, C., Mitchell, J. & Kuipers, E. (2010). Early
intervention services, cognitive-behavioural therapy and family intervention in early psychosis: Systematic review. The British Journal of Psychiatry, 197(5), 350-356.
58. Den Boer, P. C. A. M., Wiersma, D. & van den Bosch, R. J. (2004). Why is self-help neglected in the treatment of emotional disorders? A meta-analysis. Psychological Medicine, 34(6), 959-971.
59. Bruin, C. L. de, Deppeler, J. M., Moore, D. W. & Diamond, N. T. (2013). Public school-based interventions for adolescents and young adults with an autism spectrum disorder: A meta-analysis. Review of Educational Research, 83(4), 521-550.
60. Cuijpers, P., Donker, T., van Straten, A., Li, J. & Andersson, G. (2010). Is guided self-help as effective as face-to-face psychotherapy for depression and anxiety disorders? A systematic review and meta-analysis of comparative outcome studies. Psychological Medicine, 40(12), 1943-1957.
61. Cuijpers, P., Koole, S. L., van Dijke, A., Roca, M., Li, J. & Reynolds, C. F. (2014). Psychotherapy for subclinical depression: Meta-analysis. The British Journal of Psychiatry, 205(4), 268-274.
62. Cuijpers, P., van Straten, A., & Warmerdam, L. (2007). Behavioral activation treatments of depression: A meta-analysis. Clinical Psychology Review, 27(3), 318-326.
63. Cuijpers, P., Turner, E. H., Mohr, D. C., Hofmann, S. G., Andersson, G., Berking, M. & Coyne, J. (2014). Comparison of psychotherapies for adult depression to pill placebo control groups: A meta-analysis. Psychological Medicine, 44(4), 685-695.
64. Ehring, T., Welboren, R., Morina, N., Wicherts, J. M., Freitag, J., & Emmelkamp, P. M. G. (2014). Meta-analysis of psychological treatments for posttraumatic stress disorder in adult survivors of childhood abuse. Clinical Psychology Review, 34(8), 645-657.
65. Hallion, L. S. & Ruscio, A. M. (2011). A meta-analysis of the effect of cognitive bias modification on anxiety and depression. Psychological Bulletin, 137(6), 940-958.
66. Hans, E., & Hiller, W. (2013). A meta-analysis of nonrandomized effectiveness studies on
outpatient cognitive behavioral therapy for adult anxiety disorders. Clinical Psychology Review, 33(8), 954-964.
67. Hansen, K., Höfling, V., Kröner-Borowik, T., Stangier, U., & Steil, R. (2013). Efficacy of psychological interventions aiming to reduce chronic nightmares: A meta-analysis. Clinical Psychology Review, 33(1), 146-155.
68. Huntley, A. L., Araya, R. & Salisbury, C. (2012). Group psychological therapies for depression in the community: Systematic review and meta-analysis. The British Journal of Psychiatry, 200(3), 184-190.
69. Jakobsen, J. C., Hansen, J. L., Simonsen, S., Simonsen, E. & Gluud, C. (2012). Effects of cognitive therapy versus interpersonal psychotherapy in patients with major depressive disorder: A systematic review of randomized clinical trials with meta-analyses and trial sequential analyses. Psychological Medicine, 42(7), 1343-1357.
70. Polnay, A., James, V. A. W., Hodges, L., Murray, G. D., Munro, C. & Lawrie, S. M. (2014). Group therapy for people with bulimia nervosa: Systematic review and meta analysis. Psychological Medicine, 44(11), 2241-2254.
71. Richards, D., & Richardson, T. (2012). Computer-based psychological treatments for depression: A systematic review and meta-analysis. Clinical Psychology Review, 32(4), 329-342.
72. Seekles, W., Cuijpers, P., Kok, R., Beekman, A., van Markwijk, H. & van Straten, A. (2013). Psychological treatment of anxiety in primary care: A meta-analysis. Psychological Medicine, 43(2), 351-361.
73. Smit, Y., Huibers, M. J. H., Ioannidis, J. P. A., van Dyck, R., van Tilburg, W., & Arntz, A. (2012). The effectiveness of long-term psychoanalytic psychotherapy—A meta-analysis of randomized controlled trials. Clinical Psychology Review, 32(2), 81-92.
74. Spek, V., Cuijpers, P., Nyklicek, I., Riper, H., Keyzer, J. & Pop, V. (2007). Internet-based cognitive behaviour therapy for symptoms of depression and anxiety: A meta-analysis. Psychological Medicine, 37(3), 319-328.
75. Straten, A. van, Hill, J., Richards, D. A. & Cuijpers, P. (2015). Stepped care treatment delivery for depression: A systematic review and meta-analysis. Psychologial Medicine, 45(2), 231-246.
76. Townsend, E., Hawton, K., Altman, D. G., Arensman, E., Gunnell, D., Hazell, P., House, A. & van Heeringen, K. (2001). The efficacy of problem-solving treatments after deliberate self-harm: Meta-analysis of randomized controlled trials with respect to depression, hopelessness and improvement in problems. Psychological Medicine, 31(6), 979-988.
77. Virués-Ortega, J. (2010). Applied behavior analytic intervention for autism in early childhood: Meta-analysis, meta-regression and dose–response meta-analysis of multiple outcomes. Clinical Psychology Review, 30(4), 387-399.
78. Vos, J., Craig, M., & Cooper, M. (2015). Existential therapies: A meta-analysis of their effects on psychological outcomes. Journal of Consulting and Clinical Psychology, 83(1), 115-128.
79. Wampold, B. E., Budge, S. L., Laska, K. M., Del Re, A. C., Baardseth, T. P., Flűckiger, C., et al. (2011). Evidence-based treatments for depression and anxiety versus treatment-as-usual: A meta-analysis of direct comparisons. Clinical Psychology Review, 31(8), 1304-1312.
80. Wittouck, C., Van Autreve, S., De Jaegere, E., Portzky, G., & van Heeringen, K. (2011). The prevention and treatment of complicated grief: A meta-analysis. Clinical Psychology Review, 31(1), 69-78.
Artikelen in categorie 3
81. Bate, K. S., Malouff, J. M., Thorsteinsson, E. T., & Bhullar, N. (2011). The efficacy of habit reversal therapy for tics, habit disorders, and stuttering: A meta-analytic review. Clinical Psychology Review, 31(5), 865-871.
82. Beltman, M. W., Voshaar, R. C. O. & Speckens, A. E. (2010). Cognitive-behavioural therapy for depression in people with a somatic disease: Meta-analysis of randomised controlled trials. The British Journal of Psychiatry, 197(1), 11-19.
83. Bisson, J. I., Ehlers, A., Matthews, E., Pilling, S., Richards, D. & Turner, S. (2007). Psychological treatments for chronic post-traumatic stress disorder: Systematic review and meta-analysis. The British Journal of Psychiatry, 190(2), 97-104.
84. Bower, P., Rowland, N. & Hardy, R. The clinical effectiveness of counselling in primary care: A systematic review and meta-analysis. Psychological Medicine, 33(2), 203-215.
85. Cuijpers, P., de Beurs, D. P., van Spijker, B. A. J., Berking, M., Andersson, G., & Kerkhof, A. J. F. M. (2013). The effects of psychotherapy for adult depression on suicidality and hopelessness: A systematic review and meta-analysis. Journal of Affective Disorders, 144(3), 183-190.
86. Cuijpers, P., Karyotaki, E., Weitz, E., Andersson, G., Hollon, S. D., & van Straten, A. (2014). The effects of psychotherapies for major depression in adults on remission, recovery and improvement: A meta-analysis. Journal of Affective Disorders, 159(0), 118-126.
87. Cuijpers, P., Sijbrandij, M., Koole, S., Huibers, M., Berking, M., & Andersson, G. (2014).
Psychological treatment of generalized anxiety disorder: A meta-analysis. Clinical Psychology Review, 34(2), 130-140.
88. Ekers, D., Richards, D. & Gilbody, S. (2008). A meta-analysis of randomized trials of behavioural treatment of depression. Psychological Medicine, 38(5), 611-623.
89. Engels, G. I., Garnefski, N. & Diekstra, R. F. W. (1993). Efficacy of rational-emotive therapy: A quantitative analysis. Journal of Consulting and Clinical Psychology, 61(6), 1083-1090.
90. Gerger, H., Munder, T., Gemperli, A., Nuesch, E., Trelle, S., Juni, P. & Barth, J. (2014). Integrating fragmented evidence by network meta-analysis: Relative effectiveness of psychological interventions for adults with post-traumatic stress disorder. Psychologial Medicine, 44(15), 3151-3164.
91. Hofmann, S. G., Wu, J. Q., & Boettcher, H. (2014). Effect of cognitive-behavioral therapy for anxiety disorders on quality of life: A meta-analysis. Journal of Consulting and Clinical Psychology, 82(3), 375-391.
92. Jauhar, S., McKenna, P. J., Radua, J., Fung, E., Salvador, R. & Laws, K. R. (2014).
Cognitive-behavioural therapy for the symptoms of schizophrenia: Systematic review and meta-analysis with examination of potential bias. The British Journal of Psychiatry, 204(1), 20-29.
93. Keefe, J. R., McCarthy, K. S., Dinger, U., Zilcha-Mano, S., & Barber, J. P. (2014). A meta-analytic review of psychodynamic therapies for anxiety disorders. Clinical Psychology Review, 34(4), 309-323.
94. Khoury, B., Lecomte, T., Fortin, G., Masse, M., Therien, P., Bouchard, V., et al. (2013). Mindfulness-based therapy: A comprehensive meta-analysis. Clinical Psychology Review, 33(6), 763-771.
95. Kleinstäuber, M., Witthöft, M., & Hiller, W. (2011). Efficacy of short-term psychotherapy for multiple medically unexplained physical symptoms: A meta-analysis. Clinical Psychology Review, 31(1), 146-160.
96. Kliem, S., Kröger, C., & Kosfelder, J. (2010). Dialectical behavior therapy for borderline personality disorder: A meta-analysis using mixed-effects modeling. Journal of Consulting and Clinical Psychology, 78(6), 936-951.
97. Koelen, J. A., Houtveen, J. H., Abbass, A., Luyten, P., Eurelings-Bontekoe, E. H. M., van Broekhuysen-Kloth, S. A. M., Buhring, M. E. F. & Geenen, R. (2014). Effectiveness of
psychotherapy for severe somatoform disorder: meta analysis. The British Journal of Psychiatry, 204(1), 12-19.
98. Leichsenring, F. & Rabung, S. (2011) Long-term psychodynamic psychotherapy in complex mental disorders: Update of a meta-analysis. The British Journal of Psychiatry, 199(1), 15-22.
99. Morin, C. M., Culbert, J. P. & Schwartz, S. M. (1994). Nonpharmacological interventions for insomnia: A meta-analysis of treatment efficacy. The American Journal of Psychiatry, 152(8), 1172-1180.
100. Piet, J., & Hougaard, E. (2011). The effect of mindfulness-based cognitive therapy for prevention of relapse in recurrent major depressive disorder: A systematic review and meta-analysis. Clinical Psychology Review, 31(6), 1032-1040.
101. Powers, M. B., Halpern, J. M., Ferenschak, M. P., Gillihan, S. J., & Foa, E. B. (2010). A meta-analytic review of prolonged exposure for posttraumatic stress disorder. Clinical Psychology Review, 30(6), 635-641.
102. Renner, F., Cuijpers, P. & Huibers, M. J. H. (2014). The effect of psychotherapy for depression on improvements in social functioning: A meta-analysis. Psychological Medicine, 44(14), 2913-2926.
103. Reynolds, S., Wilson, C., Austin, J., & Hooper, L. (2012). Effects of psychotherapy for anxiety in children and adolescents: A meta-analytic review. Clinical Psychology Review, 32(4), 251-262.
104. Roberts, N. P., Kitchiner, N. J., Kenardy, J. & Bisson, J. I. (2009) Systematic review and meta-analysis of multiple-session early interventions following traumatic events. The American Journal of Psychiatry, 166(3), 293-301.
105. Rosa-Alcázar, A. I., Sánchez-Meca, J., Gómez-Conesa, A., & Marín-Martínez, F. (2008).
Psychological treatment of obsessive–compulsive disorder: A meta-analysis. Clinical Psychology Review, 28(8), 1310-1325.
106. Sánchez-Meca, J., Rosa-Alcázar, A. I., Marín-Martínez, F., & Gómez-Conesa, A. (2010).
Psychological treatment of panic disorder with or without agoraphobia: A meta-analysis. Clinical Psychology Review, 30(1), 37-50.
107. Scogin, F. & McElreath, L. (1994). Efficacy of psychosocial treatments for geriatric depression: A quantitative review. Journal of Consulting and Clinial Psychology, 62(1), 69-74.
108. Tolin, D. F. (2010). Is cognitive–behavioral therapy more effective than other therapies?: A meta-analytic review. Clinical Psychology Review, 30(6), 710-720.
109. Turner, D. T., van den Gaag, M., Karyotaki, E. & Cuijpers, P. (2014). Psychological interventions for psychosis: A meta-analysis of comparative outcome studies. The American Journal of Psychiatry, 171(5), 523-583.
110. Turner, W. A., & Casey, L. M. (2014). Outcomes associated with virtual reality in psychological interventions: Where are we now? Clinical Psychology Review, 34(8), 634-644.
111. van der Stouwe, T., Asscher, J. J., Stams, G. J. J. M., Deković, M., & van der Laan, P. H. (2014). The effectiveness of multisystemic therapy (MST): A meta-analysis. Clinical Psychology Review, 34(6), 468-481.
112. Virues-Ortega, J., Julio, F. M., & Pastor-Barriuso, R. (2013). The TEACCH program for children and adults with autism: A meta-analysis of intervention studies. Clinical Psychology Review, 33(8), 940-953.
113. Winkler, A., Dörsing, B., Rief, W., Shen, Y., & Glombiewski, J. A. (2013). Treatment of internet addiction: A meta-analysis. Clinical Psychology Review, 33(2), 317-329.
114. Wykes, T., Huddy, V., Cellard, C., McGurk, S. R. & Czobor, P. (2011). A meta-analysis of cognitive remediation for schizophrenia: Methodology and effect sizes. The American Journal of
