Het zoeken naar relevante artikelen heeft plaatsgevonden tussen november 2015 en maart 2016. Voor het identificeren van de artikelen werden een vijftal zoekstrategieën toegepast. Er is naar artikelen gezocht met behulp van:
1. Een systematisch zoekproces in elektronische databases;
2. Een aanvullend zoekproces via Google Scholar;
3. Een handmatige check van referentielijsten van de geselecteerde artikelen;
4. Citation tracking.
In de eerste fase, is gezocht naar (inter)nationale studies in de volgende databases: Education Resources Information Centre (ERIC); PsycINFO; Web of Science; Scopus en Sociological Abstracts.
Hierbij werden de volgende vier zoektermen met elkaar gecombineerd in een zoeksyntax:
vernieuwingen; onderwijs; professionele netwerken en duurzaamheid. Deze syntax voor het systematische zoekproces werd met meerdere onderzoekers en met een expert op dit gebied (drs.
Janneke Staaks, Universiteitsbibliotheek Universiteit van Amsterdam) opgesteld (voor de exacte syntax voor het systematische zoekproces, met daarin een overzicht van de zoektermen en relaties
daartussen, zie Bijlage 1). Vooraf werden bovendien inclusie- en exclusiecriteria vastgelegd die bepaalden of een artikel wel of niet werd meegenomen in dit onderzoek (zie Tabel 1).
Tabel 1. Criteria voor inclusie en exclusie van publicaties uit elektronische databases Inclusiecriteria Exclusiecriteria
Onderwerp 1 Onderwijsvernieuwingen Indien het artikel niet over
onderwijsvernieuwingen ging of als het artikel focuste op
professionalisering van leraren.
Onderwerp 2 Duurzaamheid van vernieuwingen Indien het artikel focuste op de adoptie- of implementatiefase van vernieuwingen
Onderwerp 3 Samenwerking (schoolinterne en -externe netwerken)
Indien samenwerking niet centraal stond in het artikel
Onderwijssector Artikelen over PO t/m MBO Artikelen over HBO & WO
Jaar van publicatie 2000 – 2016 Voor 2000
Taal Engels of Nederlands Alle andere talen
Onderzoekscontext Uitgevoerd in een Westers land Uitgevoerd in een niet-Westers land
Publicatievorm ‘Peer-reviewed’ Niet ‘peer-reviewed’
Design Interpretatief kwalitatief en/of
‘mixed methods’-design
Kwantitatief design
De inhoudelijke focus van de artikelen fungeerde als belangrijkste richtlijn voor de inclusie van een artikel. Concreet werden artikelen opgenomen waarin de duurzaamheid van onderwijsvernieuwingen bestudeerd werd en waarbij de invloed van netwerken (binnen of buiten scholen) een centrale focus was. Vernieuwingen konden hierbij betrekking hebben op verschillende soorten vernieuwingen, gericht op het curriculum, pedagogische/didactische processen, technologie/ICT, de organisatie.
Professionalisering werd niet als een vernieuwing beschouwd, maar als een middel ter ondersteuning van vernieuwingen. Duurzaamheid kon hierbij betrekking hebben op het beklijven van de opbrengsten (vernieuwing), maar ook op het beklijven van het proces (vernieuwen) na de implementatiefase.
Daarnaast kon het gaan om het verspreiden (opschalen) van een vernieuwing in de praktijk. Het laatste centrale aspect waar het artikel op diende te focussen is netwerken en in het bijzonder hun kenmerken.
Deze netwerken kunnen betrekking hebben op interne netwerken (uitwisseling tussen schoolleden zoals leraren en schoolleiders) of externe netwerken (uitwisseling tussen scholen/schoolleden en externe partners, c.q. cross-professionele samenwerking met externe onderzoekers, experts (bijvoorbeeld orthopedagogen), bestuurders, ouders, lokale beleidsmakers, begeleiders).
De zoektocht in de elektronische databases leverde in totaal 5332 potentieel relevante artikelen op (ERIC 1.326, PsycINFO 1.017, Web of Science 742, Sociological abstracts 451, Scopus 1.796; zie Bijlage 2 voor het Flow diagram, waarin het selectieproces van de artikelen wordt weergegeven). Boeken, dissertaties en digitaal niet-beschikbare bronnen zijn achterwege gelaten vanwege praktische redenen, zoals de tijd die het kost om deze bronnen te achterhalen. Een aantal artikelen was door
verschillende databases gevonden, waardoor deze artikelen meerdere malen opgenomen waren bij het totale aantal artikelen. Na het verwijderen van deze dubbele artikelen (‘ontdubbelen’) kwam het aantal artikelen op een totaal van 4034.
Screening
De screening van de gevonden artikelen is uitgevoerd door twee onderzoekers (März & Weijers).
Vooraf aan het beoordelen van de artikelen hebben deze onderzoekers de overeenstemming in het selecteren van de artikelen op relevantie bekeken door beiden de eerste 50 artikelen te scannen. De overeenstemming in het selecteren was dermate hoog dat gesteld kon worden dat beide onderzoekers adequaat de artikelen konden selecteren. De artikelen werden vervolgens beoordeeld op mogelijke relevantie aan de hand van hun titel en abstract. Deze beoordelingsprocedure leidde tot een selectie van 99 artikelen. Op basis van de zoektocht in de referentielijsten werden 16 nieuwe artikelen geïdentificeerd. Via citation tracking konden vervolgens 10 artikelen toegevoegd worden. Experts werden geconsulteerd door de lijst met geselecteerde artikelen voor te leggen en gevraagd naar mogelijk aanvullende artikelen. Het raadplegen van experts tijdens het zoeken naar relevante artikelen had als doel om te ondervangen dat nog niet gepubliceerde, maar wel al geaccepteerde artikelen niet meegenomen werden.
De zoektocht leverde uiteindelijk 125 artikelen op. Vervolgens werden deze 125 mogelijk relevante artikelen gelezen en werd beoordeeld of zij daadwerkelijk geschikt waren voor deze studie. De artikelen werden beoordeeld op hun kwaliteit door twee reviewers, die dit onafhankelijk van elkaar deden, gebruikmakend van de QARI-checklist (Hannes, 2010; Joanna Briggs Institute, 2007; zie Bijlage 3). Artikelen werden hierbij beoordeeld op 10 criteria, waarbij aangegeven kon worden of het artikel eraan voldoet, er niet aan voldoet, of dat dit onduidelijk is. Twijfelgevallen werden voorgelegd aan het reviewteam om tot een consensus te komen. De kwaliteitsscores van de individuele artikelen varieerden van 2 tot 10. Op basis van de kwaliteitscontrole werden 76 artikelen uitgesloten. In totaal werden er 49 artikelen opgenomen. De verwijzingen zijn gemarkeerd in de literatuurlijst. Een overzicht van de studies is opgenomen in Bijlage 4.
2.4 Analyse
Conform de zeven fases van de meta-etnografische methode van Noblit en Hare (1988; zie ook Lucassen & Olde-Hartman, 2007) werden de fasen 3 – 7 als volgt doorlopen:
Bestuderen van de studies en identificeren van kernconcepten (interpretaties van de eerste orde) De onderzoeker heeft de studies zorgvuldig gelezen om de kernconcepten, thema’s en metaforen in deze studies te identificeren. Dit is geen eenmalige activiteit; naarmate de synthese vordert, werden de studies regelmatig opnieuw doorgenomen om de relevante uitspraken en interpretaties te toetsen.
Bepalen van de onderlinge relaties van de studies (interpretaties van de tweede orde)
De onderzoeker heeft lijsten opgesteld van kernconcepten, kernmetaforen, zinnen, ideeën en/of concepten en hun verbanden; de verschillende studies werden naast elkaar gelegd en onderling vergeleken.
Vertaling (interpretaties van de derde orde)
De centrale metaforen en/of thema’s werden vervolgens vergeleken met andere concepten in dezelfde studie (analyse in context), terwijl ze ook werden vergeleken met concepten in andere studies. Dit was een cyclisch proces van decoderen en hercoderen, ook wel vertaling genoemd. Bij het identificeren van verschillen tussen de studies onderling was het van belang te onderzoeken of deze konden worden verklaard door de andere methode of door de verschillende samenstelling van de steekproef. Bij deze stap ging het dus om een constant reflecteren, het voortdurend in kaart brengen van elementen om de weg te vinden naar de best mogelijke synthese.
Synthese van de vertalingen
De verschillende vertalingen zijn daarna met elkaar vergeleken. In deze fase stond de analyse van concurrerende interpretaties en de vertaling naar elkaar toe, dus de onderlinge relatie centraal. Op deze manier konden gelijkenissen en tegenstellingen worden vastgesteld en werd een synthese mogelijk die het geheel omvat en toch de onderlinge relaties weergeeft.
Presentatie van de resultaten van de synthese
De onderzoeker heeft de resultaten van de meta-etnografie ten slotte vertaald in de taal van het doelpubliek: op de eerste plaats het brede scala van onderwijskundig onderzoekers, maar ook onderwijskundigen in bredere (ook praktische) zin en onderwijsvernieuwers met interesse voor (dit) onderzoek; en ook onderzoekers uit andere disciplines (bijvoorbeeld veranderkundigen) met interesse voor het onderwijs.