Validatie van de ASETS voor het meten van sociaal emotionele- en
gedragsproblemen bij jonge kinderen op het gebied van formeel leren
Masterscriptie Onderwijswetenschappen Universiteit van Amsterdam Romana Pols 12724041 Begeleider: Ron Oostdam Tweede beoordelaar: Ruben Fukkink Rotterdam, juli 2020
Validation of the ASETS for measuring social emotional and behavioral problems in young children in the context of formal learning
Abstract
Aim of the study. The Adjustments Scales for Early Transition in Schooling (ASETS) is an instrument for assessing social emotional and behavioral problems in young children. The ASETS can combine the type of behavioral problems (fenotype) with the context in which they occur (situtype). This makes the instrument more specific than existing instruments for
assessing social emotional and behavioral problems (McDermott et al., 2013). The aim of the current study is to further validate the ASETS for the situtype of formal learning by comparing the scores on the ASETS with the scores on existing instruments that measure corresponding constructs. Formal learning includes several conditional skills which children should have developed before they are ready for formal learning in first grade (Van der Aalsvoort et al., 2007; Campbell & Von Stauffenberg, 2008; Huizinga, 2007).
Method. In order to examine the coherence of the ASETS, two comparative instruments were used, SCOL and VISEON. The sample consists of 14 teachers who completed a total of 56 questionnaires. The teachers selected two students with social-emotional or cognitive problems that were discussed and two students who were not discussed. The correlations between the different scales of the ASETS, SCOL and VISEON on total score and item level were examined. In addition, differences and coherence in scores for different groups were examined: gender and discussed or not discussed. Finally, a discriminant analysis was carried out to investigate
whether the ASETS correctly classifies discussed and undiscussed pupils.
Results. In general, no significant correlations were found between the ASETS, SCOL and VISEON. Between the instruments, some correlations occurred at item level for items that were formulated almost identically. There is no correlation between scores on the ASETS and scores on the SCOL or VISEON. All three instruments report no difference in score between boys and girls. Discriminant analyses show that the SCOL and VISEON could better distinguish between discussed and not discussed students than the ASETS. The ASETS correctly classifies 48.2% of the children as discussed or not discussed.
Discussion. The situtype of formal learning of the ASETS is not coherent with the comparison tools, either because they do not have enough similarities in terms of content or because they use a different type of scale (dichotomy and interval). Follow-up research should focus on instruments with more content similarity the same type of scale in order to further validate the situtype formal learning from the ASETS.
Samenvatting
Doel. De Adjustments Scales for Early Transition in Schooling (ASETS) is een
meetinstrument voor sociaal emotionele- en gedragsproblemen bij jonge kinderen. De ASETS kan soorten gedragsproblemen (fenotypen) combineren met de context waarin dit zich
voordoet (situtypen) en maakt het meetinstrument hiermee specifieker dan bestaande meetinstrumenten die dezelfde constructen meten (McDermott et al., 2013). Het doel van huidig onderzoek is om de ASETS nader te valideren voor het situtype formeel leren door de scores te vergelijken met scores op bestaande meetinstrumenten die hetzelfde construct meten. Formeel leren omvat een aantal voorwaardelijke vaardigheden die leerlingen moeten hebben ontwikkeld voordat zij klaar zijn voor groep 3 (Van der Aalsvoort et al., 2007; Campbell & Von Stauffenberg, 2008; Huizinga, 2007).
Methode. Om de samenhang van de ASETS te onderzoeken zijn twee
vergelijkingsinstrumenten afgenomen, SCOL en VISEON. De steekproef bestaat uit 14 leerkrachten die in totaal 56 vragenlijsten hebben ingevuld. De leerkrachten selecteerden twee leerlingen met sociaal emotionele of cognitieve problemen die besproken zijn en twee
onbesproken leerlingen. De correlatie tussen de verschillende schalen van de ASETS, SCOL en VISEON is geanalyseerd op totaalscore en itemniveau. Daarnaast is er gekeken naar verschillen en samenhang in scores voor verschillende groepen: geslacht en besproken of onbesproken. Tot slot is een discriminantanalyse uitgevoerd om te onderzoeken of de ASETS besproken en onbesproken leerlingen juist classificeert.
Resultaten. In het algemeen is geen samenhang gevonden tussen scores op de ASETS en scores op SCOL of VISEON. Tussen de ASETS en VISEON zijn een aantal correlaties op itemniveau gevonden voor items die bijna hetzelfde geformuleerd zijn. Er wordt voor alle meetinstrumenten geen verschil gevonden tussen jongens en meisjes. Discriminantanalyse laat zien dat de SCOL en VISEON beter onderscheid maken tussen besproken en
onbesproken kinderen dan de ASETS. De ASETS classificeert 48,2% van de leerlingen juist in besproken of onbesproken.
Discussie. Het situtype formeel leren van de ASETS vertoont geen samenhang met de vergelijkingsinstrumenten, dit komt ofwel omdat zij inhoudelijk niet genoeg overeenkomsten hebben of omdat zij een ander soort schaal gebruiken (dichotoom en interval).
Vervolgonderzoek moet zich richten op meetinstrumenten met meer inhoudelijke gelijkenis en eenzelfde soort schaal om het situtype formeel leren van de ASETS nader te valideren.
Inhoudsopgave
1 Inleiding ... 5
2 Theoretisch kader ... 7
2.1 Formeel leren ... 7
2.2 Schoolrijpheid ... 7
2.3 Het meten van sociaal emotionele- en gedragsaspecten ... 9
2.4 Vergelijkingsinstrumenten ... 10 2.5 Huidig onderzoek ... 15 3 Methode ... 17 3.1 Design ... 17 3.2 Respondenten ... 17 3.3 Procedure ... 18 3.4 Instrumenten ... 19 3.5 Data-analyse ... 21 4 Resultaten ... 23 4.1 Beschrijvende statistiek ... 23 4.2 Correlaties ... 25
4.3 Verschillen tussen groepen ... 28
4.4 Correlaties tussen verschillende groepen ... 29
4.5 Discriminantanalyse ... 30
5 Discussie en conclusie ... 32
Literatuurlijst ... 36
Bijlagen ... 41
Bijlage 1: Inhoudelijke vergelijking instrumenten ... 41
Bijlage 2: Matrix dimensiestructuur ... 44
Bijlage 3: Dimensiestructuur SCOL ... 45
Bijlage 4: Dimensiestructuur VISEON ... 47
Bijlage 5: Frequentietabellen scores ASETS ... 48
1 Inleiding
In het Nederlandse onderwijssysteem is de overgang van groep 2 naar groep 3 een overgang van spelend leren naar formeel leren (Van der Aalsvoort, Van der Sluis, & Kegel, 2007). Leerkrachten moeten in de context van het kleuteronderwijs beoordelen of kinderen de juiste vaardigheden bezitten voor het formeel leren in groep 3. Wanneer kinderen dergelijke vaardigheden bezitten, wordt vaak gesproken van schoolrijpheid (Hamerslag, Oostdam, & Tavecchio, 2015). Schoolrijpheid omvat onder andere cognitieve aspecten, zoals het kunnen tellen tot 20 en het kunnen rijmen (SLO, 2019). Daarnaast spelen ook sociaal emotionele- en gedragsaspecten een rol, zoals het kunnen uitstellen van behoeftes en zelfstandig taken
uitvoeren (SLO, 2019). Sociaal emotionele- en gedragsaspecten zijn vaak moeilijker meetbaar dan cognitieve aspecten, omdat het gaat om attitudes en gedragingen in plaats van concrete doelen (Van der Aalsvoort et al., 2007).
Bij de beslissing over de overgang naar groep 3, moeten de sociaal emotionele- en gedragsaspecten ook een rol spelen. Uit onderzoek blijkt namelijk dat sociaal emotionele- en gedragsproblemen een negatieve invloed kunnen hebben op het leren (Hamerslag, Oostdam, & Tavecchio, 2018). Dit houdt in dat kinderen die op sociaal emotionele- of gedragsaspecten onvoldoende ontwikkeld zijn voor het formele leren, een verhoogd risico lopen om slecht te presteren op cognitieve prestatiematen. Voor leerkrachten van de kleutergroepen is het dus van belang om deze aspecten goed in beeld te krijgen. Als leerkrachten inzicht hebben in het soort probleemgedrag dat een kind vertoont en de situatie waarin dit gebeurt, kan een
specifieke interventie worden ingezet om de schoolrijpheid te bevorderen (Hamerslag et al., 2015). Een meetinstrument dat leerkrachten inzicht biedt in deze aspecten is daarvoor nodig.
De Adjustment scales for early transition in schooling (ASETS) is een meetinstrument voor het in kaart brengen van aanpassingsproblemen van jonge kinderen met betrekking tot sociaal emotionele- en gedragsaspecten (McDermott, Watkins, Rovine, & Rikoon, 2013). Het instrument kan gebruikt worden voor het verkrijgen van gedetailleerde informatie over typen probleemgedrag en de verschillende contexten waarin dit gedrag zich voordoet. Het
instrument is ontwikkeld in Amerika en vertaald naar het Nederlands (Hamerslag et al., 2018). De ASETS meet aanpassingsproblemen in drie contexten (situtypes): interactie met de leerkracht, interactie met klasgenoten en formeel leren. De ASETS is betrouwbaar bevonden in Nederland. Eerder onderzoek heeft zich gericht op de validiteit van het situtype ‘interactie met de leerkracht’ (Druijff, 2020). Meer onderzoek is nodig om validering te realiseren van de overige twee situtypen. Het huidige onderzoek zal zich richten op validatie van het situtype
formeel leren, omdat dit situtype nog niet gevalideerd is en het de sociaal emotionele- en gedragsmatige rijpheid meet die nodig is voor de manier van leren in groep 3. De
onderzoeksvraag die hieruit volgt is: ‘Is er een verband tussen de scores op de ASETS op het situtype formeel leren en de scores op bestaande meetinstrumenten die hetzelfde construct meten?’ Door de samenhang te onderzoeken, kan de validiteit van de ASETS worden bepaald.
2 Theoretisch kader 2.1 Formeel leren
De overgang van groep 2 naar groep 3 brengt voor kinderen een andere manier van leren met zich mee (Van der Aalsvoort et al., 2007). In groep 3 wordt meer zelfstandigheid en oplettendheid gevraagd van kinderen dan in de kleuterklassen (Van der Aalsvoort et al., 2007). Om op een formele manier te kunnen leren, moeten kinderen voorwaardelijke vaardigheden hebben ontwikkeld. Dit zijn bijvoorbeeld sociale en zelf-regulatieve
vaardigheden, die ervoor zorgen dat het kind zich voldoende kan concentreren, kan omgaan met de eigen emoties en kan omgaan met klasgenoten en leerkrachten (Campbell & Von Stauffenberg, 2008).
Het executieve functioneren, zoals Huizinga (2007) deze voorwaardelijke
vaardigheden noemt, is het vermogen om gedachten en handelingen zodanig te reguleren dat deze doelgericht en efficiënt kunnen zijn. De executieve functies ontwikkelen zich tot de late adolescentie (Zelazo & Carlson, 2012), waarbij de kleuterperiode een belangrijke fase markeert. Deze fase wordt omschreven als de overgangsfase en vindt tussen het vierde en zevende levensjaar plaats (Pianta, Cox, & Snow, 2007). Kinderen van deze leeftijd zitten in het Nederlandse onderwijssysteem in een kleuterklas of groep 3.
In deze overgangsfase vinden volgens de transitietheorie (Entwisle, Alexander, & Olson, 2005) aanpassingen plaats op het gebied van sociaal emotioneel functioneren bij kinderen. Dit omvat meer dan alleen het executief functioneren. Naast de transitie die kinderen doormaken in executieve functies, krijgen kinderen ook meer begrip voor
complexere emoties in deze fase (Verhulst, 2005). De groei die kinderen doormaken op het gebied van sociaal emotionele- en gedragsaspecten, wordt ook wel positieve socialisatie genoemd (Ladd & Profilet, 1996). De intensiteit van waarneembare driftmatige aspecten in het gedrag van kinderen neemt in deze fase af. Tijdens de overgangsfase maken kinderen dus een groei door op de algehele sociaal emotionele- en gedragsaspecten, waar het executief functioneren onderdeel van is.
2.2 Schoolrijpheid
De voorwaardelijke vaardigheden van het formele leren zijn een belangrijke indicator om te beoordelen of kinderen klaar zijn voor groep 3. Als een leerling klaar is voor groep 3, wordt dit schoolrijp genoemd. Schoolrijpheid is een veelbesproken begrip in literatuur
(Carlton & Winsler, 1999). Waar het begrip begon met een cognitieve benadering, is het over de jaren heen veranderd naar een holistische benadering (Bronfenbrenner, 1986; Meisels,
1998). Schoolrijpheid, zoals nu wordt gehanteerd, omvat niet alleen cognitieve aspecten van kinderen maar ook sociaal emotionele aspecten. In het bio-ecologische model van
Bronfenbrenner en Morris (1998) wordt gesteld dat ook omgevingsfactoren van kinderen mee moeten worden genomen in schoolrijpheid, omdat kinderen zich ontwikkelen in interactie met de omgeving (Bronfenbrenner & Morris, 1998; Campbell & Von Stauffenberg, 2008; Gaynor, 2015).
Hoewel de benadering van schoolrijpheid is verschoven naar een holistische benadering, wordt de mate van ontwikkeling in groep 3 gemeten door gestandaardiseerde toetsen van leerprestaties (Janssens, 2008). Deze richten zich vooral op het formele leren en bijbehorende vaardigheden om cognitief te kunnen presteren. De cognitieve prestaties kunnen worden beïnvloedt door sociaal emotionele- en gedragsaspecten (Bellens, Van Landeghem, & Defraine, 2012; Hamerslag et al., 2015). Uit onderzoek is gebleken dat problemen met sociaal emotionele- en gedragsaspecten op jonge leeftijd de leerprestaties negatief kunnen
beïnvloeden (Hamerslag et al., 2015; Kortenoever, 2012; Mazzocco & Kover, 2007). Dit kan tevens invloed hebben op gedragsproblemen en leerprestaties op latere leeftijd (Dobbs, Doctoroff, Fisher, & Arnold, 2006; Fantuzzo, Bulotsky-Shearer, Fusco, & McWayne, 2005; Hair, Halle, Terry-Humen, Lavelle, & Calkins, 2006). Betreffende formeel leren kunnen kinderen als schoolrijp worden omschreven als zij de voorwaardelijke vaardigheden hiervoor, waaronder de executieve functies, voldoende hebben ontwikkeld (Hamerslag et al., 2018; Huizinga, 2007).
Naast executieve functies, kunnen ook genderverschillen een rol spelen bij sociaal emotionele- en gedragsproblemen. Uit onderzoek blijkt namelijk dat jongens vaak meer moeite hebben met het aanpassen aan de schoolse situatie dan meisjes (DiPrete & Jennings, 2012). Jongens hebben over het algemeen meer moeite om op te letten in de klas en vertonen vaker agressief gedrag dan meisjes (Buchmann, DiPrete, & McDaniel, 2008). Uit Amerikaans onderzoek blijkt dat jongens vaker blijven zitten in de kleuterklas (Entwisle, Alexander, & Olson, 2007). Uit deze verschillen volgt de verwachting dat meisjes hoger zullen scoren op het gebied van schoolrijpheid dan jongens.
Het bovenstaande maakt duidelijk dat bij het bepalen van de schoolrijpheid van een leerling in groep 2, ook rekening gehouden moet worden met eventuele sociaal emotionele- en gedragsproblemen die zich in de klas voordoen (Hamerslag et al., 2015; Huizinga, 2007). Omdat sociaal emotionele- en gedragsproblemen gemeten in de kleuterklas ook in latere jaren voor problemen kunnen zorgen (McDermott et al., 2018), is het belangrijk om dit tijdens de kleuterperiode, de overgangsfase, te meten en hier eventueel op te interveniëren. Een
veelgebruikte interventie is kleuterbouwverlenging, het kind blijft een jaar langer in de kleuterklas waardoor het meer tijd heeft om de schoolrijpheid te ontwikkelen (Van der Veen & Karssen, 2019). Een extra jaar in de kleuterklas is echter niet de oplossing voor alle sociaal emotionele- en gedragsproblemen (Roeleveld & Van der Veen, 2007). Een specifieke
interventie op het soort probleemgedrag in de context waarin dit voorkomt, kan helpen om de sociaal emotionele- en gedragsaspecten van schoolrijpheid te verbeteren (Hamerslag et al., 2015).
2.3 Het meten van sociaal emotionele- en gedragsaspecten
Het meten van sociaal emotionele- en gedragsproblemen gebeurt op scholen vaak via een leerlingvolgsysteem (LVS) en in de orthopedagogiek met observatie- of vragenlijsten (van der Linde-Meijerink & Kuipers, 2011). Bestaande meetinstrumenten meten veelal
afzonderlijk specifieke aspecten van sociaal emotionele- en gedragsproblemen of de algemene ontwikkeling in een bepaalde context. Voorbeelden van aspecten zijn: hyperactiviteit,
agressiviteit en een te lage assertiviteit. Voorbeelden van contexten zijn: tijdens het zelfstandig werken, in de thuissituatie of in interactie met leeftijdsgenoten.
Om een interventie te kiezen die is gericht op bepaalde sociaal emotionele- of
gedragsproblemen, is inzicht in de problematiek nodig (Bellens et al., 2012; Hamerslag et al., 2015). Leerkrachten moeten niet alleen weten wat voor soort probleemgedrag kinderen vertonen, of in welke context kinderen problemen vertonen, maar hebben juist behoefte aan een koppeling: wat voor soort probleemgedrag doet zich voor in wat voor soort situatie? Inzicht in deze relatie geeft de mogelijkheid om specifieke interventies in te zetten en ook om de oorzaak van het probleem te achterhalen (McDermott, Watkins, Rovine, & Rikoon, 2014). Het doel van de ASETS is om een meer gedifferentieerd beeld te krijgen van het
probleemgedrag dat een kind vertoont, om doelgerichte interventies mogelijk te maken. De ASETS kijkt naar sociaal emotionele- en gedragsproblemen op vijf gebieden (fenotypen): 1) agressief gedrag; 2) futloos gedrag; 3) teruggetrokken/verlegen gedrag; 4) oppositioneel gedrag; 5) problemen met (gebrek aan) aandacht en hyperactiviteit. Daarnaast kijkt de ASETS in welke context de problemen voorkomen (situtypen). De drie contexten waarnaar gekeken wordt, zijn: 1) interactie met de leerkracht; 2) omgang met klasgenoten; 3) formeel leren. De uitkomst van deze observatie- vragenlijst legt een relatie tussen het soort probleemgedrag dat zich voordoet en in welke context dit probleem zich voordoet. De vijf fenotypen worden voor elk van de drie situtypen in kaart gebracht. Op die manier kan
van de leerkracht, maar niet ten opzichte van klasgenoten. De ASETS meet feitelijk gedrag, de leerkracht hoeft niet te rapporteren over gevoelens of gedachten van het kind. Ook wordt vakjargon vermeden, zodat de vragenlijst voor iedereen makkelijk te begrijpen en in te vullen is.
De ASETS is in Amerika ontwikkeld en wordt daar gebruikt in voor- en
vroegschoolse educatieprogramma’s (McDermott et al., 2013). De vijf fenotypen hebben betrouwbare schalen en maken onderscheid tussen subklinisch en slecht aangepast (McDermott et al., 2013). De vijf fenotypen zijn zowel convergent als divergent valide bevonden. Hamerslag et al. (2015) hebben de ASETS vertaald naar het Nederlands. Zij hebben onderzoek gedaan naar de schaalbetrouwbaarheid van de fenotypen en situtypen van de ASETS. De onderliggende factorstructuur en validering van de afzonderlijke schalen (fenotypen en situtypen) hebben nog meer onderzoek nodig. Het huidige onderzoek zal hieraan bijdragen.
2.4 Vergelijkingsinstrumenten
Om de ASETS te kunnen valideren, zijn vergelijkingsinstrumenten nodig. Deze instrumenten moeten aan een aantal voorwaarden voldoen: 1) het instrument moet als doelgroep de leeftijdscategorie vier tot zeven jaar bevatten; 2) het instrument moet sociaal emotionele- en gedragsontwikkeling/ -problemen meten op het gebied van formeel leren (in voorkomende gevallen ook wel aangeduid met het begrip werkhouding).
Naast de voorwaarden voor selectie, wordt het instrument geanalyseerd en beoordeeld op drie criteria: 1) het instrument moet door de COTAN als voldoende zijn beoordeeld; 2) het instrument moet wetenschappelijk onderbouwd zijn; 3) het instrument moet bruikbaar zijn voor leerkrachten. Daarna is het van belang om de instrumenten die op grond van de genoemde criteria zijn geselecteerd, nader inhoudelijk te analyseren en vergelijken met de ASETS op itemniveau.
Stichting Leerplan Ontwikkeling (SLO) heeft een overzicht gemaakt van
screeningsinstrumenten voor de sociaal emotionele- en gedragsmatige ontwikkeling van kinderen die voorschoolse educatie volgen of in de kleuterklas zitten (van der Linde-Meijerink & Kuipers, 2011). Dit overzicht is als uitganspunt gebruikt voor het zoeken van bruikbare vergelijkingsinstrumenten voor validering van de ASETS. Daarnaast is de database van de NJI gebruikt om instrumenten te inventariseren (Nederlands Jeugdinstituut, n.d.). De geïnventariseerde instrumenten worden hieronder besproken en op geschiktheid voor dit onderzoek geëvalueerd op basis van de bovengenoemde drie criteria.
- BOSOS kleuterzorg
BOSOS is niet COTAN beoordeeld en ook niet vindbaar in de NJI-database. BOSOS is gebaseerd op de leerdoelen van SLO en geeft aan een wetenschappelijke
onderbouwing te hebben verwerkt in de handleiding. De wetenschappelijke
onderbouwing is niet openbaar toegankelijk. BOSOS kan worden gebruikt door de leerkracht en de intern begeleider. BOSOS meet de totale ontwikkeling van kleuters. BOSOS meet de sociaal emotionele ontwikkeling van kinderen en doet een
leervoorwaarden onderzoek. Dit leervoorwaarden onderzoek geeft aan of een leerling schoolrijp is. Het doel van de BOSOS sluit aan op het doel van de ASETS. Dit instrument voldoet niet voldoende aan de criteria.
- Eerste genormeerde gedragsobservatiekaart (EGGO)
EGGO is niet COTAN beoordeeld. Een wetenschappelijke onderbouwing voor EGGO is niet gevonden. EGGO kan gebruikt worden door leerkrachten, als
leerlingvolgsysteem, en door interne begeleiders als signalerings- of diagnostisch instrument. EGGO meet werkhouding en sociaal emotionele ontwikkeling bij kinderen van groep één tot en met acht, waar de nadruk ligt op de groepen drie tot en met acht. Dit instrument voldoet niet aan de criteria.
- KIJK!
KIJK! is niet beoordeeld door de COTAN. KIJK! is wetenschappelijk onderbouwd, maar dit is niet openbaar toegankelijk. Hiervoor moet de methode worden aangeschaft. KIJK! is een instrument dat wordt gehanteerd op scholen, door leerkrachten, om de ontwikkeling van kinderen in kaart te brengen. KIJK! heeft slechts één item gericht op werkhouding. Dit instrument voldoet niet aan de criteria.
- Ontwikkelingsvolgmodel Jonge kinderen (OVM)
OVM is niet beoordeeld door de COTAN. OVM is ontwikkeld door het Seminarium van orthopedagogiek van de Hogeschool Utrecht. Er wordt daarom verwacht dat dit wetenschappelijk onderbouwd is, dit is echter niet openbaar toegankelijk. Het OVM wordt gebruikt door leerkrachten van kleuterklassen om de ontwikkeling van
leerlingen te volgen en eventuele achterstanden de signaleren. OVM onderscheidt acht domeinen: basale ontwikkeling; spel en werkgedrag; zintuiglijke ontwikkeling;
motorische ontwikkeling; spraaktaalontwikkeling; wereldoriëntatie; lezen; rekenen. Het domein werkhouding en concentratie wordt volgens een analyse van SLO
voldoende gemeten (SLO, 2013a). Dit instrument voldoet niet voldoende aan de criteria.
- Rotterdamse observatielijst peuter kleuter (ROPK)
ROPK is niet COTAN beoordeeld en komt niet voor in de NJI-database. Voor ROPK is geen wetenschappelijke onderbouwing gevonden. ROPK wordt gehanteerd door peuterleidsters en leerkrachten. ROPK gaat uit van kleuteronderwijs waar niet schools gewerkt wordt, de werkhouding wordt dan ook niet gemeten (SLO, 2013b). Speel- en leerhouding van kinderen wordt wel gemeten, hierin worden onder andere concentratie en plezier in meegenomen. Dit instrument voldoet niet aan de criteria.
- SCHOBL-R
SCHOBL-R is door COTAN beoordeeld als voldoende/ goed (Egberink, de Leng, & Vermeulen, 1998). De normen zijn onvoldoende beoordeeld, omdat deze verouderd zijn. SCHOBL-R is wetenschappelijk onderbouwd en uitgebreid getest op
betrouwbaarheid en validiteit, ook op factor niveau (Bleichtrodt, Resing, & Zaal, 2011). De uitgebreide versie van SCHOBL-R wordt alleen gebruikt door
(ortho)pedagogen bij kinderen die sociaal emotionele- of gedragsproblemen vertonen. SCHOBL-R is een observatielijst voor sociaal emotionele en gedragsproblemen in vier hoofdschalen, waaronder werkhouding en emotionele stabiliteit. Deze
hoofdschalen worden onderverdeeld in 13 subschalen voor gedragingen, zoals ongeremdheid, geconcentreerd en onverschillig.
Er zijn onlangs nieuwe versies ontwikkeld: SCHOBL kort en SCHOBL compleet. Deze versies zijn niet COTAN beoordeeld. SCHOBL kort kan door leerkrachten worden gebruikt als screeningsinstrument voor sociaal emotionele- en gedragsproblemen. SCHOBL kort is onderzocht op validiteit in vergelijking met de SCHOBL-R (Zaal, 2012). SCHOBL kort geeft een analyse van de vragenlijst op de vier factoren, maar niet op de 13 schalen voor gedragingen van SCHOBL-R. De vier factoren die SCHOBL kort onderscheid zijn: vrijmoedigheid, werkhouding, sociale omgang en emotionaliteit. De items voor werkhouding van SCHOBL kort komen inhoudelijk gedeeltelijk overeen met de items van de ASETS. Dit instrument voldoet dus gedeeltelijk aan de criteria.
- Sociale competentie observatie lijst (SCOL)
De SCOL is door COTAN beoordeeld als voldoende (Egberink & de Leng, W.E. Vermeulen, 2008). De criteriumvaliditeit is niet beoordeeld, omdat voorspellen geen
doel is van de SCOL. De criteriumvaliditeit bepaalt in hoeverre scores die nu gemeten worden, scores in de toekomst kunnen voorspellen. De SCOL is een observatielijst met als doel om de ontwikkeling van kinderen te volgen, niet om deze te voorspellen. De SCOL is wetenschappelijk onderbouwd, maar dit is niet openbaar toegankelijk. Hiervoor moet de methode worden aangeschaft. De SCOL wordt tweejaarlijks gebruikt door leerkrachten om de sociale competenties van de leerlingen in kaart te brengen. Een analyse van SLO (2013) geeft aan dat de SCOL werkhouding wel meet, maar in beperkte mate. Dit instrument voldoet dus gedeeltelijk aan de criteria.
- VISEON voor kleuters
VISEON is door COTAN beoordeeld als goed (Egberink & de Leng, W.E.
Vermeulen, 2015). COTAN heeft de betrouwbaarheid van VISEON op drie gebieden gemeten en als goed bevonden: interne consistentie, interbeoordelaarsbetrouwbaarheid en test-hertestbetrouwbaarheid (Egberink & de Leng, W.E. Vermeulen, 2015). De begripsvaliditeit is onder andere gemeten met een factoranalyse, waar de drie schalen goed te onderscheiden waren. De convergente en divergente validiteit zijn bepaald door VISEON te vergelijken met de Strengths and Difficulties vragenlijst (SDQ). Ook de validiteit van VISEON is als goed beoordeeld. De criteriumvaliditeit is niet
beoordeeld omdat de VISEON als doel heeft om de ontwikkeling van kleuters te volgen, niet om de toekomstige ontwikkeling te voorspellen. VISEON is ontwikkeld door CITO en is wetenschappelijk onderbouwd. VISEON wordt op scholen gebruikt door leerkrachten van de kleuterklas. VISEON observeert kleuters op drie gebieden, waaronder speelwerkhouding. De items in dit onderdeel komen inhoudelijk
gedeeltelijk overeen met de items van de ASETS. Uit analyse van het SLO (2016) blijkt dat VISEON alle onderdelen van werkhouding meet, behalve gericht vragen stellen. Dit instrument voldoet dus aan de criteria.
- ZIEN!
ZIEN! is door COTAN als voldoende beoordeeld in 2012 (Egberink & de Leng, W.E. Vermeulen, 2012). De criteriumvaliditeit is niet beoordeeld omdat ZIEN! als doel heeft om de ontwikkeling van kinderen te volgen, niet om de toekomstige
ontwikkeling te voorspellen. ZIEN! heeft een uitgebreide wetenschappelijke onderbouwing (Broer, Haverhals, & de Bruin, 2012). ZIEN! wordt gebruikt door leerkrachten om de ontwikkeling van leerlingen op het sociaal emotionele aspect te volgen. De indeling van ZIEN! verschilt inhoudelijk van de ASETS. ZIEN! komt op
verschillende items overeen met de ASETS. De schalen die ZIEN! hanteert verschillen echter van de ASETS, een schaal of subschaal voor formeel leren is niet te herkennen in ZIEN! Dit instrument voldoet niet voldoende aan de criteria.
Drie instrumenten voldoen aan de vooraf gestelde criteria: SCHOBL-R/ SCHOBL kort, SCOL en VISEON. Vanwege praktische beperkingen (tijdsinvestering leerkrachten) zullen twee instrumenten worden geselecteerd. VISEON voldoet aan alle criteria. De SCOL voldoet aan de vooraf gestelde criteria, maar meet werkhouding (formeel leren) slechts in beperkte mate (SLO, 2013c). De SCHOBL-R voldoet niet aan het criterium dat het instrument door een leerkracht wordt ingevuld, SCHOBL-R is bedoeld voor (ortho)pedagogen. De versie die wel door leerkrachten kan worden gehanteerd is de SCHOBL kort. Deze versie van SCHOBL is niet beoordeeld door COTAN. Daarnaast heeft SCHOBL kort slechts vijf items voor werkhouding (Zaal, 2012). Omdat zowel de SCOL als VISEON door COTAN
beoordeeld zijn en meer items hebben voor formeel leren, zullen deze instrumenten in het huidige valideringsonderzoek naar het situtype formeel leren van de ASETS worden gehanteerd.
Door de geselecteerde instrumenten op item niveau te vergelijken (zie Bijlage 1), blijkt vooral VISEON inhoudelijk aan te sluiten bij de ASETS. Om VISEON met de ASETS te vergelijken, wordt de subschaal speelwerkhouding afgenomen. Deze schaal heeft acht items, waarvan er zes inhoudelijk aansluiten op een vraag van de ASETS. De items die
overeenkomen gaan over oplettendheid in de klas, starten van een taak en het uitvoeren van een taak.
De SCOL meet sociale competenties in acht domeinen: ervaring delen; aardig doen; samen werken en doen; een taak uitvoeren; jezelf presenteren; een keuze maken; opkomen voor jezelf en omgaan met ruzie (Joosten, Heggeler, & Mouissie, 2016). Het domein dat het meest overeenkomt met formeel leren is ‘een taak uitvoeren’, daarnaast past ‘een keuze maken’ ook bij formeel leren. Beide subschalen bevatten drie items. Dit zijn dus vrij smalle en specifieke subschalen, waardoor zij mogelijk minder correlatie vertonen met het brede situtype formeel leren, zoals deze door de ASETS gemeten wordt. Van de zes items, lijken vier items een inhoudelijke overeenkomst te hebben met vragen van de ASETS. Dit is echter minder duidelijk dan bij VISEON. De verscheidenheid aan schalen in de SCOL geeft de mogelijkheid om correlaties op verschillende gebieden te onderzoeken. Hiermee kan bijvoorbeeld worden onderzocht in hoeverre het situtype formeel leren correleert met de subschalen van de SCOL die een ander concept meten. Hiermee wordt gecontroleerd of het
situtype formeel leren op de ASETS echt alleen formeel leren meet, of misschien ook andere aspecten die de ASETS niet onderscheidt.
De ASETS bevat drie items op het situtype formeel leren die niet direct gekoppeld kunnen worden aan items op de twee vergelijkingsinstrumenten: Hoe neemt dit kind deel aan activiteiten in de klas; Hoe zit dit kind tijdens activiteiten in de klas; Hoe gaat dit kind om met spullen van anderen? Mogelijk wordt de correlatie beïnvloed door het ontbreken van items over deze drie onderwerpen in de twee vergelijkingsinstrumenten.
2.5 Huidig onderzoek
Het doel van het huidige onderzoek is om de ASETS te valideren op het situtype formeel leren. De onderzoeksvraag is: ‘Is er een verband tussen de scores op de ASETS op het situtype formeel leren en de scores op bestaande meetinstrumenten die hetzelfde construct of aspecten van hetzelfde construct meten?’ Dit wordt onderzocht door te vergelijken of de score op de ASETS van het situtype formeel leren overeenkomt met de scores op de SCOL en VISEON van de subschalen passend bij werkhouding. In Amerika is de ASETS valide
bevonden (McDermott et al., 2013). De verwachting is dat de scores op de verschillende meetinstrumenten voor de subschalen passend bij formeel leren een onderlinge samenhang vertonen. Hierbij wordt op basis van inhoudelijke itemanalyse verwacht dat de ASETS sterker zal correleren met VISEON dan met SCOL.
Naast validering van het situtype formeel leren, zullen vervolgvragen worden onderzocht. De eerste vervolgvragen zijn: 1) is er een verschil in score voor formeel leren tussen jongens en meisjes op de drie meetinstrumenten, en 2) is er een samenhang in scores tussen jongens en meisjes op de ASETS in vergelijking met de andere meetinstrumenten? Er wordt verschil verwacht tussen jongens en meisjes, waarbij jongens een lagere score hebben op het gebied van formeel leren (DiPrete & Jennings, 2012). De samenhang tussen de meetinstrumenten wordt onderzocht om een beeld te vormen of de ASETS mogelijke
verschillen in gender hetzelfde meet als de vergelijkingsinstrumenten. Er wordt verwacht dat de scores van jongens of meisjes op de verschillende meetinstrumenten hetzelfde zijn en dus een correlatie vertonen.
De tweede set vervolgvragen zijn: 1) is er een verschil in score voor formeel leren tussen besproken en onbesproken kinderen op de drie meetinstrument, en 2) is er een
samenhang in scores tussen besproken en onbesproken kinderen op de ASETS in vergelijking met de andere meetinstrumenten? Kinderen horen bij de categorie besproken als de leerkracht met een intern begeleider of een externe partij overleg heeft gehad over ofwel de sociaal
emotionele- en gedragsaspecten van de leerling of het cognitieve aspect. Er wordt verwacht dat kinderen die zijn besproken door de leerkracht, een lagere score zullen hebben op het gebied van formeel leren dan onbesproken kinderen (Van der Aalsvoort et al., 2007). Het is echter ook mogelijk dat kinderen alleen besproken zijn vanwege cognitieve problemen, dit geeft niet direct een lagere score op het gebied van formeel leren. Er wordt verwacht dat alle instrumenten een goed onderscheid kunnen maken tussen besproken en onbesproken
3 Methode 3.1 Design
Het onderzoeksdesign is een kwantitatieve vergelijking (comparative study) van meerdere meetinstrumenten op het gebied van sociaal emotionele- en gedragsaspecten. De data is verzameld via observatie- en vragenlijsten, de uitkomsten hiervan worden vergeleken en geanalyseerd. De vergelijkingsinstrumenten zijn geselecteerd op basis van een
literatuurstudie en een inhoudelijke vergelijking. 3.2 Respondenten
Het huidige onderzoek heeft 14 participanten (leerkrachten) die bij elkaar vragenlijsten over 56 kinderen hebben ingevuld. Voor de validatie van de ASETS was een steekproef van 30 kinderen nodig, het minimum voor een correlationeel onderzoek. Veel leerkrachten hebben interesse getoond, maar zich uiteindelijk toch afgemeld. Een reden voor afmelding was onder andere dat leerkrachten, ouders persoonlijk wilden spreken over deelname. Dit kon niet in verband met thuisonderwijs als gevolg van de Covid-19 pandemie ten tijde van dit onderzoek. Daarnaast was een veelgenoemde reden de onrust en veranderingen (thuiswerken) in het onderwijs, waardoor leerkrachten geen tijd hadden om zich hiermee bezig te houden. De participanten zijn afkomstig van acht verschillende scholen. Zes leerkrachten zijn werkzaam op dezelfde school, van twee andere scholen zijn beiden twee participanten afkomstig. Van de overige vijf scholen doet één leerkracht mee. De leeftijd van de participanten ligt tussen de 26 en 56 jaar met een gemiddelde van 40,8 jaar. Eén van de participanten is een man, de andere 13 participanten zijn vrouwen. De gemiddelde werkervaring van de participanten is 13,4 jaar met een minimum van één jaar en een maximum van 27 jaar. De inclusiecriteria voor
leerkrachten zijn dat zij de groepsleerkracht zijn (fulltime of parttime) van de leerlingen over wie zij de vragenlijst invullen en dat zij deze leerlingen minimaal drie maanden les hebben gegeven.
Iedere leerkracht heeft de vragenlijst ingevuld voor vier leerlingen. De leerkracht moest zelf twee besproken leerlingen (niet schoolrijp) en twee onbesproken leerlingen (wel schoolrijp) selecteren. De kinderen hoefden niet te beschikken over een formele diagnose om als besproken te worden geclassificeerd. Van de ingevulde leerlingen is 55,4% besproken en 44,6% niet besproken. Er is in de steekproef niet gestuurd op het aantal jongens of meisjes. Desalniettemin is het aantal jongens en meisjes redelijk gelijk verdeeld. Van het totaal aantal kinderen waarvoor leerkrachten de instrumenten hebben ingevuld, zijn er 24 jongens (42,9%) en 32 meisjes (57,1%).
3.3 Procedure
Voor het uitvoeren van het onderzoek is toestemming verleend door de ethische commissie van de Universiteit van Amsterdam (dossiernummer: 2020-CDE-11644). Er is sprake van een gelegenheidssteekproef waarbij leerkrachten uit het persoonlijke netwerk van de onderzoeker zijn benaderd. Daarnaast is via participerende leerkrachten informatie
verspreid naar hun team, een sneeuwbal steekproef. Omdat het persoonlijke netwerk niet toereikend bleek, zijn ook schoolbesturen in verschillende steden aangeschreven. In de regio’s Amsterdam, Haarlem (Kennemerland), Rotterdam, Brabant, Limburg, Utrecht en Groningen zijn 143 scholen en schoolbesturen aangeschreven. Dit heeft geen participanten opgeleverd. De werving van de leerkrachten is gedaan via directe benadering, de directie van de school of het scholenbestuur. Leerkrachten hebben een informatiemail gehad met toelichting over het onderzoek, de investering die van leerkrachten wordt gevraagd en de tegenprestatie.
Leerkrachten konden vervolgens zelf aangeven of zij mee wilden doen aan het onderzoek. Daaropvolgend zijn de toestemmingsbrieven en de link naar de vragenlijst verstuurd. Indien nodig ontvingen leerkrachten, na toezegging voor participatie, iedere week een herinnering. De participatie was vrijwillig en kon op ieder moment worden afgebroken, zonder een reden te hoeven geven.
Leerkrachten moesten actief informed consent geven, omdat persoonsgegevens van de leerkrachten zijn verzameld. De leerkrachten zijn geïnformeerd via een mail van de
onderzoeker. Vanwege de Coronamaatregelen, zijn leerkrachten niet persoonlijk
geïnformeerd, maar altijd digitaal. Ouders moesten passief informed consent geven voor de deelname van de minderjarige kinderen. Ouders zijn door de leerkracht via het gebruikelijke, digitale communicatiemiddel van de school geïnformeerd. De gegevens van de kinderen zijn geanonimiseerd, de leerkrachten vulden een pseudonaam of nummer in. De datasleutel is alleen bekend bij de leerkracht.
De vragenlijsten zijn online afgenomen via SurveyMonkey. Bij de dataverzameling is eerst gevraagd naar achtergrondgegevens van de participanten. De leerkracht heeft de volgende achtergrondgegevens gegeven: leeftijd en geslacht leerling, leeftijd en geslacht leerkracht, aantal jaren werkervaring en aantal dagen voor de klas. De verzamelde data is opgeslagen in een beveiligde omgeving (Cloud). Hierdoor kon de data op verschillende locaties gebruikt worden, maar was deze niet inzichtelijk voor onbevoegden.
De leerkrachten waren per leerling maximaal 20 minuten bezig met het invullen van de ASETS, SCOL en VISEON. De leerkrachten kregen een tegenprestatie in de vorm van terugkoppeling van de uitslag van de ASETS over de vier kinderen en een bol.com waardebon
van 20 euro. Op de terugkoppeling werden de gemeten factoren per leerling gegeven, de leerkracht kon deze interpreteren met een algemene uitleg. Op deze terugkoppeling stond de pseudonaam genoteerd die de leerkracht aan de leerling had gegeven.
3.4 Instrumenten
Voor de dataverzameling is gebruik gemaakt van drie instrumenten: ASETS, SCOL en een deel van VISEON.
3.4.1 ASETS. De ASETS meet problemen bij sociaalemotionele- en gedragsaspecten in vijf fenotypen: 1) agressief gedrag; 2) futloos gedrag; 3) teruggetrokken/verlegen gedrag; 4) oppositioneel gedrag; 5) problemen met (gebrek aan) aandacht en hyperactiviteit. Deze worden gekoppeld aan een situtype: 1) interactie met de leerkracht; 2) omgang met klasgenoten; 3) formeel leren. Deze constructen worden gemeten door een vraag over een kind voor te leggen met meerdere items als antwoord. Een voorbeeld van een vraag behorend bij het situtype formeel leren is:
Hoe gaat dit kind om met nieuwe (leer)activiteiten? • Staat onbevangen tegenover elk probleem
• Gaat aan de slag zonder tijd te nemen om na te denken of instructies te volgen • Benadert nieuwe taken voorzichtig, maar probeert het wel
• Probeert het niet eens als hij/zij een probleem denkt te zien • Houdt van de uitdaging van iets moeilijks/nieuws
• Kan de energie niet opbrengen iets nieuws te proberen
De leerkracht kiest voor gedrag wat het kind de afgelopen drie maanden heeft laten zien. Geen of meerdere antwoorden is ook mogelijk. De antwoord items van de ASETS zijn dichotoom, het gedrag is wel, of niet aanwezig. De meesten vragen hebben naast negatieve antwoord items, ook één of twee positieve items. Na de vertaling en een eerste toepassing, is de Nederlandse versie verbeterd en zijn een aantal items aangepast, geschrapt of juist
toegevoegd (Voskamp, 2019). Het volledige overzicht van de 121 (aangepaste) items is te vinden in Bijlage 7. De scores van SurveyMonkey zijn 0 voor niet aanwezig en 1 voor wel aanwezig. Dit wordt omgescoord naar 1 voor niet aanwezig en 2 voor wel aanwezig, om analyses in SPSS uit te kunnen voeren.
Voor de berekening van de scores van de ASETS, worden de positieve items weggelaten. De totaalscore wordt berekend met 92 items. De 92 items worden als volgt verdeeld over de situtypen (zie Bijlage 2): formeel leren 32 items, leerkracht 35 items en
klasgenoten 25 items. De 92 items kunnen ook worden ingedeeld in fenotypen (zie Bijlage 2): agressief gedrag 25 items, futloos gedrag 14 items, teruggetrokken gedrag 24 items,
oppositioneel gedrag 15 items en aandachttekort/ hyperactiviteit 14 items.
3.4.2 SCOL. De SCOL is een observatielijst om de sociale competenties van
leerlingen systematisch in kaart te brengen en te volgen. De SCOL onderscheidt acht schalen voor sociale competenties: 1) ervaringen delen; 2) aardig doen; 3) samen werken en doen; 4) een taak uitvoeren; 5) jezelf presenteren; 6) een keuze maken; 7) opkomen voor jezelf en 8) omgaan met ruzie. De schalen die vergelijkbaar zijn met het situtype formeel leren zijn: een taak uitvoeren en een keuze maken. Deze bestaan beiden uit drie items. De indeling van items per schaal is te vinden in Bijlage 3.
De SCOL bestaat uit 26 items en wordt in zijn geheel afgenomen (zie Bijlage 3). De SCOL wordt in zijn totaliteit afgenomen, omdat de andere schalen van de SCOL gebruikt worden om de divergente validiteit van het situtype formeel leren vast te stellen. Op deze manier kan worden uitgesloten dat het situtype formeel leren andere concepten meet dan ‘werkhouding’. De vraagstelling van de SCOL is positief geformuleerd, waarbij een hogere score betekent dat de leerling een betere sociaal emotionele ontwikkeling heeft. De items van de SCOL bestaan uit een stelling, waarbij de leerkracht op een vijf-puntschaal aan moet geven hoe vaak deze stelling kloppend is voor het kind. Deze vijf-puntsschaal geeft een score van één tot en met vijf. Om de schaalscores te berekenen worden de scores van bijbehorende items bij elkaar opgeteld. De score voor formeel leren op SCOL wordt berekend door de subschalen ‘een taak uitvoeren’ en ‘een keuze maken’ bij elkaar op te tellen. De totaalscore voor SCOL wordt berekend door alle items bij elkaar op te tellen. Een voorbeeld van een item van de schaal ‘een taak uitvoeren’ is:
Volgt bij een taak de aanwijzingen van de leerkracht op Nooit – zelden – soms – geregeld -vaak
3.4.3 VISEON. VISEON is een observatielijst die de ontwikkeling van kleuters in kaart brengt langs drie domeinen: 1) welbevinden, 2) sociaal gedrag en 3) speelwerkhouding. Voor huidig onderzoek worden alleen de laatste twee subschalen afgenomen in een vragenlijst (zie Bijlage 4). Welbevinden komt niet overeen met een situtype van de ASETS en wordt daarom buiten beschouwing gelaten. Sociaal gedrag wordt afgenomen voor validatie van het situtype ‘omgaan met klasgenoten’ in een ander validatieonderzoek dat parallel wordt
uitgevoerd. Daarnaast wordt het in huidig onderzoek gebruikt om de divergente validiteit van het situtype formeel leren vast te stellen. Speelwerkhouding komt overeen met het situtype formeel leren.
VISEON heeft acht items op de subschaal speelwerkhouding (zie Bijlage 4). De items bestaan uit twee tegengestelde stellingen. De leerkracht maakt eerst een keuze voor een stelling en kiest vervolgens of deze helemaal, of gedeeltelijk van toepassing is. De scores worden in SPSS omgezet in een score van één tot en met vier. Er wordt geen totaalscore voor VISEON berekend, omdat er slechts twee van de drie subschalen van VISEON zijn
afgenomen. De schaalscore wordt berekend door de scores van bijbehorende items bij elkaar op te tellen (zie Bijlage 4). Een lagere score indiceert dat de leerling een betere sociaal emotionele ontwikkeling heeft. Een voorbeeld van een item op de schaal van
speelwerkhouding is:
Luistert aandachtig – Luistert met weinig aandacht << < > >>
3.5 Data-analyse
Voor de data-analyse is gebruik gemaakt van SPSS versie 26. In de dataset zijn een paar missende variabelen, dit gaat om missende antwoorden op de SCOL of VISEON. De missende variabelen worden paarsgewijs uitgesloten. Voordat de analyses zijn uitgevoerd, zijn de scores van de ASETS gehercodeerd. Aan de hand van de dimensiestructuur zijn de schaalscores van de ASETS opgeteld (zie Bijlage 2). Ook de subschalen van de SCOL en VISEON zijn bij elkaar opgeteld aan de hand van de bijbehorende dimensiestructuren (zie Bijlage 3 en 4).
De schaalbetrouwbaarheid wordt voor alle subschalen van de drie meetinstrumenten geanalyseerd. Vervolgens zal worden gekeken naar de constructvaliditeit van het situtype formeel leren van de ASETS. Dit wordt gedaan door correlaties tussen de scores op formeel leren van de verschillende instrumenten te berekenen. Voor de SCOL is dit de opgetelde score van de schalen: ‘een taak uitvoeren’ en ‘een keuze maken’, voor VISEON is dit de score van de schaal speelwerkhouding. Voor het analyseren van de divergente validiteit wordt de score op formeel leren van de ASETS vergeleken met scores op overige zes subschalen van de SCOL (ervaring delen, aardig doen, samen werken en doen, jezelf presenteren, opkomen voor jezelf en omgaan met ruzie) en de schaal sociaal gedrag van VISEON. Er wordt tevens
gekeken naar correlatie tussen de ASETS en VISEON op itemniveau, voor items die op grond van inhoudelijke analyse (zie Bijlage 1) als direct overeenkomstig zijn geëvalueerd.
Om de vervolgvragen te beantwoorden, wordt twee keer een MANOVA uitgevoerd om de verschillen tussen gender en besproken/ onbesproken kinderen te analyseren voor elk van de drie meetinstrumenten. Dit sluit aan bij de vragen die gebaseerd zijn op de hypothesen
dat er tussen kinderen verschillen zijn in schoolrijpheid qua gender en besproken versus onbesproken. Daartoe worden correlaties van de scores van deze groepen tussen de
verschillende meetinstrumenten op de schaal van formeel leren gegeven. Dit sluit aan bij de hypothese dat de verschillende meetinstrumenten eenzelfde onderscheid maken tussen gender en besproken/ onbesproken kinderen. Tot slot wordt een discriminantanalyse uitgevoerd om te onderzoeken of de ASETS kinderen correct classificeert als besproken versus onbesproken.
4 Resultaten 4.1 Beschrijvende statistiek
In Tabel 1 is de beschrijvende statistiek te zien voor de totaalscores van de drie meetinstrumenten. Het gemiddelde en de mediaan van de SCOL en VISEON liggen dicht bij elkaar. De SCOL en VISEON hebben een redelijke normaalverdeling in de totaalscores (zie Bijlage 6). VISEON heeft hierbij een kleine scheefheid naar links (zie Tabel 1).
Tabel 1. Descriptieve statistieken voor totaalscores op ASETS, SCOL en VISEON (n = 56) Totaalscore ASETS Totaalscore SCOL Totaalscore VISEON Gemiddelde 136.96 96.61 34.36 Mediaan 111.00 96.00 33.50 Std. deviatie 41.58 16.94 12.07 Variantie 1729.05 286.97 145.62 Scheefheid .23 .12 .44 Gepiektheid -1.94 -.80 -.83 Minimum 92 63 17 Maximum 184 128 60
Het gemiddelde en de mediaan van de ASETS liggen uit elkaar, dit is ook terug te zien in de frequentietabel (zie Bijlage 5). In het histogram van de totaalscores op de ASETS (zie Figuur1) is te zien dat ongeveer de helft van de participanten (57,1%) een lage score hebben, niemand een gemiddelde score heeft en de overige participanten (42,9%) allemaal een totaalscore hebben van 184. Dit laat zien dat leerkrachten de ASETS op uitersten scoren en dat de verdeling van de scores geen normaalverdeling is. Opvallend is dat kinderen met veel gedragsproblemen volgens de ASETS allemaal dezelfde totaalscore hebben. Dit lijkt op een plafondscore van de ASETS te duiden. De gemiddelde schaalscores van ASETS zijn te zien in Tabel 2. Ook in de schaalscores lijkt een plafondscore te zijn, en worden de hoogste en
Tabel 2. Descriptieve statistieken voor schaalscores op ASETS (n = 56) Formeel
leren
Leerkracht Klasgenoten Agressief gedrag Futloos gedrag Terug- getrokken gedrag Oppositioneel gedrag Aandacht/ hyperacitiveit Gemiddelde 47.36 36.80 52.80 36.61 20.43 35.91 22.70 21.32 Std. deviatie 14.74 11.70 15.26 11.90 6.72 10.84 6.53 6.19 Minimum 32 25 35 25 14 24 15 14 Maximum 64 50 70 50 28 48 30 28
In Tabel 3 is te lezen dat Cronbach’s alpha van de totale de ASETS .998 is, dit is een goede betrouwbaarheid. Daarnaast is te zien dat de betrouwbaarheid van de subschalen van de ASETS goed is, Cronbach’s alpha ligt tussen .978 en .995. De betrouwbaarheid van de
subschalen van VISEON is goed (⍺ = .941 en ⍺ = .907). Cronbach’s alpha van de totale SCOL is .947, wat een goede betrouwbaarheid is. De subschaal ‘een keuze maken’ heeft een lage betrouwbaarheid (⍺ = .512). De overige subschalen van de SCOL hebben een
acceptabele betrouwbaarheid, Cronbach’s alpha ligt tussen de .709 en .826.
Tabel 3. Betrouwbaarheden meetinstrumenten, aantal items per dimensie en Cronbach’s alpha (n = 56)
Dimensies n items Alpha
ASETS totaal 92 .998
ASETS situtype Formeel leren 32 .994
Klasgenoten 25 .994
Leerkracht 35 .991
ASETS fenotype Agressief gedrag 25 .995
Futloos gedrag 14 .993 Teruggetrokken gedrag 24 .990 Oppositioneel gedrag 15 .979 Aandacht/hyperactiviteit 14 .978 VISEON Werkhouding 8 .941 Sociaal gedrag 9 .907 SCOL totaal 26 .947
SCOL Ervaringen delen 3 .709
Aardig doen 4 .817
Samen werken en doen 3 .746
Een taak uitvoeren 3 .826
Jezelf presenteren 3 .825
Een keuze maken 3 .512
Opkomen voor jezelf 4 .782
Omgaan met ruzie 3 .787
4.2 Correlaties
Er wordt een getrapte correlatie analyse gedaan, waarbij eerst de correlaties tussen de schalen wordt berekend. Vervolgens wordt een correlatie op item-niveau berekend voor items van VISEON en de ASETS die bij inhoudelijke analyse overeenkomsten laten zien (zie Bijlage 1).
4.2.1 Totale correlaties. In Tabel 4 is te zien dat geen van de fenotypen en situtypen van de ASETS een correlatie hebben met de subschaal speelwerkhouding van VISEON. Hiermee wordt de hypothese dat het situtype formeel leren van de ASETS een correlatie zou hebben met de subschaal werkhouding van VISEON ontkracht. Het situtype formeel leren van ASETS vertoont ook geen samenhang met de subschaal sociaal gedrag van VISEON (zie Tabel 4). Dit laat zien dat het situtype formeel leren van de ASETS, zoals verwacht niet hetzelfde construct meet als de subschaal sociaal gedrag van VISEON.
De tweede correlatieanalyse meet de samenhang tussen dimensies van de ASETS en subschalen van de SCOL. In Tabel 5 is te zien dat geen van de fenotypen en situtypen van de ASETS een correlatie hebben met de subschalen van de SCOL. De hypothese dat de
subschalen ‘een taak uitvoeren’ en ‘een keuze maken’ van de SCOL een correlatie zouden hebben met het situtype formeel leren van de ASETS wordt hiermee ontkracht. Deze scores laten ook zien dat de divergente validiteit van het situtype formeel leren van de ASETS goed is, er wordt geen samenhang gevonden met schalen die andere constructen meten dan formeel leren. De SCOL en VISEON vertonen wel onderlinge samenhang op alle subschalen (zie Tabel 6), waarvan op vrijwel alle subschalen een sterke samenhang.
Tabel 4. Correlaties tussen ASETS en VISEON (n = 56) VISEON werkhouding VISEON sociaal gedrag ASETS totaal .128 .024
Situtype Formeel leren .143 .030
Leerkracht .123 .023
Klasgenoten .116 .018
Fenotype Agressief gedrag .100 .018
Futloos gedrag .121 -.003
Teruggetrokken gedrag .161 .025
Oppositioneel gedrag .109 .027
Aandacht/hyperactiviteit .139 .056
* Significant bij een a van .05 ** Significant bij een a van .01
Tabel 5. Correlaties tussen ASETS en SCOL (n = 56) SCOL Totaal SCOL ervaring delen SCOL aardig doen SCOL samen werken en doen SCOL een taak uitvoeren SCOL jezelf presenteren SCOL een keuze maken SCOL opkomen voor jezelf SCOL omgaan met ruzie ASETS totaal -.108 -.126 .037 -.180 -.125 -.069 -.216 -.057 -.030
Situtype Formeel leren -.111 -.126 .040 -.191 -.134 -.065 -.218 -.066 -.028
Leerkracht -.104 -.124 .041 -.175 -.121 -.067 -.220 -.048 -.027
Klasgenoten -.108 -.128 .031 -.172 -.119 -.076 -.209 -.056 -.034
Fenotype Agressief gedrag -.088 -.111 .037 -.152 -.114 -.042 -.192 -.040 -.018
Futloos gedrag -.113 -.147 .062 -.187 -.087 -.108 -.230 -.080 -.020
Teruggetrokken gedrag -.154 -.171 .014 -.211 -.122 -.149 -.262 -.111 -.045
Oppositioneel gedrag -.083 -.098 .037 -.150 -.132 -.016 -.183 -.030 -.027
Aandacht/hyperactiviteit -.080 -.073 .047 -.186 -.176 .009 -.182 .006 -.037
* Significant bij een a van .05 ** Significant bij een a van .01
Tabel 6. Correlaties tussen VISEON en SCOL (n = 56) VISEON werkhouding
VISEON sociaal gedrag
SCOL totaal -.632** -.782**
SCOL ervaring delen -.286* -.482**
SCOL aardig doen -.576** -.749**
SCOL samen werken en doen -.754** -.729**
SCOL een taak uitvoeren -.854** -.765**
SCOL jezelf presenteren -.280* -.473**
SCOL een keuze maken -.395** -.578**
SCOL opkomen voor jezelf -.370** -.534**
SCOL omgaan met ruzies -.597** -.743**
* Significant bij een a van .05 ** Significant bij een a van .01
4.2.2 Correlaties op itemniveau. Uit inhoudelijke analyse van de items is gebleken dat items van de SCOL moeilijk één op één gekoppeld kunnen worden aan items van de ASETS (zie Bijlage 1). Bij VISEON kunnen meer items worden gekoppeld aan de ASETS. Voor de items van VISEON die overeenkomen met een vraag van de ASETS, wordt de correlatie berekend per antwoordmogelijkheid op de ASET. Mogelijk blijkt dat niet alle antwoorden van een vraag van de ASETS correleren met het item van VISEON.
De eerste vraag van de ASETS ‘Hoe let dit kind op in de klas?’ wordt vergeleken met twee vragen van VISEON ‘luistert aandachtig – luistert met weinig aandacht’ (V15) en ‘let goed op in de groep - let niet goed op in de groep’ (V17). De antwoorden (items) op de vraag van de ASETS worden links in de tabel weergegeven (zie Tabel 7). VISEON vraag 15 en 17 hebben een sterke negatieve samenhang met het item ‘luistert over het algemeen goed’ van de ASETS. VISEON vraag 17 heeft ook een sterke positieve samenhang met het item ‘praat, kijkt om zich heen, speelt met dingen’ van de ASETS. Met de overige items van de ASETS bij deze vraag, vertonen vraag 15 en 17 van VISEON geen samenhang.
Tabel 7. Correlatie ASETS vraag 11 en VISEON vraag 15 en 17 (n = 56)
V15 V17
Luistert over het algemeen goed -.484** -.555** Praat, kijkt om zich heen, speelt met dingen .247 .345** Zit zo stil dat je niet weet of hij/zij oplet .014 .034
Geen aandacht, alleen ‘aanwezig’ .098 .136
Lijkt in een droomwereld te leven .127 .102
* Significant bij een a van .05 ** Significant bij een a van .01
De tweede correlatie wordt berekend tussen ‘Hoe gaat dit kind om met nieuwe leeractiviteiten’? van de ASETS en ‘gaat direct aan de slag met een taak – treuzelt bij het starten van een taak’ (V10) van VISEON. VISEON vraag 10 heeft een positieve correlatie met de items: ‘gaat aan de slag zonder tijd om na te denken of instructies te volgen’ en ‘vermijdt de uitdaging om iets nieuws te proberen’ van de ASETS (zie Tabel 8).
Tabel 8. Correlatie ASETS vraag 12 en VISEON vraag 10 (n = 56) V10 Staat onbevangen tegenover elk probleem -.171 Gaat aan de slag zonder tijd om na te denken of
instructies te volgen
.263*
Probeert het niet eens als hij/ zij een probleem denkt te zien
.200
Vermijdt de uitdaging om iets nieuws te doen .263* Kan de energie niet opbrengen iets nieuws te proberen .202
* Significant bij een a van .05 ** Significant bij een a van .01
De derde en laatste items die volgens inhoudelijke analyse een samenhang zouden vertonen zijn de items op de vraag ‘Hoe werkt dit kind met de handen?’ van de ASETS en ‘kan de aandacht langdurig richten op het spel/ werk – kan de aandacht niet langdurig richten op spel/ werk’ (V11), ‘heeft geen aansporing nodig om tot spel/werk te komen – heeft wel aansporing nodig om tot spel/ werk te komen’ (V12) en ‘heeft geen sturing nodig bij het uitvoeren van spel/ werk – heeft wel sturing nodig bij het uitvoeren van spel/ werk’ (V13) van VISEON. Tussen deze items is geen significante correlatie gevonden (zie Tabel 9).
Tabel 9. Correlatie ASETS vraag 14 en VISEON vraag 11, 12 en 13 (n = 56)
V11 V12 V13
Heeft gebrek aan fysieke energie -.059 .081 .00
Lijkt bang om het te proberen .036 .179 .080
Doet/ speelt maar wat -.019 .173 .194
Verprutst zijn/ haar werk opzettelijk -.049 .113 .022
Maakt het werk niet af .046 .176 .066
* Significant bij een a van .05 ** Significant bij een a van .01
4.3 Verschillen tussen groepen
Door middel van twee MANOVA’s is onderzocht of de instrumenten verschillen meten tussen jongens en meisjes en besproken en onbesproken leerlingen voor het gebied formeel leren. De scores voor de ASETS en de scores van meisjes en onbesproken leerlingen voor VISEON voldoen niet aan de aanname van een normaalverdeling. Vanwege de grootte van de steekproef is de toets wel uitgevoerd, maar moet het met enige voorzichtigheid worden geïnterpreteerd. Er is geen posthoc test uitgevoerd, omdat de onafhankelijke variabelen
bestaan uit twee niveaus.
Wilks’s Λ laat zien dat er geen significant verschil is tussen jongens en meisjes op de verschillende meetinstrumenten, Λ = 0.926, F(3, 52) = 1.393, p = .255. De hypothese was dat
jongens lager zouden scoren dan meisjes op de drie meetinstrumenten voor formeel leren. Dit blijkt echter niet zo te zijn: er is geen verschil in score tussen jongens en meisjes voor de drie meetinstrumenten op het gebied van formeel leren.
Wilks’s Λ laat zien dat er een significant verschil is tussen besproken en onbesproken leerlingen op de verschillende meetinstrumenten, Λ = .570, F(3, 52) = 13.103, p < .001. Univariate tests laten zien dat deze groepen niet op de ASETS verschillen, F(1, 54) = .130, p = .720, squared= .002, maar wel op de SCOL, F(1, 54) = 22.170, p < .001, eta-squared = .291 en VISEON, F(1, 54) = 39,619, p < .001, eta-eta-squared = .423. De eta-eta-squared geeft een sterk effect aan voor zowel de SCOL als VISEON. De hypothese was dat alle drie de meetinstrumenten sterk onderscheid zouden maken tussen besproken en onbesproken leerlingen, uit de analyses blijkt dat alleen de SCOL en VISEON dat doen. Besproken leerlingen scoren beter op de SCOL en VISEON dan onbesproken leerlingen, dit voldoet aan de verwachtte richting van het verschil.
4.4 Correlaties tussen verschillende groepen
Naast dat is onderzocht of de meetinstrumenten onderscheid maken tussen de
verschillende groepen, is ook gekeken of de scores op deze groepen samenhangen. Daarvoor zijn twee correlatieanalyses gedaan, één voor geslacht (zie Tabel 10 en 11) en één voor besproken of onbesproken leerlingen (zie Tabel 12 en 13). Voor deze analyses zijn de scores op de subschalen voor formeel leren gebruikt.
Uit de analyse blijkt dat de scores van de ASETS voor de verschillende groepen niet samenhangen met scores op de SCOL en VISEON. De verschillende groepen vertonen wel een sterke samenhang in scores op de SCOL en VISEON, deze samenhang wordt voor zowel meisjes en jongens als besproken en onbesproken leerlingen gevonden. De hypothese dat de verschillende groepen op alle drie de meetinstrumenten samenhang zouden vertonen is ontkracht, de samenhang wordt alleen gevonden voor de SCOL en VISEON. Dit komt overeen met de correlaties die eerder zijn gevonden voor de totale scores en groep.
Tabel 10. Correlaties tussen score van ASETS, SCOL
en VISEON voor meisjes en (n = 32)
ASETS SCOL VISEON
ASETS
SCOL -.231
VISEON .188 -.761**
* Significant bij een a van .05 ** Significant bij een a van .01
Tabel 11. Correlaties tussen scores van ASETS, SCOL
en VISEON voor jongens (n = 24)
ASETS SCOL VISEON
ASETS
SCOL -.222
VISEON .163 -.756**
* Significant bij een a van .05 ** Significant bij een a van .01
Tabel 12. Correlaties tussen score ASETS, SCOL
en VISEON voor besproken leerlingen (n = 31)
ASETS SCOL VISEON
ASETS
SCOL -.301
VISEON .233 -.667**
* Significant bij een a van .05 ** Significant bij een a van .01
Tabel 13. Correlaties tussen score ASETS, SCOL
en VISEON voor onbesproken leerlingen (n = 25)
ASETS SCOL VISEON
ASETS
SCOL -.081
VISEON .003 -.590**
* Significant bij een a van .05 ** Significant bij een a van .01 4.5 Discriminantanalyse
In Tabel 13 worden de uitkomsten van de discriminantanalyse weergegeven. Leerkrachten hebben aangegeven dat 31 leerlingen besproken zijn en 25 onbesproken. Met behulp van de discriminantanalyse is de classificering van de leerkracht (in besproken of onbesproken kinderen) vergeleken met de classificering op basis van de ingevulde items in de ASETS.
als besproken en 56,0% van de kinderen correct geclassificeerd als onbesproken. Gemiddeld is 48,2% van de kinderen correct geclassificeerd door de leerkracht. Een onbesproken leerling wordt vaker juist geclassificeerd dan een besproken leerling. De resultaten laten zien dat de ASETS de helft van de kinderen correct kan classificeren als besproken of onbesproken, dit is gelijk aan kans niveau. Deze uitkomsten komen overeen met de uitkomsten van de
MANOVA, waar de ASETS op het gebied van formeel leren geen significant verschil meet tussen besproken en onbesproken kinderen.
Tabel 13. Classificatie van besproken en onbesproken leerlingen (n = 56)
Voorspelde classificatie
Besproken Onbesproken
Origineel a Besproken 13 (41,9%) 18 (58,1%)
Onbesproken 11 (44,0%) 14 (56,0%)
5 Discussie en conclusie
De Adjustments Scales for Early Transition in Schooling (ASETS) is een
meetinstrument voor sociaal emotionele- en gedragsproblemen dat onlangs is vertaald naar het Nederlands (Hamerslag et al., 2018). De ASETS kan soorten gedragsproblemen
(fenotypen) combineren met de context waarin dit zich voordoet (situtypen) en maakt het hierdoor specifieker dan bestaande meetinstrumenten (McDermott et al., 2013). Het doel van huidig onderzoek was om de ASETS nader te valideren voor het situtype formeel leren door de scores te vergelijken met scores op bestaande meetinstrumenten die hetzelfde construct meten. Formeel leren omvat een aantal voorwaardelijke vaardigheden die leerlingen moeten hebben ontwikkeld voordat zij bekwaam zijn voor de manier van leren in groep 3 (Campbell & Von Stauffenberg, 2008; Huizinga, 2007; Van der Aalsvoort et al., 2007).
De totaalscores op VISEON en SCOL zijn redelijk normaal verdeeld. De ASETS wordt op uitersten gescoord en heeft hierdoor geen normaalverdeling. Een mogelijke verklaring hiervoor is dat de dichotome keuze die de ASETS biedt de participanten richting de uitersten stuurt, er is geen mogelijkheid om te kiezen voor gemiddeld. Voor een leerling die gemiddeld scoort, is vaak geen passend antwoord item op de ASETS, waardoor de vraag wordt overgeslagen en de totaalscore lager wordt. Dit maakt dat er mogelijk geen goed onderscheid wordt gemaakt tussen leerlingen die geen sociaal emotionele- en
gedragsproblemen vertonen en leerlingen die dit weinig of gemiddeld doen.
Alle dimensies van de ASETS hebben een goede betrouwbaarheid. Daarnaast hebben de subschalen van VISEON ook een goede betrouwbaarheid. De subschalen van de SCOL hebben een acceptabele betrouwbaarheid. Dit betekent dat de subschalen van alle
instrumenten weinig meetfouten bevatten.
Er zijn geen correlaties gevonden tussen de totale scores of de subschalen van de ASETS en VISEON of SCOL. De subschalen van de SCOL en VISEON onderling hebben wel een sterke correlatie. Na inhoudelijke analyse op itemniveau (zie Bijlage 1), zijn de items van VISEON en de ASETS die inhoudelijk overeenkomen met elkaar vergeleken. Hieruit is gebleken dat een aantal items van de ASETS en VISEON een correlatie vertonen, maar niet allemaal. Er zijn een aantal mogelijke verklaringen voor het ontbreken van samenhang tussen de ASETS en SCOL en VISEON. Ten eerste worden de scores op uiteenlopende
antwoordschalen gemeten. Waar de ASETS een dichotome schaal hanteert en je kiest of het gedrag wel, of niet aanwezig is, hanteren VISEON en SCOL beiden een schaal op interval niveau. Een tweede mogelijke verklaring is dat de instrumenten inhoudelijk niet genoeg
overeenkomen. Een aantal items van VISEON waren bij nader inzien toch slecht(er) te koppelen aan items van de ASETS dan verwacht. De geselecteerde instrumenten (SCOL en VISEON) zijn uiteindelijk toch niet geschikt gebleken voor een nadere validering van de subschaal formeel leren van de ASETS vanwege de te grote inhoudelijke discrepantie op itemniveau.
De subschaal formeel leren van de ASETS vertoont geen samenhang met subschalen van de SCOL en VISEON die een ander concept meten. Dit laat zien dat de divergente correlatie van de ASETS goed is. Het situtype formeel leren, meet geen andere concepten die de SCOL en VISEON onderscheiden. Aangezien er geen convergente validiteit is aangetoond, wordt de divergente validiteit met enige voorzichtigheid aangenomen.
Door middel van MANOVA’s is onderzocht of de verschillende meetinstrumenten onderscheid maken tussen meisjes en jongens en besproken of onbesproken leerlingen op het gebied van formeel leren. Er is op alle drie de instrumenten geen verschil tussen jongens en meisjes. De verwachting dat jongens meer sociaal emotionele- en gedragsproblemen zouden hebben (DiPrete & Jennings, 2012), wordt hiermee tegengesproken. Uit deze test blijkt dus dat jongens niet meer sociaal emotionele- en gedragsproblemen vertonen in de context van het formele leren dan meisjes. Een mogelijke verklaring is dat de gemiddelde leeftijd van de steekproef vrij hoog is (zes jaar en één maand), volgens onderzoek nemen de
gedragsproblemen af naarmate kinderen ouder worden (Ladd & Profilet, 1996). Een deel van de leerlingen zat al in groep 3, waardoor zij mogelijk gewend zijn aan het formele leren en in deze context minder sociaal emotionele- en gedragsproblemen vertonen. Er is in het
onderzoek niet gevraagd naar de groep van de leerlingen, dit is een interessante toevoeging voor vervolgonderzoek.
De SCOL en VISEON meten een verschil tussen besproken en niet besproken leerlingen, waarbij besproken leerlingen slechter scoren. Dit bevestigt de hypothese dat besproken leerlingen meer sociaal emotionele- en gedragsproblemen laten zien dan
onbesproken leerlingen. De ASETS vindt dit verschil echter niet, de score op de ASETS meet geen onderscheid tussen besproken en onbesproken leerlingen. De afwijkende verdeling van de scores en de mogelijke plafondscore op de ASETS zou dit kunnen verklaren.
Er werd een samenhang verwacht op de drie meetinstrumenten voor de verschillende groepen. Net als bij de totaalscores, is er geen samenhang gevonden tussen scores op de ASETS en de andere meetinstrumenten voor zowel geslacht als besproken of onbesproken leerlingen. Er is wel samenhang gevonden tussen scores op de SCOL en VISEON voor alle vier de verschillende groepen. De mogelijke verklaringen hiervoor zijn hetzelfde als bij de
totale correlaties.
In de discriminantanalyse is gemeten of de ASETS besproken en onbesproken
leerlingen juist kan classificeren. De ASETS classificeert 48,2% van de leerlingen juist. Dit is lager dan in eerder gevonden onderzoeken (Druijff, 2020; Voskamp, 2019) en ligt op kans niveau. Dit komt overeen met de bevinding dat de ASETS in dit onderzoek geen verschil meet tussen besproken en onbesproken leerlingen op het gebied van formeel leren. De discriminantanalyse is uitgevoerd over de totaalscore. Besproken kinderen konden door de leerkracht worden geselecteerd op basis van zowel sociaal emotionele- en gedragsproblemen, als op cognitieve achterstand of problemen. Als kinderen zijn geselecteerd op basis van cognitieve problemen, betekent dit niet dat niet automatisch ook meer sociaal emotionele- en gedragsproblemen vertonen. Waar de ASETS alleen sociaal emotionele- en
gedragsproblemen meet, maakt dit mogelijk een verschil in juiste classificatie.
De hoofdvraag van het huidige onderzoek: ‘Is er een verband tussen de scores op de ASETS op het situtype formeel leren en de scores op bestaande meetinstrumenten die hetzelfde construct of aspecten van hetzelfde construct meten?’ wordt negatief beantwoord. Er is geen samenhang gevonden tussen scores op ASETS en op de twee
vergelijkingsinstrumenten. Het huidige onderzoek heeft voor het situtype formeel leren van de ASETS geen convergente validiteit kunnen aantonen. Op itemniveau zijn er wel verbanden te vinden tussen de ASETS en VISEON, wat laat zien dat een aantal items van de ASETS hetzelfde construct meten als items van VISEON. De divergente validiteit van de ASETS kan voorzichtig worden aangenomen, aangezien er geen samenhang is gevonden met subschalen die andere concepten meten dan formeel leren.
Het huidige onderzoek kent een aantal beperkingen die de resultaten mogelijk hebben beïnvloed. Een aantal hiervan zijn al benoemd bij het interpreteren van de resultaten, namelijk de scoring in uitersten van de ASETS, de verschillen in manier van scoring tussen de ASETS en de SCOL en VISEON, de inhoudelijke discrepantie tussen de ASETS, SCOL en VISEON, de hoge leeftijd van de kinderen en de manier van selectie voor besproken kinderen.
Daarnaast zijn er nog een tweetal beperkingen die invloed kunnen hebben gehad op de uitkomsten van het onderzoek. Ten eerste is het onderzoek grotendeels afgenomen toen de scholen fysiek gesloten waren als gevolg van de Covid-19 pandemie. Leerkrachten moesten online onderwijs bieden aan de kinderen en zagen of spraken de kinderen niet zo vaak als in een normale situatie. Het is mogelijk dat door de fysieke en psychische afstand het beeld dat de leerkracht van een kind heeft, is veranderd of vervaagd. Eveneens heeft het contact tussen de onderzoeker en leerkrachten uitsluitend online plaatsgevonden. Dit maakte het moeilijker
