Individueel paper
Effectieve doelformulering en evaluatie in het speciaal onderwijs
Blonk, Anita, Fontys
Wijnja, J., Radboud Universiteit Haren, L., Aloysiusstichting Wichers-Bots, J.,Fontys
Vraagstelling en relevantie van het onderzoek
Kinderen in het speciaal onderwijs hebben allerlei leer- en gedragsproblemen. Docenten hebben moeite om doelgericht onderwijs te verzorgen voor leerlingen met problemen. Vooral bij scholen waar kinderen met gedragsproblemen zijn samengebracht (de zgn. REC-4 scholen) is er een groot probleem (Inspectie van het onderwijs, 2007). In het onderwijs aan deze kinderen staat een orthopedagogische aanpak centraal om tot verandering van gedrag te komen, het onderwijsleerproces krijgt niet altijd de aandacht die nodig is om tot goede schoolresultaten te komen.
In een school voor voortgezet speciaal onderwijs met een stoornis in het autistisch spectrum (Niveau Praktijkonderwijs en VMBO-t) is een project opgezet voor het team om werkzame handelingsplannen te formuleren en te evalueren. Effectieve doelformulering helpt de professional in zijn dagelijkse werk: “Waar moet ik bij deze leerling mij de komende tijd op gaan richten?” In ons onderzoek hebben wij een werkwijze beproefd om een team van docenten te leren focussen op het formuleren en behalen van een doel en hun handelen op verschillende manieren te evalueren. De vorm en procedure van de handelingsplannen is afgestemd op de mogelijkheden van de teamleden en gedurende het schooljaar geleidelijk in het zorgsysteem van de school opgenomen.
Theoretisch kader
Doelformulering en doelrealisatie geven een belangrijk kader voor het werk van professionals in de speciale onderwijszorg. Individuele doelformulering en evaluatie is nodig in het speciaal onderwijs omdat leerlingen zich niet ontwikkelen als de normgroep, hun leeftijdsgenoten. Men moet regelmatig stilstaan met doelevaluatie of er een verandering ten goede van (leer)gedrag is opgetreden. Van Yperen (2006) beschrijft hoe complexe problemen vertaald kunnen worden in zogenaamde SMART geformuleerde doelen: een specifiek, meetbaar, acceptabel, realistisch en tijdgebonden doel. De hypothese hierbij is dat als een doel SMART geformuleerd is, het eenvoudiger wordt om tot doelrealisatie te komen.
Struiksma benadrukt (2002) dat een individueel plan voor een leerling alleen hoeft te worden gebruikt als er voor een leerling specifieke aanpassingen nodig zijn buiten het schoolplan en het groepsplan. Er hoeven dus niet voor elke leerling altijd individuele doelen geformuleerd worden! Het evalueren van handelingsplannen kan op verschillende aspecten plaatsvinden: de tevredenheid van de leerling en ouder, het wel of niet behaald hebben van het doel en meer algemeen: de veranderingen ten goede (Veerman et al. 2000).
Onderzoeksmethoden
Bij de start van het onderzoek waren er individuele handelingsplannen op één locatie voor 14 klassen met in totaal 112 leerlingen. Alle doelen van het studiejaar 2006-2007 zijn geanalyseerd op kwaliteit (SMART-criteria) en de kwantiteit (het aantal doelen per leerling). Op een studiedag in september hebben wij het team de data gepresenteerd en het team heeft hierop gereflecteerd. De termen schoolplan, groepsplan en individueel plan zijn geïntroduceerd en men heeft de opdracht gekregen om als oefening alle doelen uit drie klassen te plaatsen in de verschillende typen plannen.
Op de studiedag hadden de docenten hun doelen geformuleerd voor hun leerlingen. De doelen zijn met ouders en leerlingen besproken en akkoord bevonden en men heeft vanaf de herfstvakantie aan de doelen gewerkt. Vanaf december zijn er wekelijks leerlingbesprekingen waar de doelen worden besproken. Momenteel worden de laatste data verzameld (sluitingsdatum 15 februari) om het effect van doelformulering te evalueren.
Analyses zullen plaats vinden over het aantal gehaalde doelen vanuit het totaal aantal doelen; de overeenstemming tussen intern begeleiders, mentoren en leerlingen over het behalen van de doelen. Er zullen relaties worden gelegd tussen de kwaliteit van de doelen, de mate waarin de doelen behaald zijn, de tevredenheid van leerlingen en ouders en de algehele veranderingen ten goede.
Resultaten
Er waren in het studiejaar 2006-2007 ruim 815 doelen geformuleerd voor 112 leerlingen; gemiddeld 7.27 doelen per leerling. Deze doelen voldeden niet aan de SMART criteria.
Op de studiedag kwamen de docenten zelf tot het besef dat het moeilijk is om elke dag in een klas met 10 leerlingen aan gemiddeld 70 doelen te werken. Zij realiseerden zich door de opdracht dat veel van de individuele doelen meer groepsgewijs en op schoolniveau konden worden aangepakt. Er bleven weinig individuele doelen over (< 10% per klas).
Bij het formuleren van een doel volgens de SMART-criteria in de middag bleek dat niet alle leerlingen een individueel doel nodig hadden; het groepsplan en schoolplan voldeden. Dit gaf een enorme opluchting bij de teamleden. Het formuleren van maximaal één doel vond geen weerstand; men kon duidelijk aangeven wat op dat moment het meest wezenlijke was voor de begeleiding van een leerling en daar wilde men de komende tijd gemotiveerd aan gaan werken.
De eerste resultaten over de kwaliteit van de doelen nu is veelbelovend: van vijftig leerlingen waren de doelen aanmerkelijk verbeterd: meer dan 80% van de doelen was Specifiek en Meetbaar geformuleerd, ook de andere drie criteria voor SMART formulering waren minimaal op dit niveau. Kappa’s voor interrater betrouwbaarheid geven aan dat er sprake is van een redelijke tot goede overeenstemming bij de beoordelaars.
Conclusie en discussie
Het traject dat wij met de school hebben ingezet om tot effectievere doelformulering te komen, lijkt aan te slaan. De kwaliteit van de doelen is sterk verbeterd en het aantal doelen verminderd. Docenten zijn zich bewust van de mogelijkheden om hun handelen aan de hand van doelen te evalueren.
Bij de ontwikkeling van een effectievere doelformulering is het van belang geweest dat we de docenten onderzoeksmatig hebben betrokken bij hun eigen gegevens. Ze hebben zelf steeds conclusies getrokken over de data van hun school en konden aangeven wat belangrijk was om verder te komen bij het effectief formuleren en evalueren van een doel.
Referenties
Inspectie van het onderwijs (2007). Cluster 4, de kwaliteit van het onderwijs aan leerlingen met
ernstige gedragsproblemen.
Struiksma, A.J.C. & Bal, I.C.M. (2002). Protocol Handelingsplan voor leerlingen met een
SO/LGF-indicatie. Pedologisch Instituut Rotterdam.
Yperen, T. v., Steege, M. v. d., & Batelaan, S. (2006). Voor het goede doel. Werken met
hulpverleningsdoelen in de jeugdzorg. Utrecht: NIZW Jeugd.
Veerman, J.W. , Damen, H. & Brink, L.T. ten (2000). Een werkmodel voor evaluatie-onderzoek in
de jeugdzorg. Nijmegen: Academisch Centrum/ Praktikon: Katholieke Universiteit Nijmegen.
Round Table
Creatief met concepten. De relaties tussen communities, samenwerking en sociale competenties.
Brouwer, Patricia, IVLOS Universiteit Utrecht Dobber, Marjolein, ICLON, Universiteit Leiden, Vandyck, Inne, Vrije Universiteit Amsterdam Akkerman, Sanne, IVLOS Universiteit Utrecht
Door recente ontwikkelingen in onderwijs en onderzoek wordt veel aandacht besteed aan het samen leren en werken van docenten in communities. Van docenten wordt verwacht dat zij niet alleen met elkaar samenwerken maar ook met en van elkaar leren teneinde hun professionele ontwikkeling te stimuleren. Volgens Talbert & McLaughlin (2002) werken docenten samen in docentcommunities om nieuwe kennis te ontwikkelen maar ook om samen te leren en professionele groei te delen. De literatuur laat zien dat de ontwikkeling van een docentcommunity een effectieve manier is om onderwijsuitkomsten te verbeteren, en dat daarbinnen zowel samenwerken als samen leren aan bod komt.
Rosenholtz (1989) definieert samenwerking van docenten als het vragen om en geven van collegiaal advies en assistentie. Little (1990) beschrijft samenwerking in termen van collegiale relaties: als docenten van elkaar afhankelijk zijn, is er meer collegialiteit en samenwerking. Dit is ook te zien in het veelgemaakte onderscheid tussen coöperatief en collaboratief werk, in het eerste geval wordt het werk verdeeld en in het tweede geval zijn de participanten samen bezig aan de oplossing van een probleem.
Volgens De Laat (2006) kun je spreken van collectief leren wanneer zowel het leerproces als de leeruitkomsten collectief zijn. Volgens Kreijns, Kirschner en Jochems (2003) gaat het bij samen leren om een wederzijdse betrokkenheid van deelnemers in een gecoördineerde poging om gezamenlijk problemen op te lossen.
In de school, waar het lerarenberoep van oudsher achter gesloten deuren plaatsvindt, is het niet vanzelfsprekend dat docenten al kunnen samen leren en samenwerken in een community. Stichting beroepskwaliteit leraren (2004) formuleert competentie 5 ‘samenwerken met collega’s’ als 'de docent is ervoor verantwoordelijk dat zijn eigen werk en dat van collega’s op elkaar is afgestemd en bijdraagt tot een goed functionerende schoolorganisatie”. Ook binnen de lerarenopleiding ligt de taak om studenten te leren samenwerken en te leren samen leren. In dit aandachtsgebied zien wij leren samenwerken en leren samen leren als de ontwikkeling van sociale competenties.
Conclusie
In ons onderzoek naar docent communities komen bovenstaande concepten aan bod. Hoewel er veel literatuur te vinden is over deze concepten afzonderlijk, is er weinig kennis over hoe zij zich tot elkaar verhouden. In de postersessie discussiëren we met de deelnemers over een theoretisch model met betrekking tot deze concepten.
Referenties
Kreijns, K., Kirschner, P.A., Jochems, W. (2003). Identifying the pitfalls for social interaction in CSCL environments: a review of the research. Computers in Human Behavior 19 (3). Laat, M. de (2006). Networked learning. Politieacademie.
Little, J.W. (1990). The persistence of privacy: autonomy and initiative in teachers’ professional relations. Teachers College Record, 91 (4).
Rosenholtz, S.J. (1989). Teachers’ workplace. The social organization of schools. New York: Longman Inc.
Stichting Beroepskwaliteit Leraren (May 20th 2004), Bekwaamheidseisen vo/bve. Retrieved April 26th 2007 from http://www.lerarenweb.nl/lerarenwebbekwaamheid.html?sbl&artikelen&45. Talbert, J.E., McLaughlin, M.W. (2002). Professional Communities and the Artisan Model of
Teaching. Teachers and teaching: theory and practice, 8 (3/4).
Individueel paper
De ontwikkling van een instrument voor onderzoek naar de percepties van docenten van hun professionele identiteit.
Canrinus, E.T., Universitair Onderwijscentrum Groningen Helms-Lorenz, M., Universitair Onderwijscentrum Groningen Beijaard, Douwe, Eindhoven School of Education TUe Buitink, Jaap, Universitair Onderwijscentrum Groningen Hofman, Wim, Universitair Onderwijscentrum Groningen
Hoe docenten de attitude, het gedrag en de leerresultaten van leerlingen beïnvloeden, positief dan wel negatief, is recentelijk in verband gebracht met de percepties van docenten van hun professionele identiteit (Day, et al., 2006). In een uitgebreid, longitudinaal onderzoek in Engeland zijn 300 docenten (150 in het basisonderwijs en 150 in het voortgezet onderwijs) bestudeerd. De docenten werden hoofdzakelijk geïnterviewd aan de hand van semi-gestructureerde interviews. De leerlingvoortgang en de leerresultaten (in Engels en wiskunde) en de attitude en het gedrag van leerlingen werden gemeten door middel van tests, vragenlijsten en een focus group interview. Er werd niet geobserveerd in de klas. Tegen deze achtergrond is het doel van onze toekomstige studie het onderzoeken van de relatie tussen de percepties van docenten van hun professionele identiteit en het gedrag van docenten in de klas. Om dit doel te bereiken moet er eerst een valide en betrouwbaar instrument ontwikkeld worden om de percepties van docenten van hun professionele identiteit te kunnen onderzoeken. Dit is dan ook de focus van dit paper.
Sleegers en Kelchtermans (1999) beschouwen professionele identiteit als “een sociaal geconstrueeerd, relationeel en dynamisch verschijnsel en begrip” (p. 369). Beijaard, Meijer en Verloop (2004) vatten professionele identiteit op als een doorgaand en dynamisch proces. Professionele identiteit kan gezien worden als een resultaat van de voortdurende interactie tussen persoon en context.
Volgens Day (2002) hangt de perceptie van docenten van hun professionele identiteit samen met hun motivatie, arbeidssatisfactie, commitment en self-efficacy. Op basis van het werk van bovengenoemde auteurs, wordt er in het onderhavige onderzoek vanuit gegaan dat de percepties van docenten van hun professionele identiteit onderzocht kunnen worden op basis van hun percepties van deze vier constructen, inclusief persoons- en contextfactoren die daarop van invloed zijn.
Methode
Ontwikkeling van de vragenlijst. - Allereerst is een literatuurstudie uitgevoerd, gericht op de verschillende definities van de bovengenoemde constructen en gericht op de gebruikte vragenlijsten voor onderzoek naar deze constructen. Door het selecteren van definities is de keuze voor bepaalde vragenlijsten ingeperkt. Na het selecteren van de definities van arbeidssatisfactie, motivatie, commitment en self-efficacy, zijn vier instrumenten, waarvan de psychometrische eigenschappen bekend zijn, geïdentificeerd en verzameld om deze constructen te meten. Dit zijn de Arbeids-Satisfactie-Index (ASI) van Van der Ploeg en Scholte (2003), een aangepaste versie van de Occupational Commitment Scale van Meyer, Allan en Smith (1993), de Orientations on Teaching Scale (OTS) van Ferrel en Daniel (1993), en de Classroom and School Context teacher self-efficacy scale (CSC teacher self-efficacy scale) van Friedman en Kass (2002). Persoons- en context variabelen die van invloed zouden kunnen zijn op de wijze waarop docenten zichzelf percipiëren, zijn toegevoegd aan de vragenlijst, evenals drie open vragen aan het eind, ten behoeve van de ontwikkeling van de vragenlijst.
Respondenten. - 589 docenten in het voortgezet onderwijs verspreid over 13 scholen in Nederland hebben een e-mail ontvangen met daarin een uitnodiging tot deelname. De e-mail bevatte de link naar de vragenlijst voor de docent. De e-mailadressen van de benaderde docenten zijn verkregen via de websites van de scholen. Van de 589 benaderde docenten hebben 122 (20,7%) de vragenlijst ingevuld. Van deze 122 docenten is 61% man en 39% vrouw. Dit is een representatieve weergave van de situatie in het voortgezet onderwijs (Ministerie van Onderwijs Cultuur en Wetenschap, 2007).
Van de niet deelnemende docenten hebben zich 45 docenten afgemeld en zijn 22 e-mails niet aangekomen. De mannen en vrouwen zijn evenredig verdeeld over deze twee groepen samen.
Analyse van de data
Met behulp van factoranalyses zullen we nagaan hoe de verschillende onderdelen van de vragenlijst zich gedragen. Item-rest en inter-itemcorrelaties zullen berekend worden. Tevens zal aandacht besteed worden aan de validering van de vragenlijst. De resultaten van deze analyses zullen gepresenteerd worden op de ORD2008 te Eindhoven.
Voorlopige resultaten
Betrouwbaarheid van de vragenlijst
De interne consistentie van de schalen is gemeten met Crohnbach’s coëfficiënt alfa. De schalen hebben de volgende betrouwbaarheden: contextfactoren: .85; persoonsfactoren: .81; arbeidssatisfactie: .91; commitment: .73; motivatie .90; self-efficacy: .91.
De vragenlijst zal op verschillende punten verbeterd worden. Het stijgende uitvalspercentage in het verloop van de vragenlijst wijst op een mogelijk vermoeidheidseffect. Om een dergelijk effect en een bijkomend hoog uitvalpercentage bij steeds dezelfde, laatste vragen te voorkomen, wordt de volgorde van de schalen en de volgorde van de items binnen de schalen gerandomiseerd.
Een aantal vragen wordt aangepast, een aantal nieuwe vragen wordt opgenomen en een aantal dubbele vragen wordt verwijderd. Ten slotte zullen er verbeteringen op het gebied van de lay-out uitgevoerd worden.
Discussie
In de vervolgstudie zal de verbeterde versie van de vragenlijst opnieuw uitgezet worden, ditmaal onder een nieuwe en grotere groep docenten. Met deze data zullen identiteitsprofielen geïdentificeerd worden van docenten. Aansluitend zullen deze profielen in verband gebracht worden met het gedrag van docenten in de klas. Op deze wijze willen wij een bijdrage leveren aan de groeiende hoeveelheid kennis op het gebied van onderzoek naar professionele identiteit en een bijdrage leveren aan nieuwe manieren van denken over de effectiviteit van docenten.
Referenties
Beijaard, D., Meijer, P.C., & Verloop, N. (2004). Reconsidering research on teachers’professional identity. Teaching and Teacher Education, 20, 107-128.
Day, C. (2002). School reform and transitions in teacher professionalism and identity. International
Journal of Educational Research, 37, 677-692.
Day, C., Stobart, G., Sammons, P., Kington, A., Gu, Q., Smees, R., Mujtaba, T., (2006). Variations
in teachers’ work, lives and effectiveness (Department for Education and Skills Rep. No. RR743). Nottingham: DfES Publications.
Ferrell, C.M., & Daniel, L.G. (1993, November). Construct validation of an instrument measuring
teacher career motivation. Paper presented at the Annual Meeting of the Mid-South Educational Research Association, New Orleans, LA.
Friedman, I.A., & Kass, E. (2002). Teacher self-efficacy: a classroom-organization conceptualization.
Teaching and Teacher Education, 18, 675-686.
Ministerie van Onderwijs Cultuur en Wetenschap (2007). Kerncijfers 2002-2006. Kelpen: Hub. Tonnaer.
Sleegers, P., & Kelchtermans, G. (1999). Inleiding op het themanummer: professionele identiteit van leraren. Pedagogisch Tijdschrift, 24, 369-373.
Van der Ploeg, J.D., & Scholte, E.M. (2003). Arbeidssatisfactie onder leraren. Pedagogiek, 23, 276-290.
Poster
De betekenis van onderzoek door leraren voor de professionele ontwikkeling en schoolontwikkeling
Cornelissen, Frank, Eindhoven School of Education/Fontys OSO Tilburg
Ondersteunende infrastructuren worden als een cruciale factor gezien in het bevorderen van zowel grootschalige onderwijskundige verandering als professionele kennisontwikkeling van individuele leerkrachten (Fullan, 1999). In het afgelopen decennium zijn diverse van dergelijke infrastructuren geconceptualiseerd, zoals: lerende organisatie, lerende gemeenschap, ‘community of practice’ en een platform. Zulke infrastructuren richten zich op het vervlechten van de ontwikkeling van het individu, de groep, de school en de gemeenschap. Het gezamenlijk doen van onderzoek wordt hierbij steeds aangemerkt als een belangrijk middel. Een groeiend aantal onderzoeken toont aan dat een infrastructuur waarin het doen van onderzoek een centrale plaats krijgt (‘community of inquiry’) de individuele kennisontwikkeling van leerkrachten kan stimuleren (Zeichner, 2003). De verwachting is dat hierdoor ook de ontwikkeling van de school en de gemeenschap wordt bevorderd.
In deze context van professionele kennisontwikkeling en organisatieverandering door middel van onderzoek, maakt Reason (1999) onderscheid tussen drie benaderingen: de eerste persoon-, tweede persoon- en derde persoon onderzoeksbenaderingen.
De “voor mij” eerste persoon onderzoeksbenaderingen zijn gericht op de ontwikkeling van de individuele onderzoeker. Ze richten zich op de onderzoeker die een onderzoekende houding aanneemt ten opzichte van zijn of haar werk, die bewust handelt en die reflecteert op de effecten van dat handelen.
De “voor ons” tweede persoon onderzoeksbenaderingen richten zich op het doen van onderzoek in een groep die gefocust is op samenwerkend leren en onderzoeken. Deze benadering stelt onderzoekers in staat om ‘face-to-face’ met anderen onderzoek te doen naar zaken van gezamenlijk belang.
De “voor hen” derde persoon onderzoeksbenaderingen mikken op het mobiliseren van onderzoek in de bredere gemeenschap om van daaruit de organisatie en gemeenschap te beïnvloeden. Het wordt gezien als een benadering die zich uitstrekt voorbij het kleinschalige eerste- en tweede persoon onderzoek.
Probleemstelling
Op dit moment bestaat er redelijk veel kennis over de aard, processen en uitkomsten van kleinschalig leerkrachtonderzoek (eerste- en tweede persoon). Daarentegen is weinig of geen kennis beschikbaar over de aard en de impact van derde persoon onderzoeksbenaderingen. De centrale onderzoeksvraag van dit promotieonderzoek luidt dan ook: ‘Wat is de betekenis van verschillende derde persoon onderzoeksbenaderingen voor de ontwikkeling van de school en de gemeenschap?”
Onderzoek
Het onderzoek bestaat uit twee deelstudies. De eerste deelstudie richt zich op het exploreren en beschrijven van de verschillende benaderingen die in het kader van derde persoon onderzoek worden ontplooid in scholen en de mate waarin ze voorkomen. In de tweede deelstudie worden casestudies verricht naar de betekenis van enkele van deze benaderingen voor de ontwikkeling van de school en de gemeenschap.
Discussie/vragen i.v.m. de opzet van het onderzoek
• Hoe kunnen diverse derde persoon onderzoeksbenaderingen worden geïdentificeerd binnen de praktijk van schoolorganisaties?
• Wat zou de invalshoek moeten zijn om het effect van derde persoonsonderzoek op de ontwikkeling van de school en de gemeenschap te onderzoeken?
Referenties