SERVICE-LEARNING KU LEUVEN ONDER DE LOEP

ONDERZOEK NAAR DE LEEREFFECTEN VAN

SERVICE-LEARNING PILOOTPROJECTEN AAN DE KU LEUVEN 2017-2018

Maaike Mottart

in samenwerking met Heidi Knipprath, Nicolas Standaert en Goedroen Juchtmans

SERVICE-LEARNING KU LEUVEN

ONDER DE LOEP

1. Inleiding ...1

1.1 Service-learning: een ervaringsgerichte onderwijsvorm die inzet op maatschappelijk engagement, kritische reflectie en brede vorming ...1

1.2 Onderzoek naar bestaande service-learning praktijken aan de KU Leuven ...4

2. Ontwikkeling van een kwantitatief instrument ...7

2.1. Toelichting opzet, methode en vragen ...7

2.2. Toelichting vragen in pre- en posttest: bevraagde concepten ...8

2.2.1. Achtergrondkenmerken en motivatie ...8

2.2.2. Academisch leren ...9

2.2.3. Persoonlijk leren ... 10

2.2.4. Sociaal-maatschappelijk leren: (wereld)burgerschapscompetenties ... 11

2.2.5. Groeivragen toegevoegd aan de post-test ... 13

2.3. Dataverzameling ... 14

2.4. Betrouwbaarheidsanalyse op basis van de vragenlijst en analyse pre- en posttest 15 2.5. Conclusie: naar een nameting met groeivragen ... 20

3. Kwalitatief luik: diepte-interviews met studenten ... 22

3.1. Opzet en dataverzameling ... 22

3.2. Profiel respondenten ... 22

3.3. Discussie ... 24

4. Procesevaluatie: bevraging docenten en onderwijsondersteuners ... 26

4.1. Hoe beïnvloedt de pedagogie van service-learning hun onderwijs? ... 26

4.2. Welke concrete pedagogische ondersteuningsvragen zijn er? ... 27

4.3. Docenten als partners van organisaties ... 28

4.4. Hoe kijken de docenten naar de instroom van studenten in hun vak? ... 28

4.5. Waar dromen de docenten en onderwijsondersteuners nog van? ... 29

5. Beperkingen en aanbevelingen op basis van het onderzoek ... 30

5.1. Beperkingen ... 30

5.2. Aanbevelingen ... 31

6. Appendix ... 33

6.1. Vragenlijst pre- en posttest (2016-2018) ... 33

6.1.2. Vragenlijst pre-test ... 33

6.1.3. Vragenlijst post-test ... 42

6.2. Vragenlijst groeivragen (2018-2019) ... 43

6.3. Betrouwbaarheidscoëfficiënt, schalen en items oorspronkelijke vragenlijst... 48

6.4. Leidraad semi-gestructureerd diepte-interview ... 51

1. Inleiding

Sinds 2016 ging het service-learningproject KU Leuven van start met de begeleiding en ondersteuning van de uitbouw van service-learning vakken. In dit kader werd in het academiejaar 2017-2018 een evaluatieonderzoek uitgevoerd. Dit onderzoek nam de vakken onder de loep die ontwikkeld werden in 2016-2017, en voor de eerste maal proef liepen in 2017-2018. Het evaluatieonderzoek richtte zich voornamelijk op de studenten. Via een kwantitatieve en kwalitatieve bevraging werd naar de leereffecten in service-learning vakken gepeild. Verder werd een aantal docenten bevraagd over hun ervaring met de ontwikkeling en implementatie van een service- learning vak.

In dit rapport worden de resultaten en conclusies, alsook de concrete details van dit evaluatieonderzoek toegelicht. De opzet van deze eerste onderzoekcyclus was eerder explorerend.

Op basis van de lessons learned beoogt dit rapport een instrumentarium voor verder service-learning onderzoek in de lokale context te bieden. Vooral het kwantitatieve luik dient nog verder uitgezocht te worden in de komende jaren, en biedt voorlopig geen basis om uitspraken te doen over de pedagogische effecten van service-learning. Wel wil dit rapport een aantal mogelijkheden en moeilijkheden aangeven vanuit de opgedane ervaring. De nadruk ligt dus niet op de onderzoeksresultaten, maar wel het proces, de gemaakte keuzes en de implicaties daarvan. Het is dan ook op die manier dat dit rapport dient gelezen te worden. Wij hopen dat het als ondersteuning ingezet kan worden bij verder onderzoek naar de effecten van service-learning.

1.1 Service-learning: een ervaringsgerichte onderwijsvorm die inzet op maatschappelijk engagement, kritische reflectie en brede vorming

Service-learning is een ervaringsgerichte onderwijsvorm die studenten de kans geeft om zich maatschappelijk te engageren binnen het kader van hun studie. De student dient de maatschappij door zich concreet in te zetten voor een bepaalde gemeenschap of doelgroep. Door kritische reflectie op hun ervaringen leren studenten op academisch, persoonlijk en sociaal-maatschappelijk vlak.

Op onderwijsvlak draagt deze pedagogie bij tot de brede persoonsvorming van de student, waarbij niet enkel cognitieve vaardigheden, maar ook praktische vaardigheden, zogenaamde en sociale en persoonlijke vorming aan bod komen. Op maatschappelijk vlak wil de pedagogie ook bijdragen tot positieve maatschappelijke verandering, door middel van wederkerige en interactieve samenwerking tussen student en samenleving. Op vlak van onderzoek kan service-learning bijdragen tot onderzoeksresultaten die voortkomen uit de concrete samenwerking met maatschappelijke actoren, en brengt het ook nieuwe (vaak weinig gekende) onderzoeksvragen en – input de universiteit binnen.

De pedagogie van service-learning is relatief nieuw in het Europese onderwijslandschap¹, maar bestaat reeds meer dan 30 jaar in de Verenigde Staten en Latijns-Amerika. Het werd in de vroege jaren 1960 reeds geïntroduceerd in de VS en werd in de jaren 1990 breed verspreid in de VS en Latijns-Amerika. Sindsdien kent het een gestage verspreiding over de wereld. Europa heeft deze onderwijsvorm pas relatief laat opgepikt, met Spanje en Ierland als vroege voorlopers zo’n tien jaar

1 Met uitzondering van Ierland en Spanje, die rond 2008 van start gingen met projecten en nu een stevige verankering van de pedagogie in het onderwijslandschap kennen

geleden.² Er is een hele literatuur rond ontstaan die ons wegwijs kan helpen in het vormgeven van een lokale invulling van de pedagogie.

Wat maakt deze pedagogie zo uniek, en waarom wint ze zo aan belang in de laatste jaren? Service- learning onderscheidt zich van een (traditionele) stage, van burgerschapseducatie en vrijwilligerswerk, doordat het academische studie, praktische ervaring en maatschappelijke dienstverlening integreert binnen de contouren van een vak.

Service-learning versus stage, vrijwilligerswerk en burgerschapseducatie

Service-learning onderscheidt zich van een (traditionele) stage en van vrijwilligerswerk op twee verschillende manieren. Ten eerste is de focus anders. Bij een stage is de primaire doelstelling of focus het leren van de student: die gaat concrete vooraf geleerde competenties in de praktijk uitvoeren en wordt daar op geëvalueerd. Bij vrijwilligerswerk staat de maatschappelijke dienstverlening centraal, en wordt geen expliciete of formele link gemaakt met het curriculum of academisch leren. Service-learning bevindt zich tussenin, gezien het leerproces van de student en de maatschappelijke dienstverlening een gelijkwaardige plaats innemen.

Ten tweede is de primaire begunstigde anders. De primaire begunstigde in een stage is de student zelf, gezien de stage voor haar een realistische leeromgeving biedt om geleerde kennis, vaardigheden en attituden in de praktijk om te zetten. Bij vrijwilligerswerk daarentegen staat de ontvanger van de dienstverlening centraal (ook al hebben vrijwilligers vaak hun persoonlijke doelen). Bij service- learning gaat het om een wederkerigheid tussen student en de maatschappelijke partner. Deze positionering van service-learning tussen stage en vrijwilligerswerk op vlak van focus en primaire begunstigde wordt hieronder geïllustreerd.³

Bij burgerschapseducatie staan sociaal-maatschappelijke kennis, waarden en attituden centraal, al dan niet gelinkt met de wetenschappelijke discipline of het studieprogramma. Burgerschapsed ucatie wordt echter meestal theoretisch aangeboden, zonder dit te koppelen aan een maatschappelijke praktijkervaring. Deze maatschappelijke praktijkervaring is bij service-learning dan weer het vertrekpunt om tot burgerschapsvorming te komen. Het diagram hieronder toont hoe service-learning zich positioneert ten aanzien van stage, vrijwilligerswerk en burgerschapseducatie.

2 Zij waren (vanuit Universitad Autónoma de Madrid en NUI (National University of Ireland) Galway) de trekkers van een eerste Europees project in het kader van Erasmus+: “Europe Engage”.

3 Diagram gebaseerd op A. Furco, “Service-Learning: A Balanced Approach to Experiential Education”, in B.

Taylor and Corporation for National Service (eds.), Expanding Boundaries: Serving and Learning, Washington, DC: Corporation for National Service, 1996, p. 3.

Leerproces

SERVICE-LEARNING

VRIJWILLIGERSWERK STAGE

Focus

Student

Gemeenschap Begunstigde

Dienstverlening

Service-learning bevindt zich op het kruispunt van academische studie, maatschappelijke dienstverlening en praktijkervaring.⁴

Betrokkenen in service-learning

Wat service-learning uniek maakt is de betrokkenheid van verschillende stakeholders en de wederkerigheid die daarbij nagestreefd wordt. De basisbetrokkenen zijn de docent (die het vak vormgeeft, doelen vooropstelt, ...), de student (die het vak volgt en maatschappelijke dienstverlening doet en daaruit leert) en de partner (meestal sociale organisaties waarmee samengewerkt wordt).

Verder zijn ook de academische instelling en de bredere samenleving betrokken. De instelling ondersteunt maatschappijbetrokken onderwijs en onderzoek, en speelt een faciliterende rol hierin.

Omgekeerd sijpelen nieuwe pedagogische inzichten en expertise met ervaringsgericht onderwijs de instelling binnen, en worden nieuwe onderzoeksvragen en prioriteiten zichtbaar. De samenwerking met partners en gemeenschappen maakt het mogelijk om krachten te bundelen, en uitkomsten te genereren voor de bredere samenleving.

4 Diagram gebaseerd op R. G. Bringle, J. A. Hatcher & S. G. Jones (eds.), International Service Learning: Conceptual Frameworks and Research, (IUPUI Series on Service Learning Research 1), Virginia: Stylus Publishing, 2011, p. 4.

Waarom service-learning?

Onderzoek heeft uitgewezen dat service-learning als onderwijsvorm verschillende voordelen oplevert voor studenten en de partners waar ze mee samenwerken, maar ook voor de betrokken docenten en de instelling als geheel. Voor studenten betekent dit onder meer dat ze door service- learning een grondiger begrip van leerinhouden verwerven door de verbinding met de praktijkervaring, dat ze meer inzicht in zichzelf krijgen en in zichzelf in relatie tot anderen (bv.

studiekeuze, eigen waarden, functioneren in een team, communicatievaardigheden, …), leren omgaan met complexe vraagstukken en materie, hun eigen referentiekader kritisch onderzoeken en leren omgaan met diverse sociale realiteiten die vaak niet aanwezig zijn binnen de universiteit.

Voor partners is service-learning interessant om verschillende redenen. Ten eerste staan de noden van de gemeenschap of organisatie die deze vertegenwoordigt centraal. Ten tweede kan samenwerking met de universiteit wetenschappelijke expertise binnenbrengen. Ten derde krijgen organisaties de kans om jongeren bewust en attent te maken voor maatschappelijke problematieken en uitdagingen, en zo invloed uitoefenen op toekomstige generaties. Service-learning laat ook toe om duurzame en interdisciplinaire samenwerkingen tussen partners en de universiteit tot stand te brengen.

Voor docenten biedt deze onderwijsvorm een uitgelezen kans om vorm te geven aan maatschappijbetrokken onderwijs, maar ook om nieuwe vragen en input vanuit het maatschappelijk veld binnen te krijgen en deze om te zetten in nieuwe onderzoeksvragen en –inzichten. Op die manier kan de docent de drie ‘missies’ van de universiteit integreren: onderwijs, onderzoek en dienstverlening. Dit geldt ook voor de instelling als geheel, die door degelijk maatschappelijk betrokken onderwijs zowel studenten kan betrekken en motiveren, haar docenten ondersteunt in het uitbouwen van goed onderwijs, en haar banden met de samenleving kan aanhalen in een context van wederkerigheid.

1.2 Onderzoek naar bestaande service-learning praktijken aan de KU Leuven

De lange(re) traditie van service-learning in de VS heeft ondertussen een corpus van studies voortgebracht die trachten na te gaan of service-learning de belofte van cognitief, persoonlijk én maatschappelijk leren wel kan waarmaken.⁵ Als nieuwe pedagogie die een plaats wilde veroveren in het hoger onderwijslandschap moe(s)t ze zich immers bewijzen ten opzichte van andere onderwijsvormen. De effecten zijn uitvoerig onderzocht en meerdere studies tonen aan dat service- learning, meer dan andere onderwijsvormen, bijdraagt tot brede persoonsvorming, de ontwikkeling

5 A. W. Astin, & L. J. Sax. “How Undergraduates Are Affected by Service Participation”, Journal of College Student Development, 39(3) (1998), pp. 251–263; J. Eyler & D. E. Giles Jr., Where’s the Learning in Service-learning?, San Francisco: John Wiley & Sons, 1999; A. W. Astin, L. J. Vogelgesang, E. K. Ikeda & J. A. Yee, “How Service Learning Affects Students”, Higher Education (paper 144), 2000; A. W. Astin, L. J. Vogelgesang, … E. Yamamura, Understanding the Effects of Service-Learning: A Study of Students and Faculty. Los Angeles: UCLA, Higher Education Research Institute. 2006; J. M. Novak, V. Markey & M. Allen, “Evaluating Cognitive Outcomes of Service Learning in Higher Education: A Meta-Analysis”, Communication Research Reports 24:2 (2007), pp. 149- 157; J. M. Conway, E. L. Amel & D. P. Gerwien, “Teaching and Learning in the Social Context: A Meta-Analysis of Service Learning’s Effects on Academic, Personal, Social, and Citizenship Outcomes”, Teaching of Psychology 36(4) (2009), pp. 233–245; P. Yorio, Patrick & F. Ye, “A Meta-Analysis on the Effects of Service-Learning on the Social, Personal, and Cognitive Outcomes of Learning”, Academy of Management Learning & Education 11:1 (2012), pp. 9-27.

van empathie en burgerschapszin.⁶ Op basis van deze resultaten noemt de Association of American Universities and Colleges service-learning als één van de tien meest impactvolle onderwijsvormen voor studenten.⁷ Het onderzoek toont echter ook het belang van contextuele (kwaliteits)factoren aan, met als gevolg soms gemengde resultaten.⁸ De service-learning literatuur is er ook niet in geslaagd om, zoals in andere studiedomeinen, een consistent en voortbouwend corpus van onderzoek te vormen, waarbij methodologieën, instrumenten en analysemethoden consistent worden toegepast en verbeterd.⁹ Daarom is het noodzakelijk om verder onderzoek hiernaar te doen.

Het service-learning project aan de KU Leuven zet sinds de aanvang in september 2016 volop in op bekendmaking van en vorming in de pedagogie, zowel via pilootprojecten als universiteitsbrede initiatieven. De pijler ‘onderzoek’ werd pas in een latere fase een van de strategische doelstellingen.

Er zijn verschillende redenen om onderzoek een centrale plaats te geven: bijsturing en monitoring van lopende praktijken, de academische en maatschappelijke verantwoording van (de effecten van) de pedagogie; en communicatie en uitwisseling van resultaten door inbedding in een (internationale) onderzoekstraditie.

Monitoring, evaluatie en bijsturing van bestaande vakken helpen om de kwaliteit ervan te garanderen, en om de lessons learned eruit te filteren die dan weer de basis kunnen vormen voor begeleiding en nieuwe vragen. Bovendien zijn de pedagogische inzichten uit dit onderzoek niet enkel nuttig voor service-learning op zich, maar kunnen ze ook breder toegepast worden op onderwijs en leren in het algemeen.

Onderzoek naar wat service-learning teweegbrengt – of dit nu over concrete resultaten, impact of effecten op langere termijn gaat – kan bijdragen tot de aanvaarding en verdieping van de pedagogie binnen de instelling (‘interne marketing’), en maakt de pedagogie ook zichtbaar voor een breder publiek. ¹⁰ Onderzoeksvragen betreffen niet enkel de student (leerresultaten, reflectie,

6 Zie onder meer: J. C. Wilson, “Service-Learning and the Development of Empathy in US College Students”, Education + Training 53:2/3 (2011), pp. 207-217; L. Simons & B. Cleary, “The Influence of Service Learning on Students' Personal and Social Development”, College Teaching 54:4 (2006), pp. 307-319; J. S. Eyler, D. E. Giles, C. M. Stenson, and C. J. Gray, At A Glance: What We Know about The Effects of Service-Learning on College Students, Faculty, Institutions and Communities, 1993- 2000: Third Edition, Vanderbilt University, 2001; Astin, Vogelgesang, Ikeda, & Yee (2000); Eyler & Dwight (1999).

7 “High-Impact Educational Practices”, https://www.aacu.org/leap/hips. Er wordt hiermee ‘undergraduate education’ bedoeld, en dus gedeeltelijk (maar niet volledig) gelijklopend met onze bachelorprogramma’s.

Volgens dit onderzoek behaalt service-learning de hoogste scores op de relaties tussen “Selected High-Impact Activities, Deep Learning, and Self-Reported Gains” (zoals General, Personal, Practical Gains) en tussen

“Selected High-Impact Activities and Clusters of Effective Educational Practices” (zoals Level of Academic Challenge, Active and Collaborative Learning, Student–Faculty Interaction, Supportive Campus Environment).

8 Een aantal auteurs wezen hier reeds op vroeg in de jaren 2000. Er zijn een aantal belangrijke uitdagingen die veralgemening van onderzoeksresultaten bemoeilijken: een verschillende gehanteerde definitie van service- learning in het onderzoek, de kenmerken van de onderzochte service-learning vakken, het gebrek aan stevige theoretische kaders en de interpretatie van onderzoeksresultaten. S. Billig, S. & A. Waterman, Studying Service- Learning: Innovations in Education Research Methodology, Routledge: New York, 2003; J. Eyler, D. E. Giles, & C.

Gray, At a Glance: What we know about the Effects of Service-Learning on Students, Faculty, Institutions, and Communities, 1993-1999, Nashville, Vanderbilt University, 1999.

9 A. Furco, A., “Issues of Definition and Program Diversity”, in S. Billig, S. & A. Waterman, Studying Service- Learning: Innovations in Education Research Methodology, Routledge: New York, 2003, p. 15.

10 Hier zien Bringle Hatcher en Holland een rol opzijgelegd voor de centrale coördinatie van service-learning.

R. G. Bringle, J. A. Hatcher, J. A., & B. Holland, “Conceptualizing Civic Engagement: Orchestrating Change at a Metropolitan University”, Metropolitan Universities 18:3 (2007), p. 61.

burgerschapsvorming, identiteitsvorming), maar ook de sociale partners en wat ontstaat in de interactie tussen instelling en maatschappij.

Service-learning kent een wereldwijde beweging met expertise, onderzoek en good practices.¹¹ Het is belangrijk om ook van dit wereldwijd netwerk deel uit te maken, gezien dit bijsturing, nieuwe inzichten en samenwerkingen mogelijk maakt. Concreet betekent dit dat de inzichten uit de internationale literatuur de interne praktijken binnensijpelen, en dat intern onderzoek en ervaringen gedeeld worden in (internationale) publicaties, conferenties en netwerken. Ook voor de legitimiteit en het draagvlak voor de pedagogie binnen de instelling kan dit internationale karakter een belangrijke rol spelen.

Aan het begin van het tweede jaar van het service-learning project werd samen met HIVA Leuven een beperkt onderzoekstraject uitgestippeld, met een drieledige focus:

1. Een kwantitatief instrument ontwikkelen om leereffecten bij studenten na te gaan (survey met pre- en postmeting)

2. Kwalitatief bevragen van studenten naar hun (leer)ervaringen in service-learning (diepte-interviews)

3. Procesevaluatie van de begeleiding door het service-learning team aan de universiteit (focusgroepen met betrokken docenten)

Er is gekozen voor een focus op studenten, namelijk wat zij leren uit de ervaring. De maatschappelijke impact van de projecten, of de ervaring van de organisaties waarmee wordt samengewerkt, werd hier niet opgenomen wegens beperkte capaciteit en expertise in het team. De drie bovenvermelde luiken worden hieronder toegelicht.

11 Voorbeelden van dergelijke netwerken zijn Campus Compact (VS, 1985), CLAYSS: Centro Latinoamericano de Aprendizaje y Servicio Solidario (Latijns-Amerika, 2002), Red Iberoamericana de aprendizaje y servicio (VS, Latijns-Amerika, De Caraïben, Spanje, 2005), Europe Engage (12 EU landen, 2014). In september 2019 werd de European Association of Service-Learning in Higher Education opgericht.

2. Ontwikkeling van een kwantitatief instrument

2.1. Toelichting opzet, methode en vragen

Dit onderzoeksluik bevat een dubbele doelstelling: enerzijds willen we nagaan wat de (leer)effecten zijn van service-learning vakken op studenten. Anderzijds willen we hiervoor een betrouwbaar en efficiënt instrument voor ontwikkelen. Om verandering te kunnen meten bij studenten die een service-learning vak volgen, werd gekozen voor een pre- en postsurvey waarin telkens dezelfde concepten bevraagd worden.

In de service-learning literatuur wordt een onderscheid gemaakt tussen drie leerdomeinen:

‘academisch leren’, ‘persoonlijk leren’, en ‘sociaal maatschappelijk leren’ (civic learning).¹² Meer concreet wil dit zeggen dat niet enkel academisch leren aan bod komt, maar ook bredere vorming, met de nadruk op persoonlijk leren en sociaal-maatschappelijke vorming. Die bredere vormingsdoelen betreffen persoonlijk en maatschappelijk leren en worden vaak gevat onder de noemer ‘(wereld)burgerschapscompetenties’. Deze survey peilt naar de zelfperceptie van kennis, attitudes en gedrag van studenten op de drie voorgenoemde leerdomeinen:

-academisch leren, met onder meer (in)directe transfer, kritisch denken, systeemdenken.

-persoonlijk leren: zelfinzicht i.v.m. normen en waarden, referentiekaders, en doelen (zowel gelinkt aan opleiding als toekomstige loopbaan), omgaan met onzekerheid en ambiguïteit.

-sociaal-maatschappelijke leren: inzicht in maatschappelijke structuren en systemen, een gevoeligheid voor (on)rechtvaardigheid en (on)gelijkheid, maatschappelijk betrokken handelen en solidariteit, democratische waarden, appreciatie voor diversiteit, etc. Dit komt grotendeels overeen met wat we ‘burgerschapsvorming’ noemen (maar valt er ook niet volledig mee samen).

Het kwantitatieve meetinstrument werd ontwikkeld op basis van deze drie overkoepelende leerdomeinen en de bestaande service-learning en burgerschapsliteratuur. Daarbij werd beoogd om zoveel mogelijk te putten uit bestaande, gevalideerde instrumenten. Dit bleek echter niet evident te zijn, gezien de verschillende nadruk die gelegd wordt in de VS literatuur (op gemeenschapsdienst en nationaal burgerschap), of de verschillende doelgroep (bv. Nederlandstalige vragenlijsten rond burgerschap zijn voornamelijk gericht op middelbare scholieren). Hieronder in de bespreking van de vragen worden telkens de relevante instrumenten vermeld.¹³

12 In enkele onderzoeken worden meerdere domeinen onderscheiden, bijv.: cognitief, academisch, burgerschap, sociaal, moreel en persoonlijk. Wij nemen hier cognitief en academisch samen, evenals burgerschap en sociaal. Verder hebben we ervoor gekozen om het aspect ‘moreel’ niet op te nemen wegens onduidelijke onderzoeks-resultaten op dit vlak. Furco (2003), p. 22.

13 We zijn ons ervan bewust dat er een zekere mate van overlapping is tussen de vragen in de drie domeinen (cognitief, persoonlijk, sociaal), gezien bepaalde competenties in het ene domein van belang zijn voor een bepaalde houding of competentie in het andere.

2.2. Toelichting vragen in pre- en posttest: bevraagde concepten

Hieronder volgt een toelichting van de bevraagde concepten per domein: academisch leren, persoonlijk leren en sociaal-maatschappelijk leren. De toelichting betreft de oorspronkelijke vragenlijst zoals afgenomen in het academiejaar 2017-2018. De volledige vragenlijsten (pre- en post) zijn toegevoegd in de appendix van dit rapport.

2.2.1. Achtergrondkenmerken en motivatie

Service-learning wordt in de meeste gevallen aangeboden als keuzevak.¹⁴ Dit heeft als gevolg dat studenten ‘zichzelf selecteren’ voor dergelijke vakken, en dat we dus attent moeten zijn voor het profiel en de achtergrond van de deelnemende studenten. Dit geeft ons niet alleen inzicht in welk

‘type’ student voor deze vakken kiest, het helpt ons ook om de bekomen data te interpreteren of te nuanceren. Als we pretenderen te meten dat een student meer bereidheid tot solidariteit of vrijwillig engagement gekregen heeft door het service-learning vak, volstaat het niet alleen te kijken naar een verandering tussen de toestand vóór en na het vak. Het kan immers zijn dat een student bij aanvang van zo’n vak al heel geëngageerd is, en dat het service-learning vak daar gewoon een bevestiging van is, en geen zichtbare ‘groei’ daarin optreedt.

De persoonlijke achtergrondkenmerken die bevraagd worden (vraag 1-7) zijn: leeftijd, geslacht en thuistaal.

De vragen rond engagement (vraag 8-9) binnen of buiten de universiteit kunnen een beeld geven van welke soort studenten voor service-learning kiezen en dienen eventueel als nuance bij de scoring van de items. We bevragen opgenomen engagementen in het verleden om na te gaan of er al een ervaring of bereidheid aanwezig is bij de studenten. Voor intrauniversitair engagement bevragen we ook de motieven of de redenen om het niet op te nemen.¹⁵ Deze vragen zijn gedeeltelijk gebaseerd op de studentenbevraging van de KU Leuven.¹⁶ Deze informatie kan ook dienen als basis voor het meten van ‘intenties om zich te engageren’ in de toekomst bij een post-test.

Vraag 10 peilt naar het gebruik van een dagboek. In de literatuur wordt vaak naar een dagboek verwezen als middel voor de student om persoonlijk te reflecteren. Het gebruik van een dagboek (in combinatie met intervisie en gesprekken met medestudenten en docent) zou dan ook een van de

14 Hier bestaan momenteel maar twee uitzonderingen op aan de KU Leuven: in de opleidingen Sinologie (Master) en Psychologie (tweede Bachelor) is het service-learning vak een verplicht opleidingsonderdeel.

15 Uit analyse: beter ook opnemen voor extra universitair engagement

16 “Websurvey KU Leuven, Bevraging diensten voor studenten”, KU Leuven, 2017.

Overzicht:

 Persoonlijk: studierichting, geslacht, geboortejaar, verblijf (kot/thuis), thuistaal

 Engagement aan KU Leuven + motieven (wel/niet)

 Engagement buiten KU Leuven

 Bereidheid tot engagement in de toekomst

 Ervaring met dagboek en intentie gebruik van dagboek in de toekomst

 Open vraag in verband met verwachtingen van de student over competenties

meest krachtige middelen voor kwaliteitsvolle reflectie en leren zijn.¹⁷ We willen bij nagaan of studenten die reeds een dagboek bijhouden hoger scoren op een aantal items rond kritische reflectie in de voormeting. Verder bevragen we in de postmeting ook de intentie om in de toekomst een dagboek bij te houden, om na te gaan of studenten dit reflectiemiddel door hun ervaring ook in andere contexten willen toepassen. Deze vraag past niet helemaal in het kader van de bevraagde competenties die centraal staan in dit onderzoek, maar is toegevoegd vanwege de informatie die dit kan opleveren rond de praktijk van reflectie, met het oog op verder onderzoek op dit domein.

Vraag 11 bevraagt de intentie om vrijwillig engagement op te nemen in de toekomst, gezien we willen nagaan of hier een verschil optreedt na de service-learnign ervaring. De VS literatuur vindt vaak een toename van deze bereidheid bij meting na service-learning vakken.¹⁸

Vraag 12 is een open vraag. Deze dient als een soort van toetssteen om te kijken of er nog andere competenties of leerdoelen zijn die wij niet voor ogen hebben, maar waarvan de studenten wel verwachten dat die belangrijk zullen zijn of ontwikkeld worden. Gezien alle vakken als keuzevakken worden aangeboden, gaan we ervan uit dat studenten die zich inschrijven voor dit vak ook bepaalde motivaties en verwachtingen hebben.

2.2.2. Academisch leren

De service-learning literatuur heeft inmiddels bewezen dat, mits kwaliteitsvolle begeleiding en opzet van een service-learning vak, studenten een sterke transfer maken tussen theorie en praktijk, en dat ze abstracte theoretische concepten tastbaarder kunnen maken en breder kunnen toepassen.¹⁹ Gezien elk service-learnig vak andere theoretische doelstellingen beoogt, was het niet mogelijk om met dit meer generisch instrument na te gaan of de studenten de specifieke leerdoelstellingen (beter) gehaald hebben. Daarom werden een aantal algemene vragen geformuleerd die peilen naar bredere cognitieve vaardigheden. Vraag 13 is een vertaling en aanpassing van de ‘Cognitive Learning Scale’, ontworpen door Fitch en Steinke (2007).²⁰ De vragen worden specifiek gebruikt voor onderzoek naar service-learning, en vergelijken de mate waarin actieve werkvormen (die dus verder gaan dan enkel hoorcollege met leesopdrachten) bijdragen aan transfer, diep inzicht en meerdere perspectieven met de mate waarin service-learning eraan bijdraagt. In onze context willen we echter niet deze vergelijking maken (vermoedelijk hebben veel studenten nog niet echt een praktijkervaring opgedaan tijdens hun bacheloropleiding). Vandaar dat de vragen geherformuleerd

17 J.B. Mabry, “Pedagogical Variations in Service-Learning and Student Outcomes: How Time, Contact and Reflection Matter”, Michigan Journal of Community Service Learning, 1998, pp. 32-47.

18 B.E. Moely, M. McFarland, D. Miron, S. Mercer & V. Sterett, “Changes in College Students' Attitudes and Intentions for Civic Involvement as a Function of Service-Learning Experiences”, Michigan Journal of Community Service Learning, 2002, pp. 18-26.

19 Eyler & Giles (1999).

20 Deze versie van 2006 is gebaseerd op een eerder ontwerp van 2002. De inter-item correlatie (Alfa coëfficiënt) voor deze negen items is 0.86. P. Steinke, P. Fitch, C. Johnson & F. Waldstein, “An Interdisciplinary Study of Service-Learning Predictors and Outcomes Among College Students”, in A. Furco & S.H. Billig (Eds.), Advances in Service-Learning Research, Vol 2: Service-Learning Research Through a Multidisciplinary Lens, Greenwich C.T.:

Information Age, 2002, pp. 73-102; P. Fitch & P. Steinke, “Assessing Service-Learning”, Research & Practice in Assessment 2 (2007), p. 29.

Bevraagde concepten:

 Toepassen van theorie in praktijk, grondig begrip van concepten

 Systeemdenken

zijn naar algemene stellingen. We willen hier dus eerder een algemene toestand peilen en vergelijken, voor en na de service-learning ervaring.

Verder werd ook uit de literatuur van systeemdenken geput, om na te gaan of studenten door service-learning de reflectie en denkwijzen zich eigen maken die gerelateerd zijn aan systeemdenken:

oog hebben voor complexiteit, verbanden zien (met onderscheid tussen correlatie en causaliteit), de invloed van individuele keuzes op anderen en het milieu kunnen duiden, het samenbrengen van verschillende disciplinaire perspectieven,... Service-learning heeft immers betrekking op maatschappelijke kwesties, en die zijn in wezen complex en vereisen een genuanceerde, multidisciplinaire benadering. De gebruikte schaal in vraag 14 is een (selectieve) vertaling van Randle et al. (2012).²¹

2.2.3. Persoonlijk leren

In een service-learning ervaring wordt de student geconfronteerd met zichzelf in een -meestal- nieuwe context. Dit brengt met zich mee dat de student nadenkt over eigen vaardigheden, sterktes en groeipolen, en over normen, waarden, referentiekaders en levenskeuzes.

De vragen rond zelfinzicht m.b.t. eigen normen en waarden en (studie)loopbaankeuzes (vraag 15) zijn gebaseerd op de “Vragenlijst loopbaancompetenties” van Kuijpers (2003)²² en de

“Integrative Self-Knowledge Scale” van Ghorbani et al. (2008)²³. Verder werden ter aanvulling twee vragen toegevoegd die peilen naar inzicht in eigen waarden (15.2) en referentiekaders (15.3).

De vragen met betrekking tot omgaan met onzekerheid en ambiguïteit (vraag 16) peilen naar de mate waarin studenten kunnen omgaan met onzekerheid en ambiguïteit in het kader van hun opleiding. Hoewel er studies gaande zijn van de toepassing van deze ‘vaardigheid’ binnen hoger onderwijs, zijn er enkel schalen beschikbaar die een brede dispositie toetsen ten aanzien van vaagheid, onvoorspelbaarheid en ambiguïteit in dagelijkse situaties. Daarom werd een bestaande en psychometrisch geteste schaal van Mclain (2009)²⁴ gebruikt ter inspiratie, maar aangepast aan de

21 J. M. Randle & M. L. Stroink, Systems Thinking Cognitive Paradigm and its Relationship to Academic Attitudes and Achievement, (Unpublished honors thesis), Lakehead University, Thunder Bay, 2012; J. M. Randle & M. L.

Stroink, The Systems Thinking Paradigm: Can Personality Traits Predict Systems Thinking? Unpublished Manuscript, Department of Psychology, Lakehead University, Thunder Bay, Canada, 2013.

22 Vragen 15.1, 15.4, 15.7 en 15.8. M. Kuijpers (doctoraat), Vragenlijst loopbaancompetenties (items 1-4;7) Bron: M. Kuijpers, “Loopbaanontwikkeling: Onderzoek naar competenties” (PhD), Interuniversitair Centrum voor Onderwijsonderzoek, Enschede: Twente University Press, 2003; M. Kuijpers, “Vragenlijst loopbaancompetenties”, Kenniscentrum GOC, 2006. http://hrwijs.be/tool/vragenlijst-loopbaancompetenties

23 Vraag 15.6. N. Ghorbani, P. J. Watson & M. B. Hargis, “Integrative Self-Knowledge Scale: Correlations and Incremental Validity of a Cross-Cultural Measure Developed in Iran and the United States”, The Journal of Psychology 142:4 (2008), pp. 395-412.

24 D. L. McLain, “Evidence of the Properties of an Ambiguity Tolerance Measure: The Multiple Stimulus Types Ambiguity Tolerance Scale-II (MSTAT-II)”, Psychological Reports 105 (2009), pp. 975-988.

Bevraagde concepten:

 Zelfinzicht

 Met betrekking tot eigen normen en waarden

 Met betrekking op (studie)loopbaan en levenskeuzes

 Tolerantie voor en omgang met onzekerheid en ambiguïteit

context van een universiteitsopleiding. Daarnaast werd ook een vraag (vraag 17) geformuleerd op basis van de ‘schaal van Budner’ (1962)²⁵. De oorspronkelijke stelling luidt: “An expert who doesn’t come up with a definite answer probably doesn’t know too much”. Dit lijkt een goede stelling te zijn voor studenten in het kader van een disciplinegebonden opleiding.

In de literatuur komt bij persoonlijk leren vaak het aspect morele en ethische ontwikkeling aan bod. Recent onderzoek (Bernacki & Jaeger, 2008)²⁶ hiernaar in het kader van service-learning gaf geen bewijs voor leereffecten op dit domein. Gezien de moeilijkheden in het meten hiervan hebben we het aspect ‘morele en ethische ontwikkeling’ bij persoonlijk leren niet opgenomen in het instrument.

2.2.4. Sociaal-maatschappelijk leren: (wereld)burgerschapscompetenties

Deze categorie van vragen richt zich op het bredere maatschappelijke en sociale leren. Het beoogt een gepaste vertaling van het Amerikaanse ‘civic learning’²⁷ naar de Vlaamse context. Dit is niet evident, gezien veel van de vragen die in Noord-Amerikaanse vragenlijsten heel moeilijk vertaalbaar blijken naar de lokale context. Het resultaat is een samenstelling van verschillende vragenlijsten die burgerschap en wereldburgerschap meten. ²⁸ Empathie werd hieraan toegevoegd, gezien in de

25 S. Budner, “Intolerance of Ambiguity as a Personality Variable”, Journal of Personality 30:1 (1962), pp. 29-50.

26 M. L. Bernacki & E. Jaeger, “Exploring the Impact of Service-Learning on Moral Development and Moral Orientation”, Michigan Journal of Community Service Learning 14:2 (2008), pp. 5-15.

27 J. Westheimer & J. Kahne, “What Kind of Citizen? The Politics of Educating for Democracy”, American Educational Research Journal 41:2 (2004) pp. 237–269.

28 “Burgerschap Meten, Handleiding Voorgezet Onderwijs, versie 1.2”, Rovict BV/Universiteit van Amsterdam, 2014. https://www.burgerschapmeten.nl/Handleidingen/Handleiding_VO.pdf ; G. Ledoux, J. Meijer, I. van der

Bevraagde concepten:

 Democratische ingesteldheid en vaardigheden

 Attitude

 Dialoog

 Kritische bijdrage leveren

 Reflectie

 Maatschappelijk verantwoord handelen, gevoel voor sociale rechtvaardigheid en solidariteit

 Attitude

o Sociale rechtvaardigheid o Bereidheid tot solidariteit

 Reflectie

 Diversiteit

 Attitude

 Reflectie

 Gedrag

 Empathie

meeste literatuur empathie wordt genoemd als een ingesteldheid die toeneemt door de ontmoeting met wie of wat ‘anders’ is.²⁹

Bij het aspect democratische attitude (vraag 18) wordt ‘een kritische bijdrage leveren’ en

‘democratische dialoog aangaan’³⁰ onderscheiden. Democratische reflectie (vraag 19) peilt in welke mate studenten bezig zijn met democratische principes (op reflectief niveau). De vragen zijn gebaseerd op “Burgerschap Meten” (2014), maar zijn allemaal vertaald naar de universitaire context.

De vragen rond maatschappelijke verantwoordelijkheid, sociaal rechtvaardigheidsgevoel en bereidheid tot solidariteit vertrekken vanuit de schaal ‘maatschappelijk verantwoord handelen’

zoals verwoord in het instrument “Burgerschap Meten”. Maatschappelijk verantwoord handelen wordt beschreven als ‘medeverantwoordelijkheid nemen voor de leefgemeenschappen waartoe men behoort’. Voor de component attitude betekent dit: ‘wil zich sociaal rechtvaardig opstellen, is bereid tot zorg en hulp, wil de ander en het milieu niet schaden door eigen gedrag’. Voor de component reflectie betekent dit: ‘denkt na over belangentegenstellingen, sociale cohesie, sociale processen (in- en uitsluiting) en eigen bijdrage aan sociale rechtvaardigheid.’ Deze concepten leken ons geschikt om te bevragen, maar de concrete vragen in het instrument leken echter weinig relevant te zijn voor universiteitsstudenten, gezien de schaal is opgesteld voor scholieren. Daarom werd voor de opstelling van de vragenbatterij geput uit verschillende bestaande (burgerschaps)instrumenten, en werden hiernaast nog eigen toevoegingen gedaan. Bovendien werd ‘bereidheid tot solidariteit’ niet expliciet vermeld in de instrumenten, en werd hier dus nog een aantal vragen toegevoegd.

‘Bereidheid tot solidariteit’ wordt gedefinieerd als de bereidheid om solidair te zijn, niet enkel met diegenen die men concreet ontmoet of kent, maar ook met (verre of toekomstige) onbekenden.³¹ De schalen waaruit geput werd zijn: “Burgerschap Meten”³², “Assessing Global Learning” (Musil, 2016)

Veen, & I. Breetvelt, m.m.v. G. ten Dam, M. Volman, “Meetinstrumenten voor sociale competenties, metacognitie en advanced skills: Een inventarisatie”, Amsterdam: Kohnstamm Instituut, 2013; G. ten Dam, F. Geijsel, R.

Reumerman & G. Ledoux, “Burgerschapscompetenties: de ontwikkeling van een meetinstrument”, Pedagogische Studieën 87:5 (2010), pp.313-333; M. Hooghe, N. Havermans, F. Quintelier & R. Dassoneville,

“Belgian Political Panel Survey (BPPS), 2006-2011 Technical Report”, Leuven: KU Leuven, 2011; “European Social Survey, Vlaamse Hoofdvragenlijst (ESS ronde 7)”, 31 maart 2014.

http://www.europeansocialsurvey.org/docs/round7/fieldwork/belgium/dutch/ESS7_questionnaires_and_c ontact_form_BE_dut.pdf ; C. Flanagan, A. Syvertsen & M. D. Stout, Civic Measurement Models: Tapping Adolescents’ Civic Engagement (CIRCLE Working Paper 55), The Pennsylvania State University, 2007; M. C.

Musil, Assessing Global Learning: Matching Good Intentions with Good Practice, Washington DC: AACU, 2016.

29 Vragenlijst gebaseerd op: N. R. Spreng, M. C. McKinnon, R. A. Mar & B. Levine, “The Toronto Empathy Questionnaire: Scale Development and Initial Validation of a Factor-Analytic Solution to Multiple Empathy Measures”, Journal of Personality Assessment 91:1 (2009), pp. 62-71.

30 Onder ‘kritische bijdrage’ vallen vraag 18.1, 18.3, 18.4, 18.5, 18.6. Onder ‘democratische dialoog aangaan’

vallen vragen 18.2, 18.7 en 18.8.

31 Sheffield, 2005.

32 Gebaseerd op “Burgerschap Meten”: 20.8, 21.4..

33, Belgian Political Panel Survey” (2006-2011)³⁴ en de “Civic Attitudes and Skills Questionnaire”

(2002)³⁵. Daarnaast zijn er enkele eigen toevoegingen.³⁶

Gezien in service-learning de ontmoeting met ‘diverse anderen’ vaak centraal staat, is een van de vormingsdoelen ook het leren omgaan met, en appreciëren van diversiteit in de samenleving. Er werden in dit geval niet enkel vragen geformuleerd rond attitude en reflectie, maar ook rond gedrag.

De toevoeging van een vragenbatterij rond gedrag is eerder opgevat als een soort ‘controle’ of nuancering op attitude en reflectie. De vragen rond gedrag peilen naar een pro-actieve openheid ten aanzien van diversiteit. De vragen zijn gebaseerd op “Burgerschap Meten”³⁷ (maar aangepast aan een universitaire context), met een aantal eigen toevoegingen.³⁸

Tenslotte werd ook nog naar empathie gepeild. Kunnen we meten of studenten door hun ervaring meer empathisch worden? In het service-learning onderzoek wordt hiervoor een recente variant op de “Toronto Empathy Questionnaire” (TEQ, 2009)³⁹ gebruikt.⁴⁰ Vraag 25 bevat vertaalde vragen van een selectie van de service-learning TEQ variant.

2.2.5. Groeivragen toegevoegd aan de post-test

Aan de post-test werd naast de bovenstaande vragen nog een extra vraag toegevoegd die peilt naar de zelfperceptie van studenten op het vlak van leerervaringen in de drie domeinen. Op deze manier wilden we ook nakijken of hun perceptie van wat ze geleerd hebben overeenkomt met de resultaten uit de pre- en posttest. Over de onderstaande 8 items werd gevraagd of ze deze in het vak ‘helemaal niet’, ‘niet echt’, ‘neutraal’, ‘een beetje’ of ‘heel veel’ geleerd hadden.

1. Leren samenwerken met personen met een andere achtergrond 2. Inzicht in mijzelf als persoon

3. Toepassing van theoretische concepten in de praktijk 4. Inzicht in mijn latere beroepskeuze

5. Eigen assumpties en vooroordelen in vraag stellen

6. Mij inleven in de situatie en het perspectief van een ander 7. Leren omgaan met onzekerheid

8. Kritisch nadenken over complexe maatschappelijke kwesties

33 Vragen 20.1, 20.7, 21.5. M. C. Musil, Assessing Global Learning: Matching Good Intentions with Good Practice, Washington DC: AACU, 2016. Het instrument is het resultaat van een samenwerking tussen 11 verschillende hoger onderwijsinstellingen, maar is niet gevalideerd in verder onderzoek.

34 Vragen 20.2, 20.4. “Belgian Political Panel Survey (BPPS), 2006-2011 Technical Report”, Leuven: KU Leuven, 2011.

35 Vraag 20.9. The Civic Attitudes and Skills Questionnaire, toegepast in service-learning onderzoek. Zie: B.

Moely, S. H. Mercer, V. Ilustre, D. Miron & M. McFarland, “Psychometric Properties and Correlates of the Civic Attitudes and Skills Questionnaire (CASQ): A Measure of Students’Attitudes Related to Service-Learning”, Michigan Journal of Community Service Learning 8 (2002), pp. 15-26.

36 Eigen toevoeging: 20.1, 20.5., 20.6, 21.1., 21.2, 21.3, 21.6.

37 Gebaseerd op “Burgerschap Meten”: 22.4, 23.1, 23.2, 23.3, 23.4, 23.5.

38 Eigen toevoegingen: 22.1, 22. 2, 22.3, 22.5, 23.6, 24.1, 24.2, 24.3, 24.4, 24.5.

39 N. R. Spreng, M. C. McKinnon, R. A. Mar & B. Levine, “The Toronto Empathy Questionnaire: Scale Development and Initial Validation of a Factor-Analytic Solution to Multiple Empathy Measures”, Journal of Personality Assessment 91:1 (2009), pp. 62-71.

40 De TEQ test echter voornamelijk een gevoel of aanleg, maar minder een cognitieve capaciteit om zich in de plaats van de ander te stellen. We kunnen ons dus de vraag stellen of dit soort van reacties of gevoelens kan veranderd worden door service-learning.

2.3. Dataverzameling

De respondenten die we voor ogen hebben met dit onderzoek zijn alle studenten die een service- learning vak volgen. De privacy wetgeving verleent ons als service-learning team echter geen directe toegang tot de contactadressen van deze studenten. Om de studenten te bereiken, werd aan de docenten van de vakken in kwestie gevraagd om de survey af te nemen bij hun studenten. De projectcoördinator service-learning heeft de docenten aangeschreven met het verzoek om de surveys pre- en post te laten invullen door de studenten van hun vak. De surveys zijn opgesteld in een word document en zijn door de meeste studenten schriftelijk ingevuld. Bij één vak hebben de studenten de enquête rechtstreeks in het word document ingevuld. De opvolging was geslaagd, en de respons was daardoor relatief hoog. Voor de groep van studenten die in het tweede semester een vak volgden, werden de enquêtes in september afgenomen. De resultaten die hier opgenomen zijn komen enkel uit de eerste onderzoekcyclus (data verzameld tussen november 2017 en oktober 2018.

De deelnemende studenten kwamen uit vier vakken die op dat moment proef liepen.

We ontvingen 66 surveys, waarvan 41 studenten voor de pre-test en 25 voor de posttest. Er was dus een bereik van 58.48% voor de pre- als postsurvey. De verdeling van de vakken en deelname aan pre- en posttest wordt hieronder weergegeven.

Vak Enquêtes ingevuld Deelnemers vak Bereikt percentage

Psychologie pre 14 20 70

Psychologie post 8 20 40

Sinologie pre 4 6 66.6

Sinologie post 5 6 83.3

Farmacie pre 4 8 50

Farmacie post 4 8 50

Criminologie/theologie

pre 9 12 75

Criminologie/theologie

post 8 12 66.6

Geschiedenis pre 10 12 83.3

Geschiedenis post 0 12 0

58.48

2.4. Betrouwbaarheidsanalyse op basis van de vragenlijst en analyse pre- en posttest⁴¹ Op basis van de visie en doelstellingen van het pilootproject service-learning en literatuuronderzoek werden meerdere schalen ontwikkeld voor de drie ‘domeinen van leren’ in service-learning:

academische leren, leren op persoonlijk vlak en sociaal-maatschappelijk leren. Het doel is om aan de hand van de schalen de groei te meten in deze domeinen die optreedt door het service-learning vak.

Voor het eerste domein (academisch) werden schalen ontwikkeld die systeemdenken en de toepassing van theorie in de praktijk meten. Voor het tweede domein (persoonlijk) werden persoonlijke vaardigheden gemeten: omgaan met onzekerheid en zelf-inzicht in het algemeen en m.bt. het professionele leven in het bijzonder. Voor de derde pijler (sociaal-maatschappelijk) werden sociaal-maatschappelijke aspecten gemeten: democratische attitude, sociale rechtvaardigheid en solidariteit, maatschappelijke verantwoordelijkheid, attitude ten aanzien van diversiteit en empathie.

Op basis van betrouwbaarheidsanalyses en principale componentenanalyses werd op zoek gegaan naar betrouwbare schalen met een zo beperkt mogelijk aantal items. De betrouwbaarheidsanalyses zijn gebaseerd op de Cronbach’s Alpha. Deze betrouwbaarheidscoëfficient geeft weer in welke mate de items van een schaal intern samenhangen, waarbij waarden hoger dan 0,70 wijzen op een voldoende hoge interne consistentie van de schaal. Op basis van deze analyses kunnen dan items behouden worden die in nieuwe bevragingen verder gebruikt kunnen worden. Items die niet positief bijdragen tot de betrouwbaarheid van een schaal kunnen op deze manier in een volgende bevraging achterwege gelaten worden, waardoor nieuwe respondenten een vragenlijst kunnen invullen die korter is dan de oorspronkelijke uitgewerkte vragenlijst. In tabel 2 staan de resultaten van betrouwbaarheidsanalyses op basis van de voormeting, de nameting en beide metingen tezamen.

Meer dan de helft van de studenten die het vak service-learning hebben gevolgd, vulden de vragenlijst in zowel bij aanvang van het vak (voormeting) als na het vak (nameting). De betrouwbaarheidsanalyses van de voormeting leverden nagenoeg dezelfde resultaten op als de betrouwbaarheidsanalyses van de nameting. De analyses toonden aan dat voor een aantal schalen een (groot) aantal items verwijderd kon worden, bv. voor empathie en systeemdenken. Voor enkele schalen bleek een samenvoeging van de oorspronkelijke schalen een betere oplossing te zijn: voor democratische attitude (kritische bijdrage en dialoog) en voor sociale rechtvaardigheid en solidariteit.

In tabel 1 worden de uiteindelijke schalen gepresenteerd met hun betrouwbaarheidscoëfficiënt o.b.v.

de voor- en nametingen tezamen (voor de gedetailleerde vragen, zie ook appendix 6.3). De meeste schalen hebben een betrouwbaarheidscoëfficiënt hoger dan .700 en zijn dus betrouwbaar. Enkel voor zelf-inzicht m.b.t. het professionele leven werd een lagere betrouwbaarheidscoëfficiënt gevonden: .680.

Tabel 1. Schalen en betrouwbaarheid

41 De analyses werden uitgevoerd door Heidi Knipprath, HIVA KU Leuven.

Schaal Aantal items Betrouwbaarheidscoëfficiënt

Toepassing en begrip theorie 8 .793

Systeemdenken 7 .730

Zelf-inzicht werk 3 .680

Zelf-inzicht 3 .732

Onzekerheid 5 .744

Democratische attitude: kritische bijdrage en dialoog 6 .716

Democratische attitude: reflectie 5 .710

Sociale rechtvaardigheid en solidariteit 6 .820

Tabel 2. Betrouwbaarheid (oorspronkelijke) schalen

Naam schaal Voormeting

(N≥39) Nameting

(N≥24) Voor- en nameting (N≥61) Aantal

items Cronbach’s

Alpha Aantal

items Cronbach’s

Alpha Aantal

items Cronbach’s Alpha

Toepassing en begrip theorie 8 .670 8 .822 8 .739

Systeemdenken 13 .534 13 .680 13 .599

Systeemdenken RC 7 .726 7 .745 7 .730

Zelf-inzicht werk 4 .588 4 .621 4 .617

Zelf-inzicht werk RC 3 .524 3 .803 3 .680

Zelf-inzicht 4 .717 4 .633 4 .696

Zelf-inzicht RC 3 .752 3 .646 3 .732

Onzekerheid 5 .750 5 .720 5 .744

Democratische attitude: kritische

bijdrage 4 .473 4 .606 4 .522

Democratische attitude: dialoog 4 .603 4 .635 4 .603

Democratische attitude: kritische

bijdrage en dialoog 8 .614 8 .754 8 .671

Democratische attitude: kritische

bijdrage en dialoog RC 6 .675 6 .774 6 .716

Democratische attitude: reflectie 5 .610 5 .819 5 .710

Sociale rechtvaardigheid 6 .787 6 .751 6 .773

Sociale rechtvaardigheid RC 5 .803 5 .758 5 .784

Solidariteit 4 .358 4 .658 4 .492

Sociale rechtvaardigheid en

solidariteit 8 .758 8 .818 8 .781

Sociale rechtvaardigheid en

solidariteit RC 6 .816 6 .830 6 .820

Maatschappij: reflectie 6 .812 6 .787 6 .804

Diversiteit: interesse 5 .892 5 .855 5 .867

Diversiteit: interesse RC 3 .886 3 .908 3 .893

Diversiteit: reflectie 6 .762 6 .754 6 .772

Diversiteit: gedrag 5 .681 5 .853 5 .759

Diversiteit: gedrag RC 3 .758 3 .861 3 .800

Empathie 16 .824 16 .869 16 .841

Empathie RC 8 .847 8 .859 8 .850

Noot: RC = gereduceerde schaal

Op basis van factoranalyse werden vervolgens factorscores berekend voor de schalen. Op die manier kan op een efficiënte wijze nagegaan worden of er verschillen zijn tussen de voor- en nametingen, zonder naar elk item afzonderlijk te kijken. In tabel 3 worden de gemiddelde scores voor de verschillende schalen weergegeven tijdens de voor- en nameting. Er wordt ook weergegeven of de verschillen tussen voor- en nameting statistisch significant zijn.

Voor 8 van de 13 schalen werd een positieve ontwikkeling of een hogere score op de nameting dan op de voormeting vastgesteld. Voor vijf van de 13 schalen werd een daling vastgesteld. Met name voor ‘toepassing en begrip van theorie’, ‘diversiteit – reflectie’ en zelf-inzicht m.b.t. het professionele leven is het verschil relatief groot. Het inzicht in de theorie en de link daarvan met de praktijk lijkt toegenomen te zijn, terwijl studenten minder zelfzeker lijken te zijn over het eigen professionele leven en hun reflecteren over diversiteit. Echter, de verschillen zijn statistisch niet significant. Er zijn diverse verklaringen mogelijk voor het gebrek aan statistisch significante verschillen. Zo is de steekproef van studenten die zowel de voor- als nameting hebben ingevuld erg klein. Slechts 25

Maatschappelijke verantwoordelijkheid: reflectie 5 .804

Diversiteit: interesse 3 .893

Diversiteit: gedrag 3 .800

Diversiteit: reflectie 6 .772

Empathie 8 .850

studenten hebben na het eerste jaar van het pilootproject service-learning een vragenlijst ingevuld zowel voor als na het vak service-learning. Daarnaast was de periode tussen voor- en nameting relatief kort en is het mogelijk dat studenten een verandering ervaren die niet groot genoeg is over de tijdspanne heen om met een 5-punt Likertschaal op te vangen. Bovendien konden de meeste studenten vrijwillig voor het vak service-learning kiezen en hebben zij mogelijk een ander profiel dan studenten die niet voor het vak kiezen. Mogelijk scoren studenten die het vak service-learning hebben gekozen reeds bij aanvang hoger op de schalen dan studenten die niet voor het vak service- learning kiezen, waardoor een groei vanuit hun startpositie minder snel waarneembaar is.

Tabel 3. Verschillen tussen voor- en nameting per schaal

Voormeting Nameting N p-waarde

Toepassing en begrip theorie -0,091 0,390 28 0,289

Systeemdenken -0,350 -0,244 26 0,817

Zelf-inzicht werk 0,153 -0,170 27 0,467

Zelf-inzicht 0,004 -0,191 28 0,636

Onzekerheid -0,161 -0,392 27 0,607

Democratische attitude - kritisch & dialoog 0,454 0,262 26 0,661

Democratische attitude - reflectie -0,362 -0,309 27 0,907

Sociale rechtvaardigheid & solidariteit -0,094 -0,059 27 0,939

Maatschappelijke verantwoordelijkheid -0,045 -0,104 28 0,897

Diversiteit – interesse -0,024 0,162 27 0,653

Diversiteit – reflective -0,043 -0,478 27 0,325

Diversiteit – gedrag -0,192 0,122 28 0,502

Empathie 0,166 0,254 27 0,859

Omdat we opmerkten dat dezelfde studenten (helemaal) akkoord gingen met stellingen over positieve veranderingen n.a.v. het vak service-learning (ook al werd geen significant verschil tussen hun voor- en nameting vastgesteld), werd besloten om bij volgende vragenlijsten te werken met groeivragen waarbij expliciet gepeild wordt naar zelf-gepercipieerde verandering op de drie domeinen (academisch, persoonlijk en sociaal-maatschappelijk). Opnieuw werden schalen geconstrueerd met verschillende stellingen per schaal en nagegaan welke schalen betrouwbaar zijn en welke items verwijderd kunnen of moeten worden. In tabel 5 staan de resultaten van de betrouwbaarheidsanalyses van de oorspronkelijke schalen voor groeivragen en de gereduceerde schalen. In tabel 4 worden de items van de finale schalen gepresenteerd⁴².

De meeste groeischalen hebben een betrouwbaarheidscoëfficiënt hoger dan .700. Echter, enkele groeischalen voor sociaal-maatschappelijk leren lijken minder betrouwbaar te zijn: democratische attitude en sociale rechtvaardigheid. De lage score voor de betrouwbaarheidscoëfficiënt van deze schalen kan mogelijk verklaard worden door het kleine aantal respondenten (maximum 12). Een nieuwe analyse op basis van de antwoorden van een grotere groep respondenten kan tot gunstigere resultaten leiden. Wanneer we echter naar de inhoud van de items kijken van de schalen voor sociaal- maatschappelijk leren, dan stellen we vast dat de items voor democratische attitude, sociale rechtvaardigheid en maatschappelijke verantwoordelijkheid dicht bij elkaar liggen. Daarom werd een bijkomende principale componentenanalyse uitgevoerd waarbij de items voor deze drie schalen samen werden gevoegd om op zoek te gaan naar nieuwe patronen. De resultaten van deze analyse staan in tabel 6.

Tabel 4. Groeischalen, items en betrouwbaarheid

42 De respondenten kregen zes antwoordmogelijkheden per stelling m.b.t. de groeischalen: vijf antwoordmogelijkheden die gaan van ‘helemaal niet akkoord’ tot ‘helemaal akkoord’ en een zesde antwoordmogelijkheid ‘n.v.t., ik kon dit reeds voor het vak service-learning’. Respondenten die het laatste antwoord kozen werden geweerd uit de betrouwbaarheidsanalyses.

Naam schaal Aantal

items Betrouwbaarheidscoëfficiënt

Toepassing en begrip theorie 5 .706

Systeemdenken 3 .908

Zelf-inzicht werk 3 .874

Zelf-inzicht zelf 3 .821

Onzekerheid 4 .552⁴³

Democratische attitude 3 .262

Maatschappelijke verantwoordelijkheid: reflectie 5 .810

Sociale rechtvaardigheid en solidariteit 3 .563

Diversiteit 4 .707

Empathie 5 .875

Tabel 5. Betrouwbaarheid groeischalen (N=8 tot 12)

Naam schaal Aantal items Cronbach’s Alpha

Toepassing en begrip theorie 5 .614

Toepassing en begrip theorie RC 4 .706

Systeemdenken 3 .908

Zelfinzicht werk 3 .874

Zelfinzicht zelf 5 .734

Zelfinzicht zelf RC 3 .821

Onzekerheid 4 .552

Onzekerheid RC 2 .721

Democratisch: attitude 3 .262

Maatschappij: reflective 5 .810

Sociale rechtvaardigheid en solidariteit 4 .439

Sociale rechtvaardigheid en solidariteit RC 3 .563

Diversiteit: reflectie + attitude 5 .635

Diversiteit: reflectie + attitude RC 4 .707

Empathie 5 .875

Noot: RC = gereduceerde schaal

In tabel 6 worden de ‘factor loadings’ vermeld van de verschillende items op latente componenten.

Factor loadings hoger dan .500 of lager dan -.500 laden sterk op een component. Het eerste component lijkt met name sociale rechtvaardigheid en maatschappelijke verantwoordelijkheid te meten: het nadenken over sociale rechtvaardigheid en de relevantie ervaren van het zich inzetten voor kwetsbare groepen. Het tweede component lijkt met name dialoog en het luisteren naar anderen en andere groepen in de samenleving te meten. In een betrouwbaarheidsanalyses werden met de items uit de eerste twee componenten verder gewerkt om te komen tot nieuwe schalen. De resultaten staan in tabel 7. Uit de analyse komt een sterk betrouwbare schaal naar voren voor solidariteit en maatschappelijke verantwoordelijkheid. De betrouwbaarheid van de schaal ‘dialoog’

ligt nog te laag. In een vervolgonderzoek zou de betrouwbaarheid verbeterd kunnen worden door deze schaal uit te breiden met een tweetal items. Mogelijk neemt de betrouwbaarheid ook toe wanneer een grotere groep respondenten wordt bevraagd.

43 Wanneer de twee laatste items uit de schaal verwijderd worden, is Cronbach’s alpha .721.