Of een burgerschapsaanbod van een externe partij kwaliteit heeft, hangt van verschil-lende factoren af. Zoals iedere onderwijssituatie, hangt veel af van degene die het onderwijs geeft. Maar tegenwoordig laten steeds meer aanbieders hun aanbod ook onderzoeken, om te laten zien dat het programma de ontwikkeling van burgerschaps-competenties van leerlingen stimuleert. In de volgende secties houden we de termen die aanbieders gebruiken kritisch tegen het licht, om het kaf van het koren te scheiden.
Wat levert het op voor leerlingen?
De ultieme vraag die bepaalt of een extern aanbod kwaliteit heeft, is of het wat ople-vert voor leerlingen. Aanbieders verschillen in dat opzicht in hun ambities. Sommigen claimen leerlingen alleen een ervaring te bieden. Andere aanbieders beogen leerlingen specifieke kennis, inzicht, vaardigheid of een houding bij te brengen. Het is altijd prettig wanneer er voldoende informatie is om zelf te kunnen oordelen over een pro-gramma. Daarbij is het handig als aanbieders niet alleen de idealen die ze nastreven benoemen, maar ook hoe ze die idealen concreet denken te realiseren.
184 Handboek Burgerschapsonderwijs
Een fictief voorbeeld: Be The Change
Be The Change streeft een samenleving zonder vooroordelen na. We richten ons op leerlingen, om zo vooroordelen tussen groepen te bestrijden. Dat doen we door leerlingen uit verschillende groepen gedurende een dag met elkaar in contact te brengen, en ze met elkaar in gesprek te laten gaan aan de hand van actuele thema’s. Daarnaast hangen deelnemende scholen een vlag met daarop het woord ‘respect’ op, om te laten zien dat respect voor elkaar belangrijk is.
Analyse
Deze aanbieder is duidelijk over haar ideaal en de werkwijze. Be The Change wil meer dan een ervaring bieden, maar een houding veranderen (een
onbevooroordeelde houding bevorderen) en wellicht kennis bijbrengen. De activiteiten zijn ook duidelijk, zij het wat algemeen beschreven. Maar de vraag waarom deze activiteiten tot minder vooroordelen zouden moeten leiden wordt niet toegelicht. We weten uit onderzoek dat contact tussen leerlingen uit verschillende groepen vooroordelen kan doen verminderen, maar ook kan vergroten. Dat hangt mede af van de omstandigheden waarin de contacten plaatsvinden. De aanbieder zou dus explicieter moeten zijn over de verandertheorie. Wat ook ontbreekt, is informatie of het programma werkt.
Wanneer aanbieders uitspraken doen over wat ze beogen, en welke aspecten van burgerschap ontwikkeld worden door hun programma, zien we verschillende catego-rieën.
Een ervaring
Ten eerste kunnen aanbieders een ervaring aanbieden. Zoals een simulatie, waarin je ervaart hoe het is om deel te nemen aan een top van de Verenigde Naties, zoals Model United Nations. Of hoe het voelt om gediscrimineerd te worden, aan de hand van een film. Leerlingen kunnen een ervaring gebruiken om een nieuwe rol uit te proberen of te onderzoeken of ze ergens talent voor hebben. In algemene zin geldt dat een ervaring an sich niet genoeg is om duurzame burgerschapsontwikkeling te stimuleren. Zo laat onderzoek zien dat maatschappelijke stages tot meer ontwikkeling leiden wanneer leerlingen er structureel en hoogwaardig op reflecteren87. Dan kun je als leerling zelfs van de ervaring van iemand anders leren. U kunt natuurlijk ook zonder de externe aan-bieder voortborduren op de ervaring die leerlingen hebben opgedaan, om het geleerde te verdiepen en te verduurzamen.
De kwaliteit van externe aanbieders beoordelen 185
Het ontwikkelen van burgerschapscompetenties
Een programma kan een ervaring bieden, maar ook als doel hebben om de ontwikke-ling van burgerschapskennis, -inzicht, of -vaardigheid te stimuleren. Of een competen-tie – een combinacompeten-tie van kennis, vaardigheid en houdingen, zoals om kunnen gaan met verschillen tussen mensen. Wanneer een programma zulke expliciete leerdoelen formuleert, wordt het interessant. Dan kunt u namelijk bepalen of deze leerdoelen goed passen bij de leerdoelen die u als school heeft geformuleerd. En kunnen we de aanbieder vragen om uit te leggen waarom het programma zou werken.
Door wie wordt het gegeven?
Of een programma werkt, hangt niet alleen van het programma zelf af. Het is net zo goed van belang wie het geeft. We weten immers dat in het onderwijs docenten het grootste verschil maken. Dat geldt ook voor burgerschapsonderwijs. Daarom is het zaak om een beeld te krijgen wie het programma geeft. Sommige aanbieders zijn daar heel expliciet in en beschrijven welke ervaring de begeleiders en docenten hebben, welke opleiding, en of ze trainingen volgen voordat ze het programma mogen geven.
Net zo waardevol zijn oordelen en ervaringen van deelnemende scholen – zowel van leerlingen als van docenten.
Afhankelijk van de doelen en de thema’s die behandeld worden, kun je specifieke vragen stellen over de vaardigheden van programmabegeleiders en -docenten. Als het programma over een gevoelig of controversieel onderwerp gaat, kun je bijvoorbeeld vragen of de docent in staat is om een veilige sfeer te creëren, of goed om kan gaan met leerlingen die (te) dominant aanwezig zijn. Als aanbieders expliciet zijn over wat het programma van leerlingen vraagt, kunt u daar als docent op anticiperen door het programma met de klas voor te bereiden.
Hoe weten we wat het oplevert?
Externe aanbieders hebben alleen bestaansrecht wanneer hun aanbod iets oplevert.
Dat is nog sterker het geval wanneer dat niet binnen de school te realiseren is, om welke reden dan ook. Toch zijn veel aanbieders nog niet zo duidelijk over de vraag waarom hun aanbod iets zou opleveren. Als u wilt beoordelen wat deelname aan een programma oplevert, kunt u naar drie verschillende typen onderbouwing vragen. Elk type onderbouwing heeft voor- en nadelen. Die behandelen we hieronder.
Op ervaringen gebaseerd
Hoe weten we of een programma werkt? De meeste mensen zijn geneigd om daarvoor eerst te kijken naar hun ervaringen. Wat hebben de leerlingen gezegd en gedaan? Is hun houding of gedrag veranderd, of hebben ze een nieuw inzicht opgedaan? Staan ze op een andere manier in de wereld? Dat soort ervaringen vormt een goede eerste indi-catie of een programma werkt of niet.
186 Handboek Burgerschapsonderwijs
Toch kent deze vorm van onderbouwing ook nadelen. Het is namelijk een weinig systematische manier van onderbouwen. En hoewel een ervaring vaak overtuigend kan zijn, kan schijn bedriegen. Zo kan het bijvoorbeeld zijn dat een leerling al lang iets kon, maar dat pas toonde toen hij of zij de kans kreeg in dit programma. Of dat de sfeer heel prettig is, en leerlingen zich bijvoorbeeld begripvol opstellen, maar dat er niets wordt geleerd. En als er iets geleerd wordt, is het altijd maar de vraag of het geleerde beklijft. Daarom zijn ervaringen weliswaar informatief, maar geen definitieve onderbouwing van de werking van een programma.
Evidence-informed
De onderbouwing van een programma kan ook op wetenschappelijke inzichten berus-ten. Over werkzame mechanismen bijvoorbeeld. Die bespraken we al in hoofdstuk 7.
Sommige programma’s baseren zich ook op theorieën, zoals de zelfdeterminatietheorie of de contacttheorie. Dat zijn theorieën die empirisch onderzocht zijn. Een programma dat alleen evidence-informed is, is zelf niet onderzocht.
Het is altijd verstandig om kritisch te kijken naar de verandertheorie die program-ma’s hanteren. De verandertheorie beschrijft waarom de activiteiten van het pro-gramma tot de ontwikkeling van burgerschap zou leiden. Een sterke onderliggende theorie is ten slotte geen garantie voor succes wanneer de uitvoering van onvoldoende kwaliteit is.
Evidence-based
Wanneer een aanbieder een programma uitgebreid heeft laten onderzoeken, spreken we van een evidence-based programma. Vaak gebeurt dat via kwantitatief wetenschap-pelijk onderzoek. Zulk onderzoek kent ook beperkingen: het toont niet per se aan waarom of hoe het programma werkt. Dat is juist een kracht van meer kwalitatief en experimenteel onderzoek.
In de praktijk kunnen programma’s zich baseren op een combinatie van ervaringen, een evidence-informed verandertheorie, en evidence-based onderzoek.
Vragen en valkuilen bij ‘bewezen effectief’
Als een programma claimt bewezen effectief te zijn, klinkt dat vertrouwenwekkend.
Blijkbaar is het programma uitgebreid onderzocht en werkt het. Zo simpel is het echter niet. Zo is er een burgerschapsprogramma (dat we hier niet bij naam zullen noemen) dat zegt ‘bewezen effectief’ te zijn, maar slechts uit een korte activiteit en een eindpre-sentatie bestaat. Kunnen we dan zo snel klaar zijn, met dat hele burgerschapsonder-wijs? Waarschijnlijk niet. Daarom zetten we hier een aantal vragen en valkuilen op een rij. Ziet u een aanbieder roepen dat het programma effectief is? Dan kunt u hiermee achterhalen wat ze precies bedoelen.
De kwaliteit van externe aanbieders beoordelen 187
Bewezen effectief – voor wie en welke ontwikkelingsfase?
De eerste vraag die u kunt stellen is voor welke doelgroep de effectiviteit is onderzocht.
De gemiddelde leerling bestaat immers niet. Soms werkt een programma alleen voor basisschoolleerlingen, of wel voor vwo’ers maar niet voor vmbo’ers. Het maakt ook uit of leerlingen zich machteloos voelen of juist bijzonder mondig zijn. Iedere doelgroep heeft kenmerkende eigenschappen, zoals
• Onderwijstype (van speciaal onderwijs tot en met gymnasium)
• Ontwikkelingsfase (van jonge kinderen tot en met adolescenten)
• Culturele achtergrond
• Sociaaleconomische achtergrond
Natuurlijk zitten er vaak leerlingen uit meerdere groepen in dezelfde klas. Toch zijn er ook verschillende gemene delers, die voor de gehele of het grootste deel van de groep gelden. Zoals veel docenten doen, is het verstandig om je af te vragen of het programma goed past.
Vragen die u aan aanbieders kunt stellen:
• Voor welke doelgroep(en) is de effectiviteit van het programma onderzocht en/of bewezen?
• Is de effectiviteit van het programma ook onderzocht voor [ons type]
leerlingen?
Bewezen effectief – voor hoe lang?
Bewezen effectief betekent niet dat een programma duurzaam zoden aan de dijk zet.
Wetenschappelijk onderzoek toont aan dat kortdurende activiteiten en programma’s zelden tot duurzame leerresultaten leiden. Mocht u gebruik maken van externe aan-bieders of locaties, dan is het zinnig om zulke activiteiten in te bedden in het curricu-lum. Veruit de meeste programma’s hebben hun effectiviteit slechts over beperkte tijd inzichtelijk gemaakt.
Vragen die u aan aanbieders kunt stellen:
• Leidt het programma ook tot duurzame resultaten?
• Hoe lang beklijven de opgedane kennis, vaardigheden of houdingen?
188 Handboek Burgerschapsonderwijs
Bewezen effectief – maar hoe groot is het effect?
Een programma kan langdurig bewezen effectief zijn voor een scala aan doelgroepen, maar toch nauwelijks resultaten opleveren. Hoe zit dat? Bij effectiviteitsstudies speuren wetenschappers naar de effecten van een programma. Daar gebruiken ze sta-tistische analyses voor. Zulke analyses hebben meer kracht wanneer het onderzoek grotere aantallen leerlingen omvat. Met grote aantallen kan ook een miniem effect worden opgemerkt, dat anders als ruis was aangemerkt.
Kortom, dat een effect statistisch significant is, wil nog niets zeggen over de grootte van het effect. De wetenschappelijke aanduiding voor dat laatste is effectgrootte. Die wordt gemeten op een schaal van 0 tot 1 (en 0 tot -1, als het om negatieve effecten gaat). Sommige wetenschappers, zoals John Hattie, stellen dat een bepaalde aanpak pas vanaf een effectgrootte van 0,4 de moeite waard is. Zo simpel is het niet, want of iets de moeite waard is hangt natuurlijk ook af van de vraag hoeveel moeite en tijd iets kost. Als een programma van een dag bijvoorbeeld een effectgrootte van 0,2 bereikt, is dat uitzonderlijk veel voor een dag – en ook de moeite waard, omdat de moeite vrij beperkt is.
Vragen die u aan aanbieders kunt stellen:
• U zegt dat uw programma bewezen effectief is. Hoe staat het met de grootte van de effecten?
• Uw programma kost tijd. Levert het programma meer leerwinst op dan programma’s of activiteiten van vergelijkbare omvang?
Bewezen effectief – in welke context?
Veel onderwijsonderzoek simplificeert de praktijk. Als docent weet u dat er veel facto-ren van invloed zijn op het onderwijs dat u geeft. De verwachtingen van ouders, de groepsdynamiek, de kennis en denkbeelden die leerlingen van huis uit meekrijgen, hoeveel tijd u van uw schoolleiding krijgt om het onderwijs te ontwikkelen, uw eigen vaardigheden… en zo zijn er tientallen factoren te benoemen.
Kwantitatief onderwijsonderzoek probeert die complexiteit het hoofd te bieden door te controleren op zulke factoren. Om zo de verschillende invloeden die niet uit het te onderzoeken programma bestaan, weg te filteren. De reden hiervoor is dat we anders een vertekend beeld kunnen krijgen van het programma. In dat geval krijgen we geen zicht op het zuivere effect van het programma, maar verstoren andere invloeden de bevindingen.
Een belangrijke beperking van deze werkwijze is dat de context er natuurlijk toe doet, in de praktijk. Wat voor de ene groep of leerling werkt, werkt niet altijd voor iedere groep of leerling. Dat geldt voor alle beroepen waarin met mensen wordt
De kwaliteit van externe aanbieders beoordelen 189
gewerkt.88Zo zal een programma dat van leerlingen vraagt om zich kwetsbaar of reflectief op te stellen alleen goed werken in klassen met een veilig klassenklimaat.
Dat weten we uit ervaring. De invloed van context op de werking van een programma noemen we interactie. Hoewel die niet altijd onderzocht wordt, is ze wel van belang voor het effect van het programma in de praktijk.
Daar kunt u uw professionele oordeel voor gebruiken. Verwacht u dat het pro-gramma werkt, ook gezien de groepsdynamiek, de diversiteit in de klas, of de pedago-gisch-didactische aanpak die de klas gewend is? Schroom niet om de aanbieder te vragen of het programma ook bewezen effectief is voor de doelgroep die uw klas verte-genwoordigt – als de aanbieder geen onderzoek heeft laten doen, hebben aanbieders doorgaans wel ervaringen met soortgelijke klassen. Daar kun u ook docenten met ver-gelijkbare klassen om vragen, wanneer zij aan het programma hebben deelgenomen.
Bewezen effectief – maar is er sprake van transfer?
Als een leerling in een specifieke context iets leert, betekent dat niet dat een leerling ook in staat is om het geleerde in een andere context in de praktijk te brengen. Dat is een probleem, want burgerschapsonderwijs is ook bedoeld om leerlingen voor te berei-den op hun leven in onze democratische samenleving. Er bestaat vrijwel geen onder-zoek of leerlingen die in een programma iets leren, dat ook in andere contexten, zoals op school, in hun huidige privé- of publieke leven of in de toekomst, toepassen.
Althans, niet specifiek voor burgerschapsonderwijs.
190 Handboek Burgerschapsonderwijs