Ontwerpen van een beoordelingssysteem met de betrokkenen

Platformfase

In eerste instantie zijn de resultaten van de onderzoeksfase en de aanbevelingen, zoals aan het begin van het hoofdstuk beschreven, besproken met de teamleider van secretarieel, tevens leider van de werkgroep secretarieel. Daarna zijn de resultaten en aanbevelingen met de docenten besproken, zodat

de docenten zich een eigen beeld en oordeel konden vormen van het vraagstuk. Vervolgens is tijdens een bijeenkomst van de werkgroep een behoefteanalyse gehouden met de docenten en teamleider. De docenten en teamleider gaven aan dat ze behoefte hadden om over de hieronder beschreven

onderwerpen meer te weten. Deze leerbehoeften zijn onderverdeeld in onderwerpen die aansluiten bij de stappen van het ontwerpproces. Met name onderwerpen omtrent de kwalificerende beoordeling en de kwaliteit werd door de docenten als essentieel aspect beschouwd en dit heeft tot consequentie gehad dat deze extra en bewuste aandacht verdienden tijdens het ontwerpproces.

Zodoende werden in deze fase de verwachtingen en doelen van de betrokkenen op elkaar afgestemd en draagvlak gecreëerd (Van Zutven et al., 2004).

Onderwerp Voorbeeld vragen Stap van de ontwerpfase

Kwalificerende

beoordelingsinstrumenten

- Hoe wordt het assessment vorm gegeven? - Wat is de status van het assessment?

3, 4 1 Rol beoordelaar:

kwalificerende beoordeling

- Wat zijn de taken van de docent/beoordelaar?

3, 4

Kwaliteit competentie beoordeling

- Hoe kan de kwaliteit van de kwalificerende beoordelingen worden gewaarborgd?

2

2 - Waaraan voldoet een goede beoordeling? Integratie beoordelingen in

leerproces

- Hoe kunnen verschillende activiteiten geïntegreerd worden in het leerproces?

5

Tabel 11 resultaten behoefteanalyse docenten

Overeenstemmingsfase

In deze fase zijn keuzes gemaakt voor de beoordelingsinstrumenten, de status van het instrument en de totale beoordelingsprocedure. Dit heeft geresulteerd in een opzet voor de beoordelingsprocedure en de keuze voor portfoliomethodiek (zie volgende doel). De keuze voor de instrumenten verdiende minder aandacht dan verwacht; de docenten waren op de hoogte van de verschillende beoordelingsinstrumenten en de status ervan.

Ontwerpfase

Het bereiken van overeenstemming in beoordelingsinstrumenten, gaf ingang tot de opzet van een plan van aanpak voor de ontwerpfase. Op basis van de besproken aanbevelingen en de behoeften van de betrokkenen van de werkgroep secretarieel het definitieve plan van aanpak voor het ontwerpproces, kortweg ontwerpplan opgesteld, dit is besproken met de teamleider. Een samenvatting van het ontwerpproces is in de onderstaande tabel te vinden, het volledig uitgewerkte plan met daarin de

ondernomen activiteiten, uitwerking van de bijeenkomsten en materialen en middelen is terug te vinden in bijlage 2.

In tabel 12 zijn per fase de belangrijkste activiteiten genoemd, die de leidraad in de betreffende fase vormen, daarnaast zijn de resultaten beschreven en worden de voornaamste verantwoordelijkheden en taken van de betrokkenen besproken. De teamleider leidt het veranderingsproces en neemt

onderwijskundige besluiten omtrent het beoordelen.

activiteiten betrokkenen verantwoordelijkheden resultaten 1. platform- fase

Creëren van inzicht in de doelen, discussiëren over de argumenten, ideeën en beeld van de situatie en het probleem vormen.

* bespreken onderzoeksresultaten en aanbevelingen * visie op beoordelen en vraagstuk bespreken * behoefteanalyse teamleider en onderwijsbegeleider alle docenten onderwijsbegeleider

proces op gang brengen, leerbehoeften in kaart brengen

inbreng voor de opzet, mening vormen, keuze beoordelingsinstrumenten afname behoefteanalyse

* verheldering van het vraagstuk

* persoonlijk oordeel

* overzicht

leerbehoeften docenten

2. overeenstemmingsfase

Overeenstemming bereiken over de grote lijnen van het beoordelingssysteem en keuze van beoordelingsinstrumenten aan de hand van de consequenties en alternatieven.

* verdieping in beoor-delingsinstrumenten * mogelijke beoordelings-procedures bespreken teamleider en docenten onderwijsbegeleider afstemmen van de

meningen van betrokkenen.

consequenties en alternatieven in beeld brengen

* keuze van beoor- delingsinstrumenten

* opzet

beoordelingsprocedure

3. ontwerpfase

Opzetten en in de praktijk brengen van het ontwerpplan, dat leidt tot het ontwerp van het beoordelingssysteem * uitwerken ontwerpplan * doelen specificeren teamleider en onderwijsbegeleider onderwijsbegeleider opzet (prototype) beoordelingssysteem

input voor ontwerpstappen

* plan van aanpak ontwerpfase

Stap 1 * vaststellen beoordelingsprocedure docenten en teamleider vaststellen beoordelingsprocedure * overzicht beoordelingsprocedure Stap 2 * bepalen beoordelingscriteria docenten, teamleider onderwijsbegeleider keuze beoordelingscriteria

inbreng mogelijke criteria

* criterialijst ontwerpen Stap 3 * inhoud bepalen beoordelingsinstrument * keuze beoordelaars docenten en teamleider onderwijsbegeleider keuze activiteiten beoordelingsinstrument * uitwerking beoor-delingsinstrument Stap 4 * uitwerken beoor- delingsdocumenten onderwijsbegeleider en ontwikkelaar docenten, examen-commissie ontwerpen beoordelingsdocumenten selectie beoordelaars, vaststellen beoordelingsprocedure documenten: * beoordelingsprocedure *instructie leerlingen, beoordelaars *beoordelings-protocollen Stap 5* * try-out assessment * evaluatie portfolio-assessment beoordelaars (=docenten+ bpv-begeleiders) onderwijsbegeleider uittesten beoordelingssysteem * overzicht verbeterpunten/ vervolgstappen evaluatie try-out Tabel 12 ontwerpplan

Na het opstellen van het ontwerpplan is in ontwerpstap 2 aan de hand van de criteria uit de literatuur omtrent competentiegerichtheid en kwaliteit, (zoals die in paragraaf 2.6 beschreven zijn) besloten aan welke criteria het portfolio-assessment moet voldoen. Vanuit deze criterialijst is besloten welke documenten ontwikkeld moeten worden om tegemoet te komen aan de criteria. De voorbeelden van andere opleidingen (paragraaf 3.4) en de criteria die hiervoor zijn beschreven dienden als uitgangspunt om voor de opleiding secretarieel een besluit te nemen over de invulling van het portfolio-assessment. In stap 4 is besloten welke beoordelaars het portfolio-assessment gaan afnemen en zijn de documenten ontwikkeld die nodig zijn voor het realiseren van het portfolio-assessment. Vervolgens is in stap 5 d.m.v. de try-out het portfolio-assessment in de praktijk uitgetest. Uit de observaties en evaluaties met de

beoordelaars zijn een aantal punten opgesteld die voor verbetering vatbaar zijn voor de implementatie van het beoordelingssysteem. De documenten die gedurende de ontwerpstappen zijn ontwikkeld, zijn

bijgevoegd in bijlage 3 (beoordelingsdocumenten).

Het vaststellen van het beoordelingsdocument en de beoordelingsprocedure verliepen vlot en kosten weinig tijd, de keuze voor een portfolio-assessment was bij eerdere bijeenkomst genomen. Toch hadden

niet alle betrokkenen een beeld van de inhoud van het portfolio-assessment, daarom was het lastig de criteria voor het assessment vast te stellen en werd eerst de inhoud voor het

portfolio-assessment bepaald. Dit betekende een verwisseling van stap 2 en 3 van het ontwerpproces. Stap 3, 4 en 5 werden vervolgens door een de groep docenten gerealiseerd, die tevens beoordelaars waren bij het portfolio-assessment, omdat dit praktischer en beter haalbaar was. Deze groep docenten en een

betrokkene vanuit het werkveld hebben de inhoud van het portfolio-assessment verder vorm gegeven en deze d.m.v. de try-out uitgetest. Formele beslissingen omtrent de beoordelingsprocedure zijn genomen door de examencommissie, zij oordeelden in hoeverre voorstellen vanuit de werkgroep secretarieel in formele documenten konden worden opgenomen.

Formatieve evaluatie

Belangrijke input voor de formatieve evaluatie waren de prototypen van de beoordelingsprocedure, de criteria en richtlijnen van de kwalificerende beoordeling en de inhoud van het beoordelingsinstrument. Deze prototypes zijn ontwikkeld tijdens de ontwikkelsessies met de groep docenten die tijdens de try-out beoordeelden en tijdens de evaluatie zijn de ontwikkelde documenten eerst individueel en later

gezamenlijk geëvalueerd. De formatieve evaluatie is uitgevoerd in een reële gebruiksituatie, waarbij de docenten het prototype uitproberen bij een deel van de doelgroep: de leerlingen. Tijdens de try-out zijn de betrokkenen geobserveerd en na afloop bevraagd op hun bevindingen, om een zo goed mogelijke indicatie te geven van de effectiviteit en bruikbaarheid, welke als belangrijk kwaliteitscriteria wordt beschouwd (Jaspers en Heijmen-Versteegen 2005).

De betrokkenen gaven commentaar op de volgende vraag rond effectiviteit:

• Is de opzet van het assessment een effectieve manier om competentiegericht te beoordelen? • Is uit de beoordeling relevante informatie verkregen over het functioneren van de leerling? Bij bruikbaarheid stond de volgende vraag centraal:

• Zijn de opzet (prototype) van de beoordelingsprocedure, de criteria en richtlijnen bruikbaar om inhoud te geven aan het assessment? (Tessmer, 2001).

Uit de evaluatie zijn een paar belangrijke punten naar voren gekomen die om meer aandacht vroegen en voor verbetering vatbaar zijn:

• Over de opzet van het assessment zoals deze werd uitgevoerd, waren de betrokkenen redelijk tevreden. Een punt van aandacht is de grootte van de beoordelingseenheden, in sommige gevallen lieten de leerlingen een enkele competentie beoordelen. In dit geval werd er geen reële (complexe) situatie beoordeeld en was er geen sprake van een geïntegreerde beoordeling, hierdoor vergde het assessment veel tijd.

• Aansluitend op het bovenstaande is het verkrijgen van relevante informatie lastig in gevallen waarin leerling versnipperde eenheden lieten beoordelen. Daarnaast hebben de docenten meer tijd nodig om de methode van bevraging (de STARR-methode) onder de knie te krijgen.

• De opzet van de beoordelingsprotocollen waren over het algemeen duidelijk en bruikbaar. Toch zal hier nog de nodige aandacht moeten worden besteed aan het op een lijn krijgen van de beoordelingsmethoden en het inzichtelijk maken van de beoordelingsprocedure en -richtlijnen voor leerlingen.