Toetsing

Standaard 3: De opleiding beschikt over een adequaat systeem van toetsing.

Bevindingen

Toetsen en beoordelen

De opleiding ADS maakt gebruik van het toetsbeleidsplan van de Graduate School of Natural Science (GSNS). Dit toetsbeleidsplan beschrijft de universiteitsbrede beoordelingsregels en de taken en verantwoordelijkheden van de betrokken actoren zoals de examencommissies en de examinatoren. Dit toetsbeleidsplan heeft de opleiding ADS verder uitgewerkt in een toetsplan. In dit toetsplan worden de vakken (met onder meer hun inhoud, leerdoelen en toetsmethoden) beschreven en worden de beoogde leerresultaten in relatie tot de leerdoelen van de vakken weergegeven. Ook heeft opleiding rubrics voor de beoordeling van de scriptie opgesteld, die eveneens in het toetsplan zijn opgenomen. In de Onderwijs- en Examenregeling (OER) zijn de regels met betrekking tot beoordelingen, toetsen en examens geformuleerd.

De opleiding beoordeelt studenten op verschillende momenten. Ten eerste aan het einde van de cursus om ervoor te zorgen dat de leerdoelen zijn bereikt. Deze summatieve beoordelingsmethoden omvatten examens, practica, case studies (inclusief groepswerk), essays en prestatiebeoordelingen. Het panel begreep uit het gesprek met de docenten en de examencommissie dat bij groepswerk het groepsproduct niet de enige toets van die cursus is en dat er altijd ook andere individuele toetsen onderdeel zijn van die cursus. Naast summatieve beoordeling worden studenten ook tijdens de cursussen beoordeeld, om de groei van studenten te bevorderen en het leerproces te ondersteunen. Hiervoor worden formatieve beoordelingsmethoden toegepast. Deze omvatten regelmatige feedbackmomenten, zowel door docenten als door de studenten zelf door middel van peer feedback. Zo wordt de startcursus Data Wrangling and Data Analysis getoetst door een wekelijkse, online opdracht die bestaat uit een theoretisch deel (waar vragen gesteld worden over de conceptuele kennis) en een praktisch gedeelte met een kennistest. Er worden ook zelftestinstrumenten aan de studenten verstrekt.

Hierbij maken studenten gebruik van de door de opleiding opgestelde rubrics.

Afstuderen

Het programma wordt afgesloten met een groter onderzoeksproject, waarvan de masterthesis het eindproduct is. De thesis heeft een omvang van 14 EC en wordt door de opleiding in tien weken aangeboden. De scriptieaanvraag van de student moet door de examencommissie en de toegewezen begeleider goedgekeurd worden.

Het panel heeft de opzet van de scriptieprocedure uitvoerig besproken tijdens de verschillende gesprekken. Het panel begrijpt uit deze gesprekken dat de opleiding meent dat studenten binnen deze tien weken een scriptie op wo-masterniveau kunnen schrijven. De opleiding stelt hiertoe dat de studenten tijdens de Data Science Practice colloquium serie al beginnen aan de opstartfase van de scriptie door het oriënteren op het onderwerp van de scriptie. Daarna, maar vóór aanvang van het onderzoeksproject, zorgt de opleiding ervoor dat de student de data sets van een bedrijf, het onderwerp en de onderzoeksvraag toegekend krijgt. De tien weken besteedt de student

vervolgens aan het schrijven van de scriptie, waarbij het aan de student zelf is om na te denken over de te gebruiken technieken en de gekozen methodologie te verantwoorden.

De thesis wordt beoordeeld door twee leden van de wetenschappelijke staf. De beoordeling van de masterthesis vindt plaats met rubrics die gebaseerd zijn op de beoogde leerresultaten. Deze rubrics zijn in het informatiedossier opgenomen en heeft het panel bestudeerd. Het eindcijfer van het onderzoeksproject is gebaseerd op vier criteria: proces (30%), werk (30%), rapport (30%) en mondeling presentatie (10%). De supervisor is benoemd als eerste examinator en beoordeelt de student op deze vier criteria. De tweede examinator is niet zelf betrokken bij de ontwikkeling en begeleiding van het onderzoeksproject en beoordeelt de student ook op deze vier criteria.

Borging

De cursuscoördinator heeft de primaire verantwoordelijkheid om de kwaliteit van de examens te waarborgen. De docent-examinator is verantwoordelijk voor de ontwikkeling van de toetsing van de cursus. Deze onderzoekt ook of de toetsen voldoen aan de criteria van validiteit, betrouwbaarheid en transparantie. Alle docenten worden door de examencommissie benoemd tot examinator.

In het informatiedossier geeft de opleiding aan dat de GSNS een zerotolerancebeleid heeft ten aanzien van fraude en plagiaat. Fraude en plagiaat worden altijd gerapporteerd aan de examencommissie. Een lijst met onderwerpen die als fraude of plagiaat worden beschouwd, zijn beschreven in de Onderwijs- en examenregeling.

De examencommissie heeft de wettelijke opdracht om de kwaliteit van toetsen en examens binnen de Graduate School of Natural Sciences te waarborgen. De examencommissie bestaat uit een centraal bestuur en kamers of executive panels (EP) voor elk van de opleidingen. De examencommissie heeft momenteel zes kamers. De centrale commissie fungeert als een kaderbepalend en toezichthoudend orgaan. Deze bepaalt het examenbeleid en stelt kaders in de vorm van voorschriften en procedures, die jaarlijks worden bijgewerkt. In zijn toezichthoudende rol bewaakt het ook de kwaliteit van de beslissingen en de implementatie van examenbeleid door de kamers. Een zevende EP, betrokken bij de opleiding ADS, wordt aangesteld vanaf september 2020. Deze commissie zal het examenbeleid voor de masteropleiding programma ADS implementeren. De leden beslissen over het behalen van het masterdiploma en het onderscheid cum laude aan studenten in het programma. De voorzitter van het EP voor ADS is al benoemd en is een ervaren lid van de examencommissie en verbonden aan het Departement Informatie- en Informatica.

Daarnaast wordt voor ADS een opleidingsadviescommissie gevormd die zal bestaan uit ADS-studenten en docenten van de vijf deelnemende faculteiten. Deze opleidingsadviescommissie bespreekt de programma- en cursusevaluaties. De opleidingscommissie van de Graduate School of Natural Sciences bewaakt de kwaliteit van het onderwijs binnen GSNS en adviseert de Board of Studies van de Graduate School of Natural Sciences over alle aspecten van onderwijs, kwaliteit, accreditatie en over de jaarlijkse update van de Onderwijs- en Examenregeling (OER).

Overwegingen

Het panel is van oordeel dat de opleiding beschikt over een toetsplan dat aansluit bij de toetsvisie van de opleiding en het toetsbeleid van de GSNS. De toetsing is gerelateerd aan de beoogde leerresultaten, blijkt uit het toetsplan van de opleiding. Verder beschikt de opleiding over een goede mix van verschillende toetsvormen. Het panel waardeert de aandacht voor zowel de formatieve evaluatie als de summatieve toetsing.

Het panel meent dat de opleiding voldoende maatregelen treft om de kwaliteit van de toetsing te borgen, onder meer door het toepassen van het vierogenprincipe (bij in ieder geval de scriptie), het gebruik van transparante en bruikbare rubrics en het geven van feedback aan de studenten.

Ook zal de opleiding intervisie verzorgen over toetsing voor haar examinatoren, waarbij ook de examencommissie betrokken zal worden.

Het panel concludeert hiermee dat de toetssystematiek als zodanig adequaat is vormgegeven en dat de opleiding zich richt op individuele toetsing van de beoogde leerresultaten. Wel uit het panel een serieuze zorg nu zij tijdens het locatiebezoek geen concreet uitgewerkte toetsen van de opleiding heeft kunnen inzien. Wel heeft het panel vergelijkbare toetsen van andere opleidingen ingezien.

Het panel heeft tijdens de gesprekken uitvoerig de opzet en toetsing van de verplichte cursussen Data Wrangling and Data Analysis (blok 1) en het onderzoeksproject en de scriptie (blok 4) besproken. Met betrekking tot het eerste blok had het panel vragen over de toetsing en herkansingsmogelijkheden nu twee belangrijke cursussen in één blok van 14 EC getoetst worden en deze kennis het fundament vormt voor de latere keuzevakken. De docenten gaven tijdens de gesprekken aan dat de toetsing en de herkansingen van blok 1 het universiteitsmodel volgen, dat erop neer komt dat studenten gedurende het blok specifieke onderdelen die zij niet behaald hebben, kunnen herkansen, zodat de student geen vertraging oploopt. Docenten gaven eveneens aan dat zij in andere opleidingen al ervaring hebben met deze manier van toetsen. In het gesprek konden zij vrij gedetailleerd de opzet en de toetsing beschrijven. Het panel heeft deze beschrijving echter niet waargenomen in de beschrijving van de cursussen; uit het informatiedossier blijken de globale contouren van de toetsing van de cursus Data Wrangling and Data Analysis, maar deze uitwerking moet volgens het panel specifieker opgesteld worden. Zo waren er nog geen heldere toetscriteria voor elk van de onderdelen van de cursus Data Wrangling and Data Analysis beschikbaar. Dit geldt niet alleen voor de toetsing aan het eind van de cursus, maar ook voor de wekelijks toetsen die op het programma zullen staan.

Het panel heeft de opzet van de scriptieprocedure en de inhoud van de toetsing uitvoerig besproken tijdens meerdere gesprekken. Uit de gesprekken is gebleken dat de opleiding een afstudeeropdracht wil aanbieden met meer focus in de opdracht en geprepareerde data, waardoor de scriptie in de gevraagde 10 weken geschreven kan worden. Het panel vindt de opzet van het afstudeerproject en de thesis met 14 EC aan de lage kant. Het panel kan zich uiteindelijk vinden in de overwegingen van de opleiding. Wel vindt het panel dat de opleiding nog de nodige stappen dient te maken om hun intentie goed uit te kunnen voeren.

De opleiding verwijst voor de afstudeerprocedure naar de afstudeerhandleiding en beoordelingscriteria voor scripties van vergelijkbare masters, met een ander (hoger) aantal ECTS voor de scriptie. Nu het aantal ECTS voor de opleiding ADS lager is, is het panel van oordeel dat de studenten van de opleiding ADS niet onder dezelfde criteria (als de andere masters met een hoger aantal ECTS voor de scriptie) beoordeeld mogen worden. Het panel heeft bovendien gemerkt dat de thesis nog geen concrete toetscriteria kent; deze zijn onvoldoende uitgewerkt en zijn nog te globaal. Zeker nu de scriptie in tien weken voltooid moet worden, stelt het panel zich op het standpunt dat het voor de studenten (in verband met de studeerbaarheid) helder moet zijn wat wel en wat niet van de scriptie verwacht wordt. Dat betekent in ieder geval dat de leerdoelen en bijbehorende toetscriteria opgenomen moeten worden in de studentenhandleiding, net als de rubrics. Het panel acht de manier om de scriptie op deze manier in te richten juist, maar vindt een verduidelijking van de beoordelingscriteria om het wo-masterniveau met de beoogde omvang te realiseren noodzakelijk.

Al met al is het panel positief over het toetsprogramma (met gevarieerde toetsvormen) en de toetssystematiek die gericht is op de toetsing van de beoogde leerresultaten. Het panel heeft vertrouwen in het docententeam dat al ruime ervaring heeft met deze manier van toetsen. Ook de inbedding van de examencommissie in de al bestaande structuur geeft het panel vertrouwen dat de examencommissie adequaat zal functioneren. Wel meent het panel dat de opleiding de examencommissie meer dient te betrekken bij de verdere ontwikkeling van de opleiding en de toetsing daarvan. De examencommissie dient ook zelf het initiatief te nemen om een duidelijkere inhoudelijke positie te krijgen in de opleiding. Nu het panel nog geen concreet uitgewerkte toetsen van de opleiding heeft kunnen inzien, beoordeelt het panel deze standaard met ‘voldoet ten dele’.

Als voorwaarden stelt het panel dat de opleiding:

1) De toetsing voor de cursus Data Wrangling and Data Analysis volledig in detail uitwerkt. Dit houdt in dat de opleiding naast het toetsplan, inclusief de toetsmatrijzen met de toetscriteria ook de herkansingssystematiek en de daadwerkelijk door studenten te maken toetsen aanlevert.

2) Een afstudeerhandleiding voor studenten samenstelt, waarbij de beoordelingscriteria voor de scriptie worden geëxpliciteerd en gerelateerd worden aan de beoogde leerresultaten.

Conclusie: voldoet ten dele