I Overzicht geraadpleegde personen wo&o 166 J Methodologie en onderzoeksverantwoording mbo 168
L. METHODOLOGIE EN ONDERZOEKSVERANTWOORDING WO&O
3) De historische trend van en de internationale positie van Nederland op de kwaliteitsindicatoren
Voor het perspectief op de historische trend is de voortgang geanalyseerd. Waar de data dit toestonden, is dit gedaan voor de periode 2010-2018. Indien de data voor (een van) deze jaren niet beschikbaar waren, zijn de data uit het dichtstbijzijnde jaartal gebruikt. Bij positieve ontwikkeling op de indicatoren van een ambitie wordt de trend groen gekleurd. Bij een negatieve ontwikkeling wordt de trend oranje gekleurd. Indien een aantal indicatoren van een ambitie gelijk zijn gebleven, zijn de veranderde indicatoren leidend. Wanneer de meeste indicatoren gelijk zijn gebleven en de overige indicatoren een verschillende ontwikkeling laten zien, wordt de trend wit gekleurd.
Voor de internationale vergelijking is de positie van Nederland ten opzichte van een peergroup van landen in kaart gebracht. De peergroup bestaat uit landen waarmee Nederland zich wil en/of laat vergelijken. De peergroup is samengesteld tijdens een gezamenlijke werksessie met stakeholders uit de sector op 4 september 2020. Hierbij waren vertegenwoordigers aanwezig van: de VSNU, de LNU en studentenorganisaties ISO en LSVb. De resulterende peergroup bestaat uit: Canada, China, Denemarken, Duitsland, Finland, Noorwegen, de Verenigde Staten, het Verenigd Koninkrijk, Zweden en Zwitserland. Indien Nederland in de top drie staat van de peergroup binnen de indicator van een ambitie wordt de ambitie groen gekleurd. Wanneer Nederland lager scoort dan de top drie van de peergroup wordt de ambitie oranje gekleurd.
De resultaten van deze analyses staan per indicator weergeven in bijlage E.
Strategy&
Bijlagen | I. Overzicht geraadpleegde personen wo&o
Strategy& Bijlagen | L. Methodologie en onderzoeksverantwoording wo&o 195195
FIGUUR L.2
Operationalisering ambities van de sector
Strategy&
Brondocument Ambitie Doelen Verwerkt in onderzoek
onder de volgende ambitie:
Strategische Agenda Hoger Onderwijs &
Onderzoek
Toegankelijker HO en groter
studentsucces Toegankelijker onderwijs Toegankelijkheid Instroom op de juiste plek
en zo snel mogelijk op de Flexibel hoger onderwijs Flexibel hoger onderwijs en
leven lang leren Flexibel hoger onderwijs
Open Science Open science
Betere aansluiting op de
arbeidsmarkt en samenleving Aansluiting op de
arbeidsmarkt Regionale verankering en
internationale samenwerking Internationale samenwerking Internationale samenwerking
Meer en betere begeleiding
van studenten Studentsucces
benutten Vergroten aantal vrouwelijke
hoogleraren Vrouwelijk talent
Bijlagen | I. Overzicht geraadpleegde personen wo&o Strategy&
196
196 Bijlagen | L. Methodologie en onderzoeksverantwoording wo&o
Om verdere inzage te krijgen in de voortgang op de ambities en de bijbehorende knelpunten heeft er op 5 november 2020 een werksessie plaatsgevonden met de VSNU. Daarnaast is er op 9 november 2020 in samenwerking met het ISO en de LSVb een werksessie georganiseerd met studenten over de voortgang op de ambities en de knelpunten. Bij deze werksessie waren studentenvertegenwoordigers aanwezig uit (de) centrale studentenraden van de Universiteit Tilburg, de Open Universiteit, Universiteit Leiden, de Universiteit van Amsterdam, de Universiteit Utrecht, de TU Delft, de Rijksuniversiteit Groningen en de Radboud Universiteit.
L5. Onderzoeksvraag 3
De derde onderzoeksvraag is gericht op het inzichtelijk maken van de doelmatigheid van de bestedingen en aanknopingspunten om de doelmatigheid te vergroten. In dit onderzoek wordt doelmatigheid gedefinieerd als de kwaliteitswinst die mogelijk te behalen valt binnen de budgettaire kaders. Hiertoe zijn de volgende analyses uitgevoerd:
(1) Verhouding van resultaten en kosten van het onderwijs en onderzoek van Nederlands universiteiten in internationaal perspectief – bronnen weergegeven in voetnoten in tekst.
(2) Variatie in onderwijs- en onderzoeksvormen, binnen Nederland en internationaal – bronnen (waar relevant) weergegeven in voetnoten in de tekst. De voorbeelden zijn opgehaald op basis van deskresearch en in interviews met betrokkenen uit de sector en de begeleidingscommissie.
(3) Verschillen tussen en binnen opleidingen en instellingen op kwaliteitsindicatoren In dit onderzoek wordt doelmatigheid gedefinieerd als de kwaliteitswinst die mogelijk te behalen valt binnen de budgettaire kaders. Grote verschillen in kwaliteit tussen instellingen binnen dezelfde opleiding (en vice versa) kunnen aanknopingspunten bieden voor doelmatigheidspotentieel. Derhalve zijn de verschillen in de huidige kwaliteitsindicatoren tussen instellingen (binnen één opleiding) en tussen opleidingen (binnen één instelling) in kaart gebracht.
• Om te corrigeren voor de mogelijke variatie over tijd is over een periode van drie jaar de gemiddelde waarde genomen voor de kwaliteitsindicator.
• Kwaliteitsindicatoren zijn als volgt gedefinieerd en vastgesteld:
- Tevredenheid van studenten is de gemiddelde score van 2017-2019409 in de Nationale Studenten Enquête op ‘tevreden over de studie in het algemeen’.
Bron: Nationale Studenten Enquête.
- Diplomaresultaat is het aantal studenten dat afstudeert binnen ‘nominaal +1 jaar’
gedeeld door het aantal herinschrijvers in het tweede jaar (het aantal studenten dat zich in het tweede jaar inschrijft, over de periode 2013-2015). Bij masteropleidingen is het diplomaresultaat het aantal studenten dat afstudeert binnen ‘nominaal +1 jaar’
gedeeld door het aantal inschrijvingen in het eerste jaar, over de periode 2013-2015).
Bron: Datalevering DUO aan PwC Strategy& (maatwerk);
409 Voor wo zijn er voor elke kwaliteitsindicator data beschikbaar voor ingeschreven studenten tussen 2017-2019. Om de meest recente data mee te nemen, is er gekozen voor deze jaartallen in de analyses. Voor hbo en mbo zijn de meest recente jaren voor alle kwaliteitsindicatoren 2016-2018 en zijn inschreven studenten tussen deze jaren meegenomen.
Strategy&
Bijlagen | I. Overzicht geraadpleegde personen wo&o
Strategy& Bijlagen | L. Methodologie en onderzoeksverantwoording wo&o 197197
- Uitval is bepaald op basis van het aantal studenten dat zich inschrijft bij een opleiding en zich uitschrijft zonder een diploma te behalen en zich niet inschrijft bij een andere opleiding op minstens hbo-niveau, over de periode 2016-2018.
Bron: Datalevering DUO aan PwC Strategy& (maatwerk);
- Opstroom is bepaald op basis van het aantal bachelorstudenten dat zich inschrijft voor een opleiding op een hoger niveau in het hoger onderwijs het jaar na het behalen van een diploma, over de periode 2016-2018. Bron: Datalevering DUO aan PwC Strategy& (maatwerk).
• Het begrip kwaliteit is een zeer breed begrip en andere aspecten ervan zijn, hoewel relevant, om uiteenlopende redenen niet meegenomen in de verschilanalyse. De meest voorkomende reden is databeschikbaarheid: veel kwaliteitsindicatoren zijn niet op opleidings- of instellingsniveau beschikbaar.
• Om de spreiding te analyseren tussen instellingen (binnen een bepaalde opleiding) en tussen opleidingen (binnen een bepaalde instelling) is gebruikgemaakt van de standaarddeviatie per opleiding. De standaarddeviatie is een maat voor de spreiding van een variabele. Per doorsnede (opleiding/instelling) is de standaarddeviatie van de score op de kwaliteitsindicator bepaald. Het voordeel van het gebruik van de standaarddeviatie ten opzichte van bijvoorbeeld het vergelijken van percentielen, is dat de standaarddeviatie groter wordt indien er uitschieters zijn. Op deze manier is het mogelijk om opleidingen eruit te filteren waarbij de scores over de instellingen het meest van elkaar verschillen en er wellicht aanknopingspunten voor doelmatigheid te vinden zijn. De formule voor het bepalen van de standaarddeviatie is als volgt:
Waarbij:
𝜎 = standaarddeviatie 𝑥𝑖= de score van instelling i
𝜇 = de gemiddelde score over alle instellingen 𝑛 = aantal instellingen
Deze standaarddeviaties zijn gemiddeld per kwaliteitsindicator voor Figuur 6.27.
• Opleidingen zijn geïdentificeerd aan de hand van de opleidingscode. Alleen instellingen met minimaal twee opleidingen en opleidingen die aan minimaal twee instellingen worden gegeven, zijn geïncludeerd om te kunnen worden vergeleken. De 44 grootste bacheloropleidingen met minimaal vijfhonderd ingeschrevenen per jaar en de
58 grootste masteropleidingen met minimaal honderd inschrijvingen per jaar zijn bekeken; voor zowel bachelor als master omvat dit meer dan 85% van de studenten.
Ongedeelde opleidingen zijn hierin niet meegenomen. Zie Figuur L.3 voor een overzicht van de opleidingen die zijn meegenomen in deze analyse. Bron: Datalevering DUO aan PwC Strategy& (maatwerk).
Strategy&
Bijlagen | I. Overzicht geraadpleegde personen wo&o Strategy&
198
198 Bijlagen | L. Methodologie en onderzoeksverantwoording wo&o FIGUUR L.3
Grootste bachelor- en masteropleidingen op basis van 85% van de studenten in 2017-2019
Bacheloropleidingen Masteropleidingen
B Life Science and Technology M Health Sciences
B Filosofie M Political Science
B Scheikunde M Artificial Intelligence
B Kunstmatige Intelligentie M Pedagogische Wetenschappen
B Notarieel Recht M Criminologie
B Natuur- en Sterrenkunde M Taalwetenschappen (research)
B Electrical Engineering M Onderwijswetenschappen
B Algemene Cultuurwetenschappen M Kunst- & cultuurwetenschappen
B Wiskunde M Farmacie
B Kunstgeschiedenis M Embedded Systems
B Technische Informatica M Public Administration
B Technische Natuurkunde M Communicatie- & Informatiewetenschappen
B Informatica M Tandheelkunde
B Rechtsgeleerdheid M Sustainable Energy Technology
B Geschiedenis M Letterkunde
B Werktuigbouwkunde M International and European Law
B Fiscale Economie M Internationale betrekkingen
B Technische Wiskunde M Physics
B Engelse Taal en Cultuur M Psychologie
B Politicologie M Psychology
B Technische Bedrijfskunde M Geschiedenis
B Econometrie en Operationele Research M Bestuurskunde
B Fiscaal Recht M Economics
B Bestuurskunde M Rechtsgeleerdheid
B Bedrijfskunde M Kunst- & cultuurwetenschappen (research)
B Biologie M Taalwetenschappen
B Communicatie- en Informatiewetenschappen M Computer Science
B Taalwetenschap M Mediastudies
B Pedagogische Wetenschappen M Fiscale Economie
B Economie en Bedrijfseconomie M Theologie- & Religiewetenschappen
B Sociologie M Chemistry
B Nederlandse Taal en Cultuur M Sociologie
B Culturele Antropologie en Ontwikkelingssociologie M Business Administration B Biomedische Wetenschappen M Biomedical Sciences
B Scheikundige Technologie M Geneeskunde
B Sociale Geografie en Planologie M Nederlands Recht
B Criminologie M Construction Management and Engineering
B Communicatiewetenschap M Biomedical Engineering
B Psychologie M Biology
B Gezondheidswetenschappen M Mathematics
Strategy&
Bijlagen | I. Overzicht geraadpleegde personen wo&o
Strategy& Bijlagen | L. Methodologie en onderzoeksverantwoording wo&o 199199
(4) Aansluiting op de arbeidsmarkt – bronnen weergegeven in voetnoten in tekst.
(5) Verschillen binnen kleine bacheloropleidingen op kwaliteitsindicatoren
• De analyse omvat uitsluitend bacheloropleidingen. Kleine opleidingen zijn gedefinieerd als opleidingen die in totaal minder dan 250 ingeschreven studenten in een jaar hebben. Hierbij zijn enkel opleidingen meegenomen die in 2016 reeds werden aangeboden. Om het aantal inschrijvingen vast te stellen is het driejarige gemiddelde over de periode 2017-2019 genomen. Ten behoeve van de robuustheid zijn alleen instelling x opleiding combinaties met meer dan vijf inschrijvingen meegenomen.
Alleen instellingen met minimaal twee opleidingen en opleidingen die aan minimaal twee instellingen worden gegeven, zijn geïncludeerd om te kunnen worden vergeleken.
Een set van dertig bacheloropleidingen had gemiddeld 250 of minder ingeschrevenen per jaar en werd aan minimaal twee instellingen aangeboden (zie figuur L.4 voor deze opleidingen). Bron: Datalevering DUO aan PwC Strategy& (maatwerk).
• De gemiddelde variatie tussen instellingen op de scores voor tevredenheid en diplomaresultaat zijn op dezelfde manier berekend als voor alle opleidingen – zie hierboven.
FIGUUR L.3 (VERVOLG)
Grootste bachelor- en masteropleidingen op basis van 85% van de studenten in 2017-2019
Bacheloropleidingen Masteropleidingen
B International Business Administration M Europese Studies B Liberal Arts and Sciences M Fiscaal Recht
B Geneeskunde M Environmental Sciences
B Life Science and Technology M Filosofie
M Mechanical Engineering M Electrical Engineering M Chemical Engineering M Neerlandistiek
M Communicatiewetenschap M Supply Chain Management M Geschiedenis (research) M Finance
M Earth Sciences M Applied Physics M Notarieel Recht M Systems and Control M Ondernemingsrecht
M Leraar Voorbereidend Hoger Onderwijs in de Mens- en Maatschappijwetenschappen
Strategy&
Bijlagen | I. Overzicht geraadpleegde personen wo&o Strategy&
200
200 Bijlagen | L. Methodologie en onderzoeksverantwoording wo&o FIGUUR L.4
Kleine bachelor- en masteropleidingen op basis van <250 studenten in 2017-2019
B Cultuurwetenschappen
B Klinische Technologie (joint degree) B Literatuurwetenschap
B Midden-Oostenstudies B Muziekwetenschap B Nanobiologie (joint degree) B Oudheidwetenschappen B Spaanse Taal en Cultuur B Sterrenkunde
B Theologie (joint degree)
B Algemene Cultuurwetenschappen B Archeologie
B Duitse Taal en Cultuur B Filosofie
B Fiscale Economie B Franse Taal en Cultuur
B Griekse en Latijnse Taal en Cultuur B Italiaanse Taal en Cultuur B Kunstgeschiedenis B Natuur- en Sterrenkunde B Nederlandse Taal en Cultuur B Notarieel Recht
B Onderwijskunde B Religiewetenschappen B Scheikunde
B Scheikundige Technologie B Sociologie
B Taalwetenschap B Tandheelkunde B Theologie
Strategy&