Dit hoofdstuk gaat dieper in op limitaties van het onderzoek, de pluspunten van het onderzoek, de validiteit van het onderzoek en op de aanbevelingen voor verder onderzoek.
§8.1 De respondenten
Zoals beschreven in de methodologie was het oorspronkelijk de bedoeling om van zes instellingen een lid van het College van Bestuur (CvB) te interviewen. Dit zou gaan om drie hbo-instellingen en drie universiteiten. Tijdens het aanschrijven van respondenten bleek dat het lastig was om een CvB lid te kunnen interviewen. Dit is dan ook maar gelukt bij twee instellingen. De uitnodiging werd veelal doorgestuurd naar de directeur financiën/een medewerker financiën. Dit vormt echter geen bedreiging voor het onderzoek: dit waren professionals die veel wisten te vertellen over de bekostiging en eventuele financiële consequenties. Daarnaast bleekt tijdens het uitnodigen van instellingen dat er vooral bij universiteiten weinig tijd was om op een korte termijn een interview in te plannen. Om toch een evenredig beeld te krijgen van de universiteiten is gekozen om als derde respondent de VSNU uit te nodigen. Als koepelorganisatie en belangenbehartiger van de Nederlandse bekostigde universiteiten weet de VSNU ook wat er leeft onder de universiteiten en hoe effectief profielbekostiging kan zijn.
§8.2 De scenario’s
Wat mij opviel tijdens het behandelen van de scenario’s was dat het voor de hbo-instellingen lastiger was de scenario’s te benaderen vanuit onderzoekperspectief. Ook hogescholen hebben uiteraard lectoraten en zijn betrokken bij onderzoek. Toch viel het mij op dat de scenario’s die meer op onderzoek/wetenschap gefocust waren, lastiger te beantwoorden waren voor de respondenten van de hbo-instellingen. Wanneer het scenario aan iets anders dan onderzoek werd gekoppeld, bijvoorbeeld aan het aantal diploma’s, ging dit al beter. Hierdoor was het wenselijker geweest verschillende scenario’s te ontwikkelen voor de hbo-instellingen en de universiteiten.
Daarnaast bleek tijdens het afnemen van de interviews dat scenario 1 van spelregel 1 onbedoeld focuste op kwantiteit én kwaliteit. Dit scenario ging over een hoge productiviteit waarbij zoveel mogelijk werd gepubliceerd in wetenschappelijke tijdschriften. De intentie hierbij was dat er meer focus zou liggen op kwantiteit dan op kwaliteit. Enkele respondenten lieten vallen dat een artikel niet in een wetenschappelijk tijdschrift komt wanneer dat artikel niet kwalitatief voldoende is. Hierdoor moest ik het scenario opnieuw formuleren en aangeven dat er juist een kwaliteitswaarborging hoort te ontbreken.
Ook zijn in de scenario’s in totaal maar drie spelregels uit het boek van de Bruijn (2006) gebruikt. Dit is gedaan om de scope van het onderzoek te beperken. Zoals uitgelegd in paragraaf 5.3 is gekozen voor deze spelregels wegens de goede aansluiting op dit onderzoek. De koppeling van bekostiging maakt het relevant om te onderzoeken of het belangrijk is dat er alleen gefocust wordt op de te leveren producten of ook op het proces daarachter. Daarnaast is de ene instelling de andere niet. Daarom is het interessant te bekijken of verschillende meetsystemen of definities hierin van belang zijn
63 of niet. Tevens maakt de koppeling van bekostiging het ook relevant om de impact te bekijken en te zien vanaf welk percentage de instellingen een te groot risico zien voor de werkbaarheid. Echter, dit betekent niet dat de andere spelregels niet relevant zijn om te onderzoeken. Het is daarom raadzaam om de andere onderdelen van de ontwerpprincipes te behandelen in vervolgonderzoek.
De scenario’s werden erg gewaardeerd door de respondenten. Er is mij meerdere malen aangegeven dat dit een leuke toevoeging was en het men op een andere manier liet nadenken. Het gebruiken van scenario’s is dan ook een positieve toevoeging aan dit onderzoek. Door het ex ante karakter van dit onderzoek wordt er op voorhand een beeld gegeven over hoe een eventuele profielbekostiging ontvangen wordt. Hier kan dan met een eventuele invoering van profielbekostiging rekening mee gehouden worden.
§8.3 Externe validiteit & theorie
Omdat het hoger onderwijs bestaat uit zowel universiteiten en hbo-instellingen, is gekozen om allebei te betrekken in het onderzoek. Hierdoor is er echter maar een klein aantal respondenten voor de universiteiten en hbo-instellingen. Dit betekent dat de resultaten niet generaliserend zijn voor zowel alle hbo-instellingen als voor alle universiteiten. Ik raad dan ook aan om in vervolgonderzoek in gesprek te gaan met de overige hbo-instellingen en universiteiten.
Wat betreft de theoretische toevoeging, biedt dit onderzoek een goede inkijk in hoe prestatiemetingen worden ontvangen in het onderwijs. Er wordt een beeld gegeven over hoe relevant diverse door de Bruijn (2006) opgestelde spelregels zijn binnen het onderwijs.
§8.4 Aanbevelingen voor toekomstig onderzoek
Zoals in de paragrafen hierboven al kort is aangegeven, is het aan te raden om verder onderzoek te doen. Hierbij is het van belang dat:
• De andere onderdelen van de ontwerpprincipes worden behandeld;
• De in dit onderzoek niet gesproken hbo-instellingen en universiteiten worden geïnterviewd; • Er door middel van een nieuw onderzoek wordt onderzocht en uitgeprobeerd welke andere
prikkels kunnen worden gekoppeld aan doelen en ambities. Denk hierbij aan het verlagen van regeldruk en verantwoordingsmechanismen. Wanneer een instelling laat zien dat zij hun instellingsplan goed op orde hebben, zich inspannen om hun ambities te halen en een grote tevredenheid hebben, zou er bijvoorbeeld afgesproken kunnen worden dat de instelling niet elk jaar gecontroleerd wordt. Dit kan worden verlaagd tot bijvoorbeeld eens in de drie jaar; • Indien de profielbekostiging wordt ingevoerd er via monitoring wordt bijgehouden of de
financiële stabiliteit en mogelijkheden van de onderwijsinstellingen op peil blijven. Dit geldt eveneens voor de in hoofdstuk 7 genoemde inhoudelijke aanbevelingen. Indien dit niet zo is, kan dan tijdig worden bijgestuurd;
64 • Er via een ex post evaluatie controle plaatsvindt over de uiteindelijke effectiviteit van het
ontwikkelde beleid.
Daarnaast is er nog een laatste aanbeveling dat ik vanuit persoonlijk oogpunt wil meegeven. Ik heb gemerkt dat, op basis van de afgenomen interviews, er een duidelijk verschil zit tussen universiteiten en hogescholen. Dit verschil blijkt vooral op basis van bijvoorbeeld hun voorkeur voor selectie aan de poort, de afspraken met werkgevers en de autonomie waar de universiteiten veel waarden aan hechten. Ik raad dan ook aan om hier rekening mee te houden in het koppelen van doelen aan bekostiging.
65