De centrale vraagstelling in dit onderzoek luidde als volgt: ‘’Hoe effectief zal het invoeren van profielbekostiging zijn voor de sector hoger onderwijs?’’. Om dit te onderzoeken is een ex ante beleidsevaluatie uitgevoerd. Door te spreken met vijf onderwijsinstellingen, één koepelorganisatie, DUO en de AWTI, is een beeld gevormd over wat profielbekostiging inhoudt, hoe de onderwijsinstellingen aankijken tegen profielbekostiging en of de invoering van profielbekostiging mogelijk is binnen het huidige bekostigingsstelsel. Dit vond voornamelijk plaats door de respondenten via scenario’s, gebaseerd op ontwerpprincipes van de Bruijn (2006), vragen te stellen over de belangrijkheid van dynamiek, variëteit en interactie binnen prestatiemetingen.
Op basis van de analyse uit het vorige hoofdstuk kan gesteld worden dat een invoering van profielbekostiging geen noemenswaardige invloed of verandering teweeg zal brengen binnen het stelsel van hoger onderwijs en onderzoek. Mocht de profielbekostiging wel geïntroduceerd worden in het hoger onderwijs, is de mate van draagvlak geheel afhankelijk van de invulling van deze profielbekostiging.
De analyse wijst uit dat de gesproken onderwijsinstellingen niet tegen een vorm van prestatiemanagement zijn. Er zitten namelijk diverse voordelen aan, waaronder: transparantie, het leren van de informatie en het is een verantwoordingsmechanisme. Dit komt overeen met de gestelde voordelen van onder andere de Bruijn (2006), Wouters & Groen (2019) en Behn (2003).
Wel worden er diverse mogelijke perverse effecten genoemd wanneer gesproken wordt over de mogelijke invoering van profielbekostiging. Voorbeelden van deze mogelijke perverse effecten zijn de afname van innovatie, beperkte creativiteit en strategisch gedrag. Ook dit komt overeen met de in het theoretisch kader genoemde perverse effecten van de Bruijn (2006). Daarnaast vinden de respondenten het van cruciaal belang dat er ook aandacht is voor de inspanning en niet alleen het resultaat. Dit komt goed overeen met wat Bouckaert (2006) beschrijft als het verschil tussen het objectieve (output/outcome) van prestaties en het subjectieve (gepland, gerealiseerd en gepercipieerd). De onderwijsinstelling kan niet altijd verantwoordelijk worden gehouden voor het niet behalen van de gestelde doelen.
De beleidstheorie
Zoals uit de beleidstheorie blijkt (figuur 5 pp.29), is het einddoel van de AWTI het verkrijgen van een toekomstbestendig stelsel hoger onderwijs en onderzoek. De onderwijsinstellingen zouden dit bereiken door zich meer te laten leiden door de maatschappelijke vraag. Hierbij zijn sterker profileren, selectie aan de poort en profielbekostiging subdoelstellingen. Een instrument om de profielbekostiging te bewerkstelligen, is het koppelen van een deel van de bekostiging vanuit de eerste geldstroom aan de realisatie van het profiel en de ambities van de instelling. Figuur 6 biedt hieronder een korte terugblik op de geformuleerde beleidstheorie (figuur 5) op pp. 29.
57 Figuur 6. Aangepaste beleidstheorie figuur 5 pp.29 (Bekooij, 2019)
De analyse laat zien dat de hbo-instellingen en universiteiten al hard bezig zijn met de maatschappelijke vraag. De interviews wijzen uit dat de hbo-instellingen en universiteiten gesprekken voeren met diverse bedrijven en werkgevers in de regio. Dit doen zij om de opleidingen aan te laten sluiten bij de vraag van die bedrijven en werkgevers. Hierdoor profileren de hbo-instellingen zich al: Rotterdam ervaart andere stedelijke vraagstukken dan dat Den Haag ervaart. Nog scherper profileren zal ervoor (kunnen) zorgen dat de instellingen niet meer geheel tegemoet kunnen komen aan de wensen van de werkgever in de regio. Dit zou dan juist leiden tot een mismatch tussen de maatschappelijke (regionale) vraag en de opleidingen van studenten op hbo-instellingen. Ook de universiteiten zijn bezig met het beroepenveld. Daarbij wordt ook gesteld dat geografische afstanden voor een groot deel bepalend zijn voor waar een student studeert. De instellingen hebben hierbij niet het idee dat nog scherper profileren hier iets aan gaat veranderen.
Uit de analyse blijkt ook dat een deel de instellingen niet enthousiast is over het selecteren aan de poort. Het open onderwijsbestel in Nederland zien die instellingen juist als iets moois. Onderwijs hoort toegankelijk te zijn voor iedereen. Enkele instellingen denken echter juist dat selectie (bij bepaalde opleidingen) kan bijdragen aan kwaliteitsverbetering. Ook over het introduceren van profielbekostiging zijn de instellingen niet te spreken. De onderwijsinstellingen zijn niet tegen het invoeren van een prikkel als stimulans om extra in te zetten op bepaalde doelen of ambities. Echter, het koppelen van bekostiging aan doelen en ambities roept bij de instellingen meer negatieve reacties op dan positieve reacties. De instellingen waken onder andere voor strategisch gedrag, beperkte creativiteit & innovatie en toenemende bureaucratie. Het afnemen van geld komt daarnaast het onderwijs en onderzoek niet ten goede. Door minder geld kunnen instellingen ook minder aan de ontwikkeling van onderwijs en
58 onderzoek doen. Dit draagt dan ook niet bij aan een toekomstbestendig stelsel. Daarbij wordt gesteld dat andere prikkels, zoals een verminderde regeldruk, ook een goede stimulans kunnen zijn.
Mocht de profielbekostiging er wel komen, zijn er diverse randvoorwaarden waar rekening mee gehouden moet worden. Zo moet aandacht worden besteed aan een combinatie tussen het proces en het product. Diverse instellingen geven aan dat je de achtergrond en het verhaal van een student niet los kunt zien van het diploma. Het verhaal achter de cijfers is dus van cruciaal belang om een oordeel te kunnen geven over de prestatie van een onderwijsinstelling. Dit gedachtegoed van de onderwijsinstellingen sluit goed aan bij wat de Bruijn (2006) omschrijft als het professionele proces van totstandkoming. Zoals omschreven in het theoretisch kader staan hierbij onder andere de inspanning en innovatie van het proces in een organisatie centraal. Het meten van louter prestaties wanneer het proces gewijzigd is, doet een organisatie dan geen recht. Zoals de Bruijn (2006) stelt is het koppelen van het product en het proces dermate belangrijk om de dynamiek van producten te onderkennen en te waarderen. Hierdoor kan geconcludeerd worden dat het koppelen van het product en het proces inderdaad van belang is voor het meten van prestaties.
Daarnaast vinden instellingen het belangrijk dat er ruimte is voor een variëteit van meetsystemen. Zo kunnen peerreviews bijdragen aan het delen van kennis en leren van best practices tussen de instellingen. Meningen van bijvoorbeeld studenten en medewerkers zijn van belang omdat dit laat zien hoe de instellingen ervoor staat. Om dus een goed beeld te krijgen van de kwaliteit van een opleiding, zijn meervoudige meetsystemen nodig. Dit sluit goed aan bij het in het theoretisch kader beschreven ontwerpprincipe Variëteit. De Bruijn (2006) stelt in dat ontwerpprincipe dat de inhoud van de prestatiemeting beter wordt wanneer dit vanuit meerdere perspectieven bekeken wordt. Alle gesproken respondenten zijn het hier mee eens. De respondenten hechten veel waarden aan de oordelen van peers, hun studenten en hun medewerkers. Hierdoor kan geconcludeerd worden dat een variëteit van meetsystemen inderdaad van belang is voor het meten van prestaties.
De Bruijn (2006) stelt dat variatie tussen definities en indicatoren ook van belang zijn. Producten van een organisatie kunnen op verschillende manieren geïdentificeerd worden. Dit betekent dat ze dus ook op verschillende manieren gemeten en beoordeeld kunnen worden. De analyse laat zien dat instellingen verschillende indicatoren waarderen wanneer het gaat om subjectlieve en lastig te meten begrippen als onderwijskwaliteit. Aan de andere kant kunnen verschillende definities en indicatoren vergelijkingsmechanismen als benchmarking juist weer vermoeilijken. Wanneer er wordt vergeleken, is het dus wel van belang dat men dezelfde meetinstrument en/of definities hanteert. Vergelijken is anders niet mogelijk. Hiermee kan worden geconcludeerd dat de respondenten variëteit tussen meetsystemen niet volmondig prefereren.
Het gekoppelde bekostigingspercentage dient niet hoger te zijn dan maximaal 10-15%. Diverse instelling vinden 5% eigenlijk al een maximum. Daarbij is het van belang dat de profielbekostiging
59 voortkomt uit extra beschikbaar geld en dus een bonus is. Daarbij is het belangrijk dat dit geen zwart- wit systeem betreft. Dit houdt in dat het bekostigingssysteem niet alleen financiert wanneer voor 100% wordt voldaan aan de gestelde doelen. Dat zou namelijk betekenen dat de instelling wanneer de doelen niet volledig zijn behaald, ook geen (extra) financiering ontvangt. Het werken met bekostiging naarmate de inspanning van de instelling wordt beloond, en niet het volledige resultaat, heeft dus de voorkeur. Hierdoor is het geen alles of niets bekostiging, maar kan dit ook uitkomen op 30% of 70% extra financiering. Dat de instellingen het liefst een zo laag mogelijk percentage prefereren, heeft te maken met het behoud van stabiliteit en het beperken van de impact. Dit sluit goed aan bij het ontwerpprincipe Interactie. Zoals de Bruijn (2006) stelt is het van belang om de impact te beperken zodat de kans op een pervers systeem verkleint. Een directe koppeling tussen de impact, oordeelsvorming en productie dient dan ook voorkomen te worden. Hiermee kan geconcludeerd worden dat de instellingen het zeer van belang vinden dat de impact van de prestatiemeting beperkt blijft.
Om tot een toekomstbestendig stelsel te komen is een financiële investering volgens de respondenten het grootste benodigde middel. Daarnaast moet ruimte geboden worden voor innovatie en creativiteit. Hierbij is het van belang dat er een combinatie plaatsvindt tussen inspanningsverplichting en resultaatverplichting. Als laatste moet duidelijk worden wat de verantwoordelijkheid van de overheid is en wat de reikwijdte van de eigen autonomie van instellingen is.
De instellingen hebben verschillende visies op of selectie aan de poort een goed instrument is. De ene instelling vindt het open onderwijsbestel in Nederland van toegevoegde waarde en vindt dat iedere student toegang behoort te krijgen tot het hoger onderwijs. De andere respondent denkt dat een (gedeeltelijke) numerus fixus de kwaliteit wel ten goede kan komen of kan werken bij duurdere opleidingen.
Het interview met DUO wijst uit dat het invoeren van profielbekostiging geen problemen oplevert voor de uitvoering. De systemen van DUO zijn voldoende flexibel om een variabele bekostiging in te regelen. Wel is het belangrijk om rekening te houden met de bezwaren die ingediend kunnen worden op de toegewezen Rijksbijdrage. Er wordt geen ‘straf’ uitgedeeld waardoor instellingen geld moeten terugbetalen. Dit wordt rechtgetrokken via de aankomende bekostigingsbedragen. Echter, aangezien een bezwaarproces jaren kan duren, is het belangrijk goed na te denken over de invulling van dit proces. Het is daarbij ook belangrijk dat het geen invloed heeft op de (toekomstige) bekostiging van andere instellingen.
Een nieuwe beleidstheorie
Kijkend naar de gehele beleidstheorie gebaseerd op het advies van de AWTI, blijkt dat er diverse tussendoelen en subdoeleinden in het advies zitten waar de instellingen zich in kunnen vinden. Voorbeelden hiervan zijn het verduidelijken van de maatschappelijke opdracht, studenten op de juiste plek krijgen en het eventueel wel gebruiken van selectie aan de poort. Omdat er uit de analyse blijkt dat
60 profielbekostiging niet effectief zal zijn, is met de input van dit onderzoek een nieuwe beleidstheorie ontwikkeld waarin de voornaamst genoemde verbeteringen genoemd zijn: de mogelijkheid tot innoveren & creativiteit, verduidelijking van de maatschappelijke opdracht en extra bekostiging.
Het einddoel van de nieuwe beleidstheorie blijft gelijk aan de op het advies van de AWTI geformuleerde beleidstheorie, namelijk: het stelsel van hoger onderwijs en onderzoek toekomstbestendig maken. Het 1e orde tussendoel is enigszins aangepast. In het advies van de AWTI wordt gesteld dat universiteiten en hogescholen zich meer moeten laten leiden door de maatschappelijke vraag. Uit de analyse blijkt dat de instellingen dit al voldoende doen. Zij vinden de maatschappelijke vraag belangrijk maar focussen zich ook op de (regionale) beroepsmatige vraag. Het 1e orde tussendoel
is dan ook aangepast naar: universiteiten en hogescholen moeten zich laten leiden door de maatschappelijke en (regionale) beroepsmatige vraag. Het 2e orde tussendoel is aangepast van ‘zet aan tot profilering en bied de instrumenten daarvoor’ naar ‘bied mogelijkheden voor innovatie en creativiteit’.
De analyse laat zien dat de respondenten veel belang hechten aan creativiteit en innovatie voor onderwijs-en onderzoeksprogramma’s. De subdoeleinden die hieruit voortvloeien zijn: introduceer een inspannings- en resultaatbekostiging (1) en verduidelijk de maatschappelijke opdracht (2).
De analyse wijst uit dat de instellingen niet alleen op resultaten beoordeeld willen worden, maar ook op inspanning. Een combinatie hiertussen zou het meest optimaal zijn. Om hier te komen zijn de volgende instrumenten geformuleerd: extra bekostiging als bonus op de eerste geldstroom. Hiermee wordt de impact van de prestatiemeting beperkt. Daarnaast moet er bekostigd worden op basis van staffeltjes. Dit houdt in dat het percentage van de te ontvangen bonus groter wordt naarmate de doelstellingen worden behaald.
Om vervolgens de maatschappelijke opdracht te verduidelijken, blijkt uit de analyse dat er duidelijkheid moet komen over de reikwijdte van de autonomie van zowel de overheid als de onderwijsinstellingen.
Er is voor gekozen om de selectie aan de poort buitenwegen te laten. Dit is gedaan doordat er te veel verschillende signalen worden afgegeven. Hierdoor is het niet mogelijk dit toe te voegen aan de beleidstheorie.
61 Figuur 8. Nieuwe beleidstheorie op basis van analyse onderzoek effectiviteit profielbekostiging (Bekooij, 2019).
Zoals uit de analyse blijkt, is er sprake van diverse randvoorwaarden om draagvlak te creëren bij de eventuele invoering van profielbekostiging. Deze randvoorwaarden zijn voornamelijk gericht op het hanteren van de in dit onderzoek voorgelegde spelregels in een nieuw financieringssysteem. Met het meten van resultaten dient hier rekening mee gehouden te worden. Dit houdt in dat:
• Er zowel rekening wordt gehouden met het product én het proces. Hiermee wordt bedoeld dat er niet alleen gekeken wordt naar het resultaat of het opgeleverde product. Het is van belang dat er óók gekeken wordt naar het verhaal achter die cijfers. Het is niet alleen belangrijk om de resultaten te tellen, maar ook om het achterliggende verhaal te vertellen;
• Er een variëteit van meetsystemen moet zijn. Hiermee wordt bedoeld dat er niet alleen geëvalueerd wordt door bijvoorbeeld een auditorganisatie maar ook op basis van bijvoorbeeld peerreviews, studenten en/of medewerkers;
• Er ruimte moete zijn voor variatie in definities en indicatoren. Onderwijskwaliteit is bijvoorbeeld niet te meten met één indicator. Respondenten noemen bijvoorbeeld studententevredenheid en medewerkerstevredenheid;
• Er rekening gehouden moet worden met de impact van het bekostigingspercentage. Doordat de instellingen behoefte hebben aan stabiliteit en dit de kwaliteit van onderwijs en onderzoek ook ten goede komt, raad ik aan dat dit tussen de 5%-10% zit en niet boven die 10% komt.
62