Auditdienst Rijk Ministerie van Financien
Onderzoeksrapport
Ketenbeheersing Verlaging collegegeld
Colofon
Titel Ketenbeheersing Verlaging collegegeld Uitgebracht aan OCW/DGHBWE
Datum 11 juni 2019
Kenmerk 2019-0000094239
Inlichtingen Auditdienst Rijk 070-342 7700
Inhoud
Managementsamenvatti ng-4
1 Inleiding-6
1.1 Aanleiding en context onderzoek-6 1.2 Onderzoekvragen-6
2 Duidelijke vormgeving en programmering —8 2.1 Er zijn duidelijke afspraken over de vormgeving-8 2.2 Er is een heldere programmering-9
2.3 Lessons learned vormgeving en programmering-11
3 Voortschrijdende risicobeheersing en contingencyplanning-12 3.1 De randvoorwaarden uit de impactanalyse zijn in fase 1 gerealiseerd-12 3.2 Risico's in fase 2 en 3 beperkter door bewezen aanpak en minder tijdsdruk-13 3.3 De contingencyplanning was nogal impliciet-13
3.4 Lessons learned risicobeheersing-14
4 Gestructureerde en gefaseerde ketentesten-15 4.1 De ketentesten waren gestructureerd en gefaseerd-15
4.2 De issues die uit de testen naar voren kwamen zijn opgepakt-16 4.3 Lessons learned ketentesten-17
5 Constructieve ketenregie en -samenwerking-18 5.1 De samenwerking in de keten is constructief-18
5.2 De ketenregie ondersteunt de inzet van alle ketenpartners-18 5.3 Lessons learned ketensamenwerking-20
6 Verantwoording onderzoek-21 6.1 Werkzaamheden en afbakening-21 6.2 Referentiekader-21
6.3 Gehanteerde Standaard-22 6.4 Verspreiding rapport-22 7 Ondertekening-23
Managementsamenvatting
Aanleiding opdracht
In het regeerakkoord is in 2017 afgesproken om het collegegeld voor bepaalde groepen studenten te halveren. Om deze beleidsmaatregel met ingang van het nieuwe studiejaar 2018/19 te implementeren waren in een kort tijdsbestek aanpassingen nodig in de informatiesystemen en de werkprocessen van de organisaties in de uitvoeringsketen, te weten DUO, Studielink en de
onderwijsinstellingen. De ADR is door de Directeur-Generaal Hoger onderwijs, Beroepsonderwijs, Wetenschap en Emancipatie (DGHBWE) gevraagd om een onafhankelijke blik op de risicobeheersing tijdens het implementatietraject in de periode december 2017 tot en met april 2019.
Dit onderzoekrapport blikt terug op de bevindingen en lessons learned in dit implementatietraject. Deze ervaringen kunnen bijdragen aan de ketenbeheersing van toekomstige aanpassingen in de uitvoeringsketen.
Algemeen beeld
De beleidsmaatregel is conform de planning geImplementeerd met ingang van het studiejaar 2018/19. Belangrijke elementen in de risicobeheersing tijdens het implementatietraject waren:
• duidelijke afspraken over de vormgeving en programmering;
• voortschrijdende risicobeheersing;
• gestructureerde en gefaseerde ketentesten;
• constructieve ketensamenwerking en ketenregie.
De ketenpartners omschrijven dit traject als een schoolvoorbeeld voor goede ketensamenwerking, met dus vooral positieve lessons learned en enkele kleinere aandachtpunten voor verbetering. Met als belangrijkste aandachtspunt: bij voorkeur niet vooruitlopen op de wetgeving; maar als het dan toch moet, dan conform de in dit traject gehanteerde aanpak.
De lessons learned komen in belangrijke mate overeen met de aanbevelingen die Studielink, als ketenregisseur, reeds eerder heeft opgesteld na de afronding en evaluatie van de eerste fase van het implementatietraject.
Lessons learned
Duidelijke afspraken over de vormgeving en programmering:
• Een eenduidige vormgeving van de oplossingsrichting op basis van een impactanalyse, waarbij vanaf het begin alle (keten-)partijen zijn betrokken.
• Zoveel mogelijk aansluiten bij het al bestaande gestandaardiseerde proces in de keten.
• Een projectplan met daarin afspraken over het te behalen resultaat, de verantwoordelijkheden van de betrokken stakeholders, de mijlpalen en de planning.
• Een duidelijke fasering van het implementatietraject gebaseerd op het kritieke tijdpad: wat moet per se eerst, en wat kan later.
• Een duidelijke taakverdeling voor alle ketenpartijen, zodat voor alien duidelijk is wat van elkaar verwacht mag worden.
• Het opstellen van een roadmap, dat wil zeggen een blauwdruk van de resultaatgebieden, inclusief het benoemen van randvoorwaarden en kaders.
• Het inzetten van een monitor om de voortgang bij de afzonderlijke instellingen te meten en te bewaken.
4 van 25 I Ketenbeheersing Verlaging collegegeld
Voortschrijdende risicobeheersing:
• Vooraf analyseren en benoemen van de belangrijke risico's en beheersmaatregelen in een impactanalyse.
• De risicoanalyse en beheersmaatregelen actualiseren in projectplannen en voortgangsrapportages, gekoppeld aan de voortschrijdende implementatie.
• Consequent blijven sturen op de beheersmaatregelen. In dit geval was dat vooral: niet aanpassen van de specificaties, afbakening en definities.
• Inzet van de ketenregie gericht op de risicobeheersing in de keten (op aspecten die individuele ketenpartners overstijgen).
• Bewaren van de sense of urgency en bestuurlijk de vinger aan de pols blijven houden, ook als het implementatietraject minder spannend wordt.
• Duidelijker uitwerken en voortschrijdend actualiseren van de fall-back- plannen.
Gestructureerd en gefaseerde ketentesten:
• Vanaf de start voorzien in ketentesten en deze opnemen in de projectplanning.
• Fasering van de ketentesten, hetgeen zorgt voor voortschrijdende risicoreductie en spreiding van de werkbelasting.
• Vanaf de start een beschrijving van de testscenario's, met beoogde uitkomsten. Daarbij verzekeren dat dat de fasering voor alien helder is.
• Het onder aansturing van de ketenregie oppakken van de issues die uit de testen naar voren komen (backlog, analyse, besluit).
• Meer inzicht voor de onderwijsinstellingen in het testen van de beslisboom van DUO, via de testrapportage en desgewenst een bredere ketentest.
• Verzekeren dat de testomgevingen tijdig beschikbaar en toegankelijk zijn.
Constructieve ketensamenwerking en ketenregie:
• Bestuurlijk commitment, inclusief een expliciete bestuurlijke afspraak bij de start om er gezamenlijk voor to gaan.
• Bij de start alle ketenpartijen bij de uitvoeringskeuzes betrekken via de impactanalyse.
• Ketensturing en ketenregie over de ketenpartijen heen: een neutrale ketenregisseur en een stuurgroep met alle ketenpartners.
• Gezamenlijk (in de keten) uitdragen van de sense of urgency en zichtbare betrokkenheid van alle ketenpartners.
• Gebruik maken van bestaande ketenoverlegstructuren. Als die er niet zijn, dan is extra aandacht nodig voor het creeren van afstemmingsstructuren.
• Bestuurlijke en uitvoeringstechnische discussies duidelijk onderscheiden, maar wel met elkaar verbinden via de ketenregie en de stuurgroep.
• Actief communiceren, niet alleen op bestuurlijk niveau maar ook naar de uitvoeringslaag binnen de ketenorganisaties (transparant, toegankelijk, tijdig, regelmatig, op meerdere manieren).
• Een gedeelde analyse en afspraken in de keten over hoe de communicatie naar studenten het beste ingevuld kan worden (wie, wat, wanneer).
• De intensiteit en bemensing van de ketenregie kan verschillen per fase, maar de reikwijdte van de rol van de ketenregisseur moet eenduidig zijn.
Leeswijzer
In het inleidende hoofdstuk 1 staan de aanleiding en de onderzoekvragen nader beschreven. De hoofdstukken 2 tot en met 5 bevatten de bevindingen op de onderzoekvragen, met in de laatste paragraaf telkens een overzicht van de lessons learned. In hoofdstuk 6 staat de verantwoording van het onderzoek.
1 Inleiding
1.1 Aanleiding en context onderzoek
In het regeerakkoord is in 2017 afgesproken om het collegegeld voor bepaalde groepen studenten te halveren. Om deze beleidsmaatregel te implementeren zijn aanpassingen nodig in de informatiesystemen en de werkprocessen van DUO, Studielink en de onderwijsinstellingen. Deze organisaties vormen gezamenlijk de uitvoeringsketen voor de inning van het collegegeld.
De implementatie van de beleidsmaatregel stond onder grote politieke tijdsdruk, aangezien de invoering was gewenst met ingang van het studiejaar 2018/'19. Dit betekende dat in mei 2018 de eerste fase van de implementatie gereed moest zijn voor de nieuwe inschrijvingen, inclusief de correcte bepaling van de hoogte van het collegegeld. Dit implementatietraject was risicovol omdat er sprake is van een grotendeels geautomatiseerde informatieketen, waarbij meerdere ketenpartners hun informatiesystemen en hun werkprocessen moesten aanpassen en op'elkaar laten aansluiten. In de praktijk zijn koppelvlakken in de keten vaak kwetsbare punten, waarover duidelijke ontwerpafspraken gemaakt moeten worden en die vervolgens uitgebreid getest moeten worden, en zo nodig aangepast en opnieuw getest. Dit kost tijd, en dat was maar beperkt beschikbaar. Uitstel van de invoeringsdatum was echter ongewenst.
Startpunt van het implementatietraject was een impactanalyse voor de gehele uitvoeringsketen, gericht op het inventariseren van de risico's en randvoorwaarden van verschillende oplossingsrichtingeni. Daaruit bleek dat aan elke
oplossingsrichting risico's kleven. Daarop zijn belangrijke randvoorwaarden benoemd waar tijdens de implementatie op gestuurd moest worden:
• Snelle besluitvorming over wanneer en hoe de maatregel wordt uitgevoerd.
• Een duidelijke en stabiele definitie van de doelgroep die recht heeft op collegegeldverlaging.
• Overeenstemming om vooruit te !open op wetgeving.
• Het standaardproces zoveel mogelijk in tact laten door dezelfde werkwijze te hanteren als voor de andere ISC-waarden,.
• Testen met de juiste voorzieningen en beschikbaarheid van de testomgeving.
Aan de ADR is door de DGHBWE gevraagd om periodiek, op cruciale momenten gedurende het implementatietraject, mee te kijken of er sprake was van een voldoende beheerst traject. De ADR werd gevraagd omdat zij onafhankelijk en los van de tijdsdruk naar dit vraagstuk kan kijken.
1.2 Onderzoekvragen
De doelstelling van het onderzoek is:
Het feveren van aanvullende stuurinformatie voor de opdrachtgever, via een onafhankelijk zijlicht van de ADR, over de beheersing van de risico's bij de implementatie van de beleidsmaatregel 'verlaging collegegeld' binnen de uitvoeringsketen,
De opdrachtgever kan deze aanvullende stuurinformatie betrekken bij de besluitvorming op belangrijke momenten tijdens het implementatietraject.
I Eindrapportage 'Een goed begin is het halve werk', Impactanalyse van de maatregel Collegegeldverlaging in het hoger onderwijs (Andersson Elffers Felix, 15 december 2017)
ISC staat voor staat voor Indicatie Soort Collegegeld, hetgeen gehanteerd wordt in de geautomatiseerde processen. (W=wettelijk; I=instellingscollegegeld; en de nieuwe ISC-waarde is L=verlaagd collegegeld)
6 van 25 I Ketenbeheersing Verlaging collegegeld
De bijbehorende onderzoekvragen luiden:
1. Zijn er binnen de uitvoeringsketen duidelijke afspraken gemaakt over de vormgeving en programmering van het implementatietraject, zoals de op te leveren (tussen)producten, kwaliteitseisen, samenhangende planning, mijlpalen (go/ no go-momenten), rolverdeling en verantwoordetijkheden?
2. Hoe wordt er tijdens de implementatie gestuurd op het beheersen van de risico's en de randvoorwaarden die zijn opgenomen in de impactanalyse?
3. Vinden er gestructureerde (keten)testen plaats en worden er
beheersmaatregelen getroffen voor de daarin gesignaleerde gericht op het goed functioneren van de gehele informatieketen?
4. Op welke wijze geeft het implementatietraject vorm aan
contingencyplanning, gericht op het tijdig bijsturen en eventueel
ontwikkelen van terugvalopties om een haalbaar eindresultaat te realiseren?
5. Is er volgens de geInterviewden voldoende samenwerking en onderling vertrouwen binnen de keten om de ketendoelen te realiseren?
6. Wat zijn de lessons learned volgens de ketenpartners, op basis van hun ervaringen, na afronding van het implementatietraject?
De uitvoering van het onderzoek vond plaats op drie momenten, te weten maart en juli 2018 en april 2019. De ADR heeft op basis daarvan twee interne
tussenberichten opgesteld en deze overkoepelende eindrapportage.
Een nadere verantwoording van de onderzoekaanpak is opgenomen in hoofdstuk 6.
2 Duidelijke vormgeving en programmering
Dit hoofdstuk beschrijft de bevindingen op onderzoekvraag 1: zijn er binnen de uitvoeringsketen duidelijke afspraken gemaakt over de vormgeving en
programmering van het implementatietraject, zoals de op te leveren
(tussen)producten, kwaliteitseisen, samenhangende planning, mijipalen (go/ no go- momen ten), rolverdeling en verantwoordelijkheden?
2.1 Er zijn duidelijke afspraken over de vormgeving
Het startpunt voor de vormgeving van het implementatietraject was de
impactanalyse die in december 2017 is opgeleverd. In de impactanalyse is gekeken naar vier oplossingsrichtingen: de structurele oplossing, via aanpassingen in de grotendeels geautomatiseerde processen, en drie tijdelijke oplossingen. De tijdelijke oplossingen dienden voor een eventuele overbruggingsperiode indien de structurele oplossing niet tijdig voorafgaand aan het studiejaar 2018/19 kon worden
geimplementeerd. De voorkeur ging uit naar het direct implementeren van de structurele oplossing, maar daardoor nam de tijdsdruk op het implementatietraject fors toe. Uiteindelijk is gekozen voor de structurele oplossing.
De bestaande keten bestaat uit 10 stappen (zie figuur).
corn rnu nicee rt Student meldt zich aan Studiefinit geed de
QllO bepaalt de
Via Pude** ,goat de over vacs waarden den en kosten In Studleini4 voor een gegevens door ain de
oclicatle soort
Indicade naar de van eon opreiding opkicling Inge-Hirt; en aan D0.J0 coliesiegelo
instentng
11111011n slam de Incitcalle op In Naar Student Info Sycteem
SIS van de initellteg be rettent met doze en andere rgevens het
Studleitnitverrneldt dtt bedrag In de hetaalmodule
Student bevestlgt de machtiOng aan de
Instelling
Instetting lncasseert het coliegegeld van be
-student
In het Projectplan is de structurele oplossing uitgewerkt3. Concreet betekent het aanpassen van de bestaande keten dat:
• Een nieuwe waarde in de systemen van DUO, Studielink en de
onderwijsinstellingen (SIS4) wordt aangemaakt. Besloten is dit de L-waarde te noemen naast de bestaande waarden (I-waarde of W-waarde).
• Een student krijgt na aanmelding een indicatie van DUO met een van deze waarden
• Deze waarde wordt in de bestaande keten als bericht doorgegeven tussen de systemen.
Dit betekent wel:
• Een extra veld: er is een extra waarde binnen de bestaande set waarden
• Extra uitkomst: een student zal in pleats van een I-waarde of een W-waarde een L-waarde als indicatie kunnen krijgen.
• Dat kleine aanpassingen in principe binnen dit hoofdproces gerealiseerd kunnen worden.
Dit betekent niet:
• Meer berichten: het aantal berichten blijft in principe gelijk, alleen de inhoud van het bericht wijzigt.
• Nieuwe koppelvlakken: de gehele keten staat, alleen de inhoud van het bericht verandert.
• Nieuwe partners of veranderingen in de ketenopbouw.
• Andere vorm van het bericht: in principe verandert de samenstelling van het bericht in fase 1 niet. In fase 3 was wel een aanpassing nodig omdat ook
Projectplan en plan van aanpak Invoering maatregel halvering collegegeld (Studielink, dd 28-2-2018) 4 SIS staat voor student-intormatiesysteem. In de praktijk zijn er 9 verschillende SIS-leveranciers.
8 van 25 Ketenbeheersing Verlaging collegegeld
het aantal maanden verlaagd collegegeld bij tussentijdse instroom moet worden verwerkt.
Er zijn duidelijke afspraken gemaakt over de vormgeving, waarmee het project invulling heeft gegeven aan de volgende aandachtspunten in het referentiekader:
• Er is een projectplan waarin de volgende elementen zijn uitgewerkt:
doelstellingen, kwaliteitseisen, planning en mijlpalen, risico's, beheersmaatregelen, communicatie, informatievoorziening.
• Er is een gemeenschappelijk ketendoel dat wordt gedragen door de ketenpartners.
• Er is sprake van een vorm van standaardisatie van output en/of input die ervoor zorgt dat het ketenproces efficient verloopt bij de raakvlakken tussen de ketenpartners (coordinatiemechanismen tussen de ketenpartners).
• De informatiestructuur en de informatietechnologie van de ketenpartners is ondersteunend aan het ketenproces (planning en coordinatie, verbindingen, elektronische samenwerkingsinstrumenten, procedurele integratie van informatievoorziening, wederzijdse ontsluiting van informatie).
• Er zijn kwaliteitseisen gesteld waaraan de informatiesystemen moeten voldoen.
In het Projectplan is tevens de projectorganisatie beschreven inclusief de
verschiflende rollen en verantwoordelijkheden. In hoofdstuk 5 gaan we nader in op de invulling van de ketenregie en de samenwerking in de keten.
2.2 Er is een heldere programmering
Het invoeringstraject is onderscheiden in drie fases:
FASE 1: FASE 2: FASE 3:
Halvering Halvering 2e-jaars Ondersteuning le-jaars studenten
leraren- opleidingen tussentijdse (per 2018-2019)
(per 2019-2020)
instroom
In het projectplan en de voortgangsrapportages zijn mijlpalen en actoren benoemd.
Onderstaand een overzicht hiervan:
Mijipaal
deadline Actor(en) Fase 1
Specificatie gereed en verzonden
12 februari 2018
DUO, Studielink naar instellingen en SIS
Uitvoering technische test DUO-SL
16 maart 2018
DUO, Studielink Aanpassingen systemen SIS gereed
3 april 2018
DUO, Studielink, SIS- leveranciers
Impact op processen en andere
6 april 2018
Instellingen system en bepaald
Uitvoering integratietest DUO-SL- 10 april 2018
DUO, Studielink, SIS-
SIS
leveranciers Ketentest DUO-SL-SIS-Instelling
25 april 2018
DUO, Studielink, SIS- leveranciers,
Instellingen Correctie Indicatie soort
15 mei 2018
DUO, Studielink collegegelden voor al ingediende
verzoeken inschrijving 2018/2019 Start machtigingen verzenden aan
16 mei 2018
Instellingen studenten
Fase 2
Definitieve doelgroep vaststellen en communiceren aan DUO en
Instellingen
Opstellen van een checklist met uit te voeren activiteiten en
Toelichting plan van aanpak Aanpassingen beslisboom en uitvoeren interne testen Voorbereiden demo en testen
Organisatie demo Testen via testomgeving Studielink/DUO
Afronding en decharge fase 2
Juni 2018
Juni/juli 2018
Augustus 2018 September 2018
Oktober 2018 November 2018 December 2018
Fase 3
Definitief maken van de specificaties 3 7 december 2018 Aanpassingen doorvoeren in eigen Half februari
systemen
a
2019Voorbereidingen treffen voor Half januari 2019 integratietest tussen DUO,
Studielink, SIS-leveranciers
Integratietest afgerond
Eind februari 2019
Ketentest tussen DUO, Studielink en 29 maart 2019 Instellingen afgerond
Afgeven acceptatie-advies nav
Eind maart 2019 ketentest
Uitkomsten ketentest delen
Begin april 2019 Nieuwe versie SIS'sen uitgerold
Begin april 2019 binnen Instelling op productie-
' omgeving
Gewijzigde programmatuur
23 april 2019 Studielink en DUO naar productie
OCW
Studielink
DUO
Studielink, DUO en Instellingen Studielink, DUO Instellingen
alien
DUO, Studielink, SIS- leveranciers
DUO, Studielink, SIS- leveranciers
DUO, Studielink, SIS- leveranciers
DUO, Studielink en Instellingen Instellingen
Studielink
SIS-leveranciers en Instellingen
Studielink en DUO
Per fase is een verdiepende uitwerking gemaakt van de uit te voeren
werkzaamheden en het te verwachten resultaat. Het bewaken van de voortgang is een taak die bij de ketenregisseur is belegd. Voor het bewaken van de voortgang zijn er verschillende instrumenten ingezet. Naast het gebruik van
voortgangsberichten, is onder meer het instrument 'Monitor' gebruikt om de voortgang bij de afzonderlijke instellingen te meten en te bewaken. De Monitor is gedurende het verloop van het project ingezet voor de belangrijke
mijlpaalmomenten. Het is bedoeld om van alle partijen tussentijds voor de mijlpaalmomenten bevestiging te krijgen van de status quo.
De programmering is duidelijk in zijn verwachtingen. Er is invulling gegeven aan de volgende aandachtspunten in het referentiekader:
• Het project is geclusterd in logische, overzichtelijke en bestuurbare delen (decompositie, onderlinge samenhang, op te leveren resultaten,
overkoepelende applicatiestructuur) met bijbehorende integrale planning en go/no-go-momenten (inclusief het kritieke pad).
• Het ketendoel is onderverdeeld naar subdoelstellingen voor de ketenpartners (die bij voorkeur niet met elkaar conflicteren; en indien dat wel het geval is, zijn er afspraken gemaakt over gemeenschappelijke procedures).
• Het is duidelijk welke (tussen)producten moeten warden opgeleverd en aan welke kwaliteitseisen die moeten voldoen (kritische succesfactoren,
operationele productcriteria, acceptatie-etsen).
10 van 25 I Ketenbeheersing Verlaging collegegeld
Het voortuitlopen op de wetgeving wordt door alle ketenpartners gezien als complicerend voor het implementatietraject vanwege de tijdsdruk, de onzekerheid over de definities en specificaties die geImplementeerd moeten worden en de voorbehouden in de communicatie naar instellingen en studenten. In dit geval heeft het niet tot grate obstakels geleid, alhoewel sommige instellingen in eerste instantie het wetgevingstraject wilden afwachten. Op zich begrijpelijk; zij moesten extra warden gemotiveerd om al voor de afronding van het wetgevingstraject activiteiten te ontplooien. Vrijwel alle geInterviewden geven aan dat het vooruitlopen op de wetgeving zich moet beperken tot uitzonderingsgevallen, maar als het dan toch moet, dan conform de in dit traject gehanteerde aanpak.
2.3 Lessons learned vormgeving en programmering
Terugkijkend was er sprake van een heldere vormgeving en programmering.
Belangrijke elementen daarin waren:
• Een eenduidige vormgeving van de oplossingsrichting op basis van een impactanalyse, waarbij vanaf het begin alle (keten-)partijen zijn betrokken.
• Zoveel mogelijk aansluiten bij het al bestaande gestandaardiseerde proces in de keten.
• Een projectplan met daarin afspraken over het te behalen resultaat, de verantwoordelijkheden van de betrokken stakeholders, de mijipalen en de planning.
• Een duidelijke fasering van het implementatietraject gebaseerd op het kritieke tijdpad: wat moet per se eerst en wat kan later.
• Het opstellen van een roadmap, dat wil zeggen een blauwdruk van de resultaatgebieden, inclusief het benoemen van randvoorwaarden en kaders.
• Een duidelijke taakverdeling voor alle ketenpartijen, zodat voor alien duidelijk is wat van elkaar verwacht mag worden: welke tussenproducten (met welke kwaliteitseisen) moeten worden opgeleverd.
• Het inzetten van een monitor om de voortgang bij de afzonderlijke
instellingen te meten en te bewaken. Dit instrument geeft duidelijkheid over de status quo voordat een mijlpaalproduct kan worden afgerond.
Verbeterpunt:
• Bij voorkeur niet vooruitlopen op de wetgeving (maar als het dan toch moet, dan conform de in dit traject gehanteerde aanpak).
3 Voortschrijdende risicobeheersing en contingencyplanning
Bit hoofdstuk beschrijft de bevindingen op de onderzoekvragen 2 en 4: hoe wordt er tijdens de implementatie gestuurd op het beheersen van de risico's en de
randvoorwaarden die zijn opgenomen in de impactanalyse? En op welke wijze geeft het implementatietraject vorm aan contingencyplanning, gericht op het tijdig bijsturen en eventueel ontwikkelen van terugvahopties?
3.1 De randvoorwaarden uit de impactanalyse zijn in fase 1 gerealiseerd
In de impactanalyse zijn, zoals beschreven in paragraaf 1.1, de randvoorwaarden benoemd om de beleidsmaatregel tijdig te kunnen implementeren. In fase 1 is succesvol gestuurd op het realiseren van deze randvoorwaarden:
• Snelle besluitvorming is gerealiseerd in december 2017 op basis van de impactanalyse en de go-life voor fase 1 in april 2018.
• Er is in 2018 vastgehouden aan de gekozen definitie van de doelgroep.
• Het implementatietraject in de uitvoeringsketen werd gerealiseerd parallel aan het wetgevingstraject.
• Het standaardproces is in fase 1 zoveel mogelijk in tact gelaten door alleen een 'L'-waarde toe te voegen aan de bestaande ISC-waarden.
• Er zijn gestructureerde en gefaseerde ketentesten uitgevoerd.
De belangrijkste onzekerheid tijdens de implementatie van fase 1 betrof een
mogelijke wijziging in politieke prioriteiten leidend tot een andere afbakening van de doelgroep. Afhankelijk van de aard van een dergelijke wijziging zou opnieuw getest moeten worden, de ISC-waarde aangepast moeten worden of eventueel zelfs een nieuwe informatiebasis bij DUO opgezet moeten worden. Dit laatste zou een of meerdere jaren vergen. Aangezien de implementatie in het uitvoeringstraject parallel aan het wetgevingstraject plaatsvond, bleef lang onzeker of er nog wijzigingen in de doelgroep zouden plaatsvinden. Uiteindelijk zijn wensen voor implementatie-verstorende aanpassingen met succes afgehouden, mede door de gezamenlijke argumentatie en ondersteuning vanuit de ketenpartners.
Bovendien was het vooruitlopen op de wetgeving aanleiding voor enkele
onderwijsinstellingen en informatieleveranciers om een afwachtende houding aan te nemen. In dat geval zou de beoogde invoeringsdatum niet gerealiseerd worden.
Vanuit de ketenregie is er veel inspanning gezet op het in de 'doe-stand' krijgen van alle betrokken partijen, via communicatie en voorlichting, het opstellen van een roadmap en het monitoren van de voortgang bij de afzonderlijke instellingen.
Ten tijde van het eerste tussenbericht van de ADR op 23 april 2018 stonden er verder nog als risico's open:
• Eventuele issues uit het laatste deel van de ketentesten, die op dat moment nog niet volledig afgerond waren.
• Mogelijke knelpunten bij de implementatie in de interne processen en systemen van afzonderlijke onderwijsinstellingen, waarvoor eventueel extra tijd en nadere ondersteuning nodig is.
• Vertraging bij de uitvoering van de correcties op de reeds ingediende inschrijvingsverzoeken, waardoor het machtigingenproces (deels) pas in juni zou kunnen starten.
Afbrokkelend draagvlak voor de maatregel als bij de verdere implementatie extra uitvoeringslast ontstaat voor de onderwijsinstellingen (door
bezwaarschriften, correcties of interne aanpassingen).
12 van 25 I Ketenbeheersing Verlaging collegegeid
In juli 2018, tijdens het tweede zijlicht van de ADR, bleken deze risico's grotendeels niet meer actueel door het voortschrijden van de implementatie. Fase 1 was toen afgerond. De beperkte issues uit de ketentest waren opgelost en de benodigde correcties waren uitgevoerd, conform de aanpak die onder aansturing van de ketenregie was afgesproken. Er was nog wel een voorbehoud voor extra
uitvoeringslast door eventuele bezwaarschriften van ontevreden studenten, die door de gekozen afbakening geen recht op halvering collegegeld zouden krijgen. Hierop is de communicatie en voorlichting naar instellingen en studenten versterkt, onder verwijzing naar de inmiddels vastgestelde regelgeving.
3.2 Risico's in fase 2 en 3 beperkter door bewezen aanpak en minder tijdsdruk
In juli 2018 waren door de voortschrijdende ontwikkeling van het
implementatietraject de grootste risico's achter de rug omdat fase 1 was afgerond en zich had bewezen. Fase 2 en fase 3 moesten nog wel verder uitgewerkt en geimplementeerd worden, maar de aanpak die zich in fase 1 bewezen had werd voortgezet. Bovendien was de tijdsdruk beduidend minder, omdat fase 2 en 3 betrekking hadden op het volgende studiejaar en dus uiterlijk op 1 mei 2019, voorafgaande aan de herinschrijvingen, gereed moesten zijn.
De belangrijkste risico's die in juli 2018 open stonden waren:
• Het behouden van de sense of urgency uit fase 1.
• Heldere communicatie naar instellingen en studenten over de afbakening van de doelgroep in fase 2 en 3.
• Mogelijke interferentie van het implementatietraject door de herbouw van Studiefink.
• Een mogelijk grotere impact in fase 3 als gekozen zou worden voor een verdergaand geautomatiseerde variant.
• Bovendien moest de projectplanning en ketenregie voor fase 3 nog vormgegeven worden (plan van aanpak, roadmap, bemensing).
Na de zomer van 2018 is de sense of urgency weliswaar afgenomen in fase 2 en 3, maar de aanpassingen in de keten zijn tijdig gerealiseerd. Fase 2 is afgerond in oktober 2018 met de aangepaste beslisboom bij DUO. Hiervoor waren geen technische aanpassingen in de rest van de keten nodig.
Voor de implementatie van fase 3 is wederom een impactanalyse uitgevoerd en is in oktober gekozen voor een technisch haalbare en voor de ketenpartners acceptabele variant. Voor fase 3 is wederom een ketenregisseur aangesteld om het traject aan te sturen. Bestuurlijk was de afstand echter beduidend groter dan in fase 1 en was het uitgangspunt vooral 'geen bericht is goed bericht'. Meerdere geInterviewden noemen de vinger aan de pots blijven houden een aandachtspunt, ook als het implementatietraject minder spannend lijkt te worden. Daarnaast was er, mede door de afgenomen bestuurlijke aandacht, extra inspanning vanuit de ketenregie nodig om de voortgang er in te houden bij sommige SIS-leveranciers en
onderwijsinstellingen. Eind april 2019 stonden alle seinen op groen om fase 3 tijdig of te ronden.
3.3 De contingencyplanning was nogal impliciet
Contingencyplanning is onderdeel van het risicomanagement en is gericht op het tijdig treffen van voorzieningen en het ontwikkelen van alternatieven bij het optreden van (mogelijke) knelpunten. Bij de start van het implementatietraject is daartoe een fall-backscenario vastgesteld, te weten oplossingsrichting 3 uit de impactanalyse (compensatiebetaling door DUO aan studenten) voor het geval oplossingsrichting 1 niet haalbaar zou zijn. Dit alternatief kende echter de nodige haken en ogen, zoals hoge uitvoeringskosten en privacy-aspecten.
In het tussenbericht in april 2018 hebben we geconstateerd dat de implementatie inmiddels gevorderd is en eerder voorziene risico's deels niet meer actueel zijn.
Daardoor was de oorspronkelijke oplossingsrichting 3 niet meer automatisch de logische fall-back, uitgaande van een geactualiseerde en voortschrijdende
contingencyplanning. Een dergelijke actualisatie had echter niet plaats gevonden. Er was alleen (impliciet) verkend of beperkte aanpassingen of aanvullingen op
oplossingsrichting 1 inmiddels als fall-back konden dienen, bijvoorbeeld in de vorm van ondersteunend maatwerk, enkele weken uitstel of een gedifferentieerde planning voor groepen instellingen. Maar daar bestond geen duidelijk beeld over en er leken verschillende inzichten onder de ketenpartners te bestaan over het
'omslagpunt' om over te stappen op een dergelijk fall-backscrenario. Ook was er geen geInformeerde kosten-batenafweging of oplossingsrichting 4 uit de
impactanalyse ('later aanpassen huidig proces') inmiddels als fall-back zou kunnen dienen. Mocht er dus in april of mei 2018 alsnog een alternatief voor
oplossingsrichting 1 noodzakelijk zijn geweest, dan zou er eerst een hernieuwde afweging van de alternatieven moeten plaatsvinden. Het was echter onhelder wanneer een eventuele deadline voor alternatieve oplossingsrichtingen werd gepasseerd. Het zou een onvoldoende geInformeerde keuze zijn om op dat moment automatisch te kiezen voor oplossingsrichting 3.
Achteraf gezien was er geen probleem omdat oplossingsrichting 1 ongewijzigd en tijdig geImplementeerd kon warden. Er was dus geen fall-back nodig. Dat neemt niet weg dat de voortschrijdende contingencyplanning wel een bewuste afweging moet zijn, waarbij het helder moet zijn wat het uiterste moment is om met de uitwerking van voortschrijdende alternatieven te starten.
3.4 Lessons learned risicobeheersing
Terugkijkend is er succesvol gestuurd op de risicobeheersing en is de beoogde oplossingsrichting 1 tijdig geimplementeerd. Belangrijke elementen hierbij waren:
• Het vooraf analyseren en benoemen van de belangrijke risico's en beheersmaatregelen in een impactanalyse.
• De risicoanalyse en beheersmaatregelen actualiseren in projectplannen en voortgangsrapportages, gekoppeld aan de fasering van het
implementatietraject (voortschrijdende risicoreductie).
• Consequent blijven sturen op de beheersmaatregelen. In dit geval was dat vooral: niet aanpassen van de specificaties, afbakening en definities gedurende het implementatietraject.
• Inzet van de ketenregie gericht op de risicobeheersing in de keten, dus met bijzondere aandacht voor aspecten die individuele ketenpartners
overstijgen. Denk aan:
- ketenbrede communicatie en overleg (ter ondersteuning en uitwerking van de snelle besluitvorming);
- voorlichting en ondersteuning van de onderwijsinstellingen en SIS-
leveranciers (via onder andere een roadmap met activiteiten en te realiseren aanpassingen);
- monitoring en aanspreken van ketenpartners op de voortgang.
Verbeterpunten:
• Bewaren van de sense of urgency en bestuurlijk de vinger aan de pals blijven houden als het implementatietraject minder spannend lijkt te warden.
• Duidelijker uitwerken en voortschrijdend actualiseren van de fall-back- plannen.
14 van 25 I Ketenbeheersing Verlaging collegegeld
DU Stud el
waa
!evert via d
t stage
wI. lank
uchelink
()ant
devan ht,t oilegegeld
de student ougte van het afgeven
Chet Van de
,gegeki 1114( htifp g
4 Gestructureerde en gefaseerde ketentesten
Dit hoofdstuk beschrijft de bevindingen op onderzoekvraag 3: vinden er
gestructureerde (keten)testen plaats en worden er beheersmaatregelen getroffen voor de daarin gesignaleerde risico's gericht op het goed functioneren van de gehele informatieketen?
4.1 De ketentesten waren gestructureerd en gefaseerd
De testaanpak is door het project in gefaseerde testtrajecten onderscheiden5.
Binnen deze testtrajecten wordt de werking van delen van de keten en de volledige keten getest. Een belangrijk doel van deze testtrajecten is de werking van de verschillende aanpassingen geintegreerd en in de keten (end2end) te testen. De aanpassingen in de eerste schakel van het proces, moeten leiden tot de verwachte output in de laatste schakel.
Onderstaand een overzicht van de verschillende schakels in het collegegeldproces, die in de verschillende testtrajecten worden meegenomen.
Er worden gestructureerde testen uitgevoerd om vast te stellen dat aan de kwaliteitseisen wordt voldaan. In het referentiekader voor het beoordelen van de testen hebben we ons gebaseerd op de testmethodiek TMap, een standaard voor gestructureerd testen. TMap hanteert daarvoor vier pijlers:
• Fasering: het plannen, voorbereiden en uitvoeren van de testen met behulp van een faseringsmodel (o.a. specificatie, risicotaxatie, bepalen
teststrategie, opstellen testdraaiboek, controleren en beoordelen testresultaten, hertests, afronding).
• Technieken: er worden relevante testspecificatietechnieken gebruikt waarmee bepaalde eigenschappen (kwaliteitsattributen) van een informatiesysteem worden gemeten (o.a. functionaliteit, bruikbaarheid, continuiteit, beveiliging, performance, beheerbaarheid, inpasbaarheid en connectiviteit).
• Infrastructuur: een stabiele, beheersbare en representatieve testomgeving, die is afgescheiden van andere omgevingen.
• Organisatie: voor iedere test moet beschreven zijn wie hem uitvoert, wie er verantwoordelijk voor is, wie controleert dat de test goed is uitgevoerd en aan wie de resultaten worden doorgegeven.
De organisatie en fasering van de testtrajecten waren duidelijk beschreven. DUO heeft intern de aanpassingen in de beslisboom om de indicatie soort collegegeld te bepalen, en waarde het meeleveren in de ISC veiden, getest. Vervolgens zijn er gefaseerd drie testen uitgevoerd waarin telkens een extra schakel in het proces is getest:
Testaanpak maatregel collegegeldhalvermg (pag.5)
• Technische test DUO en Studielink: de eerste twee schakels, waarin wordt vastgesteld aangeleverd en opgeslagen bij Studielink.
• Integratietest DUO, Studielink en SIS-leveranciers: de eerste drie schakels, waarin wordt vastgesteld of het SIS de 'L'waarde ontvangt en opslaat.
• Ketentest DUO, Studielink en instellingen: alle schakels, waarin de werking in de keten wordt getest.
Per soort test zijn testscenario's ontwikkeld. Deze testscenario's bevatten de nieuwe 'L'waarde en de effecten daarvan en ze bevatten de reeds bestaande 'W'- en 'I'waarde. Die Iaatste testscenario's zijn erop gericht om te testen of de
functionaliteit met de bestaande waarden blijvend goed functioneren, dat er geen onbedoelde wijzigingen op de functionaliteit zijn uitgevoerd.
Tijdens het uitvoeren van de testen waren er enkele kleinere knelpunten die tijdens het testen opgepakt moesten worden. Zo waren de testomgevingen niet altijd beschikbaar of voor iedereen toegankelijk op het geplande moment. In de eerste fase bleek de testomgeving van DUO een week niet beschikbaar en in de derde fase bleek dat DUO niet aangesloten was op de nieuwe testomgeving van Studielink. Ook was voor sommige testende onderwijsinstellingen de afbakening van de testfase niet altijd duidelijk. Bij sommige instellingen waren bevindingen uit een eerdere test, terwijI een nieuwe testfase ook was gestart, waardoor voor hen niet altijd duidelijk was of de te testen scenario's nog een afloop was van de eerdere bevindingen of al de nieuwe testfase betrof.
Uiteindelijk was dit niet belemmerend voor het afronden van het testprogramma, maar de planning en beschikbaarheid van de testomgevingen en de heldere fasering van de testscenario's blijft wel een aandachtpunt voor toekomstige ketentesten.
Een ander aandachtspunt is de reikwijdte van de uit te voeren testen. Bij onderwijsinstellingen is er behoefte aan inzicht in de wijze waarop DUO de
beslisboom heeft ingeregeld en getest, aangezien de ISC-waarde die DUO aan hen levert de basis is waarop zij het collegegeld vaststellen. Dat inzicht is nu beperkt aanwezig. Hierin kan deels worden voorzien door het verstrekken door DUO van haar testrapportage. Daarnaast willen veel instellingen graag breder testen, dus niet alleen of een bericht aankomt, maar ook of het bericht juist is (hoewel DUO dat reeds getest heeft). Op zich willen Studielink en DUO daar we! aan meewerken, maar het vraagt ook extra capaciteit en doorlooptijd.
4.2 De issues die uit de testen naar voren kwamen zijn opgepakt
Uit de testrapportage Ketentest fase 1 (d.d. 1 mei 2018) blijkt dat er bij een SIS- leverancier enkele issues waren waarbij geen correct resultaat uit de test kwam.
Door zes onderwijsinstellingen werd het pakket van deze leverancier gebruikt.
Uiteindelijk zijn de noodzakelijke aanpassingen tijdig doorgevoerd. De overige 8 SIS-leveranciers lieten op 1 mei 2018 al een positief resultaat zien en gaven de betrokken onderwijsinstellingen een positief advies voor in productieneming.
Fase 2 betrof een technische aanpassing en is een DUO-intern opgelost. Er zijn geen signalen dat hieruit blokkerende issues zip geweest. We hebben hierover geen rapportages ingezien.
Uit de testrapportage fase 3 (d.d. 3 april 2019) blijkt dat de meeste issues inmiddels zijn opgelost. Er zijn medio april nog drie openstaande issues die niet blokkerend zijn op de live-gang op 1 mei. Vijf onderwijsinstellingen zullen naar verwachting deze fase 3 kort na 1 mei implementeren, omdat deze instellingen niet op tijd de juiste versie van hun SIS hebben. Een issue heeft extra aandacht nodig gehad. Dit betreft de signalering bij een wijziging in de grondslag die mogelijk effect heeft op de indicatie collegegeld. Die wijziging betreft dan de aanlevering van een graad of een wijziging in de nationaliteitsgegevens. Dit is door de halvering van het
collegegeld in cornbinatie met tussentijdse instroom relevant geworden. Hiervoor is een work-around ontwikkeld.
16 van 25 I Ketenbeheersing Verlaging collegegeld
Proces
HT-01 Februari-instroom: het kunnen ontvangen en verwerken van de L-waarde ISC (mnd=5)
HT-02 Het kunnen ontvangen van de L-waarde ISC (mnd=11)
HT-03 L-waarde ISC (mnd=1). Herinschrijfknop: Student kiest herinschrijven andere vorm van opleiding
OK NOK
1 0 0 De testmonitor van april 2019 geeft het volgende beeld van de stand van zaken voigens de onderwijsinstellingen:
4.3 Lessons learned ketentesten
Terugkijkend hebben er duidelijk gestructureerde ketentesten plaatsgevonden en zijn de issues die uit de testen naar voren kwamen opgepakt. Belangrijke aspecten hierbij waren:
• Het vanaf de start voorzien in ketentesten en deze opnemen in de projectplanning.
• Het onderkennen van de verschillende fases in de testen, waarbij de
gestructureerde ketentesten zorgen voor voortschrijdende risicoreductie. Een ander voordeel is dat de fasering de werkbelasting bij de onderwijsinstellingen spreidt.
• Vanaf de start een beschrijving hebben van de testscenario's (met beoogde uitkomsten). Daarbij verzekeren dat dat de fasering van de testscenario's voor alien helder is.
• Het onder aansturing van de ketenregie oppakken van de issues die uit de testen naar voren komen: op de backlog plaatsen, analyseren door de betrokken ketenpartners en (indien nodig) mogelijke oplossingen agenderen voor besluitvorming.
Verbeterpunten:
• Meer inzicht voor de onderwijsinstellingen in het testen van de beslisboom van DUO, door het verstrekken van de testrapportage en desgewenst door het breder opzetten van de ketentest.
• Verzekeren dat de testomgevingen tijdig beschikbaar en toegankelijk zijn.
5 Constructieve ketenregie en -samenwerking
Dit hoofdstuk beschrijft de bevindingen op onderzoekvraag 5: Is er volgens de geinterviewden voldoende samenwerking en onderling vertrouwen binnen de keten om de ketendoelen te realiseren? Daarbij wordt tevens ingegaan op de rol van de ketenregie.
5.1 De samenwerking in de keten is constructief
Gedurende het gehele implementatietraject was er sprake van constructieve samenwerking tussen de ketenpartners. Belangrijk daarvoor was het bestuurlijk commitment dat bij de start van het traject is uitgesproken. Dit was cruciaal gezien de tijdsdruk en het beperkte draagvlak onder onderwijsinstellingen om deze beleidsmaatregel, vooruitlopend op de wetgeving, te implementeren. Tevens was belangrijk dat de aanpak gezamenlijk is vastgesteld op basis van een ketenbrede impactanalyse, waar alle ketenpartijen hun input voor geleverd hebben. Het hielp daarbij dat de technische aanpassingen in de systemen en werkprocessen voor alle partijen beperkt en overzichtelijk waren.
De gezamenlijk gedeelde sense of urgency werd vanuit het ketenregieoverleg en de deelnemende partners actief uitgedragen naar de onderwijsinstellingen en SIS- leveranciers, in het bijzonder tijdens de cruciale fase 1 van het
implementatietraject. Dit was noodzakelijk omdat elke onderwijsinstelling zeif verantwoordelijk is voor de inrichting en aanpassing van haar interne
bedrijfsvoering. De instellingen `zitten niet aan een lijntje' bij OCW, Studielink of de onderwijskoepels. Dit betekent dat ze hun eigen keuzes kunnen maken over de wijze en het moment waarop ze hun interne processen en systemen aanpassen.
Belangrijke aandachtspunten in het referentiekader voor de ketensamenwerking zijn een ondersteunende organisatie- en communicatiestructuur. Via de ketenregie en het gebruik maken van ingeregelde samenwerkingsprocessen is daar invulling aan gegeven, zoals de samenwerking op de werkvloer tussen DUO en Studielink, de Wijzigingsadviesraad en de gebruikersoverleggen met de SIS-leveranciers. Hierdoor hoefden er geen nieuwe communicatiestructuren te warden ingericht, met
bijbehorende risico's in de vorm van het ontbreken van gemeenschappelijke ketenwaarden, een gemeenschappelijke taal en omgangsvormen om elkaar te (willen) begrijpen. De keten was wat dat betreft al op elkaar ingespeeld.
Toch zijn er op het punt van communicatie nog wel enkele aandachtspunten. De communicatie naar instellingen en studenten werd in fase 1 noodgedwongen
beperkt door het vooruitlopen op het wetgevingstraject, maar volgens ketenpartners had OCW desondanks minder terughoudend in de communicatie kunnen zijn.
Na de vaststelling van de regelgeving, toen de doelgroep definitief was afgebakend, was er meer ruimte voor actieve communicatie naar instellingen en studenten. De meningen zijn wisselend of daar maximaal invulling aan is gegeven. OCW heeft de directie Communicatie ingeschakeld om Q&A's en een infographic te ontwikkelen, maar het bleek lastig om snel een verheldering op rijksoverheid.n1 te zetten. Ook zijn er twijfels of studenten daarmee goed bereikt worden, waardoor de
communicatie naar studenten sterker bij de instellingen kwam te liggen.
5.2 De ketenregie ondersteunt de inzet van alle ketenpartners
Er is een vliegende start gemaakt door alle ketenpartners, inclusief verschillende SIS-leveranciers en informatiebeheerders van onderwijsinstellingen, al tijdens de voorbereidende impactanalyse te betrekken bij de uitwerking van het
implementatietraject.
Vervolgens zijn bestaande ketenoverlegstructuren ingezet tijdens het
implementatietraject, onder regie van Studielink, met ondersteuning vanuit de
18 van 25 I Ketenbeheersing Verlaging coilegegeld
andere ketenpartners (OCW, DUO, onderwijskoepels). De centrale verbindende rol van Studielink wordt in deze keten door alle partijen als logisch gezien omdat Studielink in het midden van de keten is gepositioneerd, met zowel verbinding naar OCW (DUO) als naar de onderwijsinstellingen en SIS-leveranciers. Bovendien is Studielink bestuurlijk verbonden met de onderwijskoepels.
In een dergelijk implementatietraject is ketenregie nodig om te voorkomen dat elke ketenpartner zich alleen richt op het eigen aandeel in de keten. De ketenregisseur zorgt voor verbinding 'over de keten heen' door de ketenpartners bij elkaar brengen en aan te spreken, de voortgang te bewaken en risico's te agenderen. Volgens de betrokkenen hoeft dat niet per se een externe ketenregisseur te zijn. Dat is afhankelijk van de impact van het implementatietraject. Bij grote risicovolle trajecten en trajecten waarbij de belangen en voorkeuren van ketenpartners sterk uiteen lopen ligt een 'neutrale' externe ketenregisseur meer voor de hand. In kleinere (normale) trajecten zou Studielink de ketenregie erbij kunnen doen, waarbij er wel een rapportagelijn moet zijn naar een ketenbrede stuurgroep, aangezien Studielink zelf een van de ketenpartijen is. Het al of niet beleggen van de ketenregie binnen Studielink staat los van de vraag wie de eventuele kosten van de ketenregie betaalt.
Tevens bleek in dit traject dat de intensiteit en focus van de ketenregisseur per fase kan verschillen. In fase 1 was de ketenregisseur de cruciale verbindende factor om het implementatietraject vorm te geven, alle ketenpartijen in hun rol te krijgen en de voortgang er in te houden. In fase 2 en 3 kon daarop voortgebouwd worden en was de ketenregie meer gericht op de operationele afstemming.
De keuze om eerst alleen een (externe) ketenregisseur aan te stellen voor fase 1 is op zich begrijpelijk, gezien de focus die, vanwege de grote tijdsdruk en impact, lag op het realiseren van fase 1. In fase 2 kon Studielink de ketenregie 'erbij doen' zonder daarvoor een specifieke ketenregisseur aan te stellen, mede omdat de implementatie van fase 2 in belangrijke mate binnen DUO plaatsvond. In fase 3 heeft Studielink alsnog een (externe) ketenregisseur aangesteld vanwege de bredere impact binnen de keten. De ketenregisseurs geven zelf aan dat het de voorkeur heeft om voor het totale traject een ketenregisseur aan te stellen, zodat er geen onduidelijkheid is over de reikwijdte van de rol van de ketenregisseur. Met name in de periode juni tot oktober 2018, toen fase 1 vrijwel afgerond was en fase 2 en 3 opgestart moesten worden, was een tijd onhelder welke rol de
ketenregisseur daarin moest vervullen en dreigde de sense of urgency in de keten of te nemen. Bovendien moest de nieuwe ketenregisseur, die in november 2018 werd aangesteld, zich daarna opnieuw inwerken.
Belangrijke andere aandachtspunten in het referentiekader zijn actie- en resultaatgerichte beheersmaatregelen in de vorm van het vergroten van de
bekendheid van het ketenproces, toereikende inzet en capaciteit van medewerkers, motiveren dat de ketendoelen worden nagestreefd en monitoren en feedback over de uitvoering van de acties. Ook daar heeft de ketenregie in belangrijke mate aan bijgedragen. Tevens wijzen betrokkenen op het belang van de zichtbare
betrokkenheid van zowel OCW als de onderwijskoepels in fase 1 om de ketendoelen uit te dragen en de medewerking te stimuleren. De bestuurlijke afstand in fase 2 en, 3 was groter, maar dat was, zoals in hoofdstuk 3 beschreven, op zich niet
belemmerend voor het resultaat, mede door de inzet van de ketenregisseur richting SIS-leveranciers en instellingen. Wel kan, zoals in hoofdstuk 3 al is geconstateerd, bestuurlijk meer de vinger aan de pols gehouden worden en had ook de
ketenregisseur in fase 3 zelf actiever kunnen communiceren naar de stuurgroep over de voortgang.
Als aandachtspunt voor OCW wordt meegegeven dat er nogal een strikte scheiding is tussen de politiek-bestuurlijke insteek vanuit de beleidsdirectie en de
uitvoeringstechnische insteek vanuit DUO. Als beiden aan tafel zitten, dan vullen ze elkaar goed aan. Maar als in een bepaald gremium DUO alleen OCW
vertegenwoordigt, dan zou DUO meer oog kunnen hebben voor bestuurlijke
overwegingen. Tevens geven andere ketenpartners aan dat DUO zich in haar analyse teveel richt op alleen het eigen proces en bepaalde uitvoeringszaken te makkelijk bij de onderwijsinstellingen legt. DUO pleit er echter voor dat elke ketenpartij eerst de eigen analyse uitvoert en geen uitspraken doet over
mogelijkheden of onmogelijkheden bij de andere ketenpartijen, en dat pas daarna de afzonderlijke analyses bij elkaar gebracht worden voor ketenbrede afweging en besluitvorming. Deze ketenbrede afweging heeft inderdaad plaatsgevonden.
De meningen lopen ook enigszins uiteen over de mate waarin onderscheid gemaakt moet warden tussen een bestuurlijke tafel en een uitvoeringstafel om te voorkomen dat bestuurlijke discussies, over de wenselijkheid van een beleidsmaatregel, en uitvoeringstechnische discussies, over de technische haalbaarheid, door elkaar heen gaan lopen. De technische analyse en uitwerking kan tot op zekere hoogte parallel plaatsvinden, maar met name de onderwijskoepels zijn er geen voorstander van dat de uitvoeringstafel vooruitloopt op bestuurlijke afspraken. Dit was in dit
implementatietraject ook niet geval: de impactanalyses en nadere uitwerking vonden plaats in lijn met de afspraken in het Ketenregieoverleg.
5.3 Lessons learned ketensamenwerking
Terugkijkend is de samenwerking en betrokkenheid in de keten gedurende het hele implementatietraject constructief geweest. Belangrijke aspecten hierbij waren:
• Bestuurlijk commitment, inclusief een expliciete bestuurlijke afspraak bij de start om er gezamenlijk voor te gaan.
• Bij de start alle ketenpartijen bij de uitvoeringskeuzes betrekken via de impactanalyse.
• Ketensturing en ketenregie over de ketenpartijen heen: een neutraal gepositioneerde ketenregisseur en een Ketenregieoverleg, waarin alle ketenpartners zijn vertegenwoordigd, als stuurgroep.
• Gezamenlijk (in de keten) uitdragen van de sense of urgency en zichtbare betrokkenheid van alle ketenpartners, via de ondersteunende organisatie- en communicatiestructuur en via informele samenwerking.
• Gebruik maken van bestaande ketenoverlegstructuren. Als die er niet zijn, dan is veel (extra) aandacht nodig voor het creeren van een
gemeenschappelijke taal, draagvlak en afstemmingsstructuren.
• Bestuurlijke en uitvoeringstechnische discussies (en analyses) duidelijk onderscheiden, maar wel verbinden via de ketenregie en de besluitvorming in de stuurgroep.
• Actief communiceren, niet alleen op bestuurlijk niveau maar ook naar de uitvoeringslaag binnen de ketenorganisaties. Kenmerken van de
communicatie naar instellingen en SIS-leveranciers (zowel vanuit OCW, ketenregie als VH/VSNU): transparant, toegankelijk, tijdig, regelmatig, op meerdere manieren informatie beschikbaar stellen.
Verbeterpunten:
• Een gedeelde analyse en afspraken in de keten over hoe de communicatie naar studenten het beste ingevuld kan warden (wie, wat, wanneer).
• De intensiteit en bemensing van de ketenregie kan verschillen per fase, maar er moet wel eenduidigheid zijn over de reikwijdte van de rol van de ketenregisseur.
20 van 25 I Ketenbeheersing Verlaging collegegeld
6 Verantwoording onderzoek
6.1 Werkzaamheden en afbakening
De ADR is in december 2017 gestart met een kort vooronderzoek in de vorm van intakegesprekken en een verkenning van de reikwijdte en aanpak van het onderzoek. Deze fase is afgesloten met een opdrachtbevestiging.
De uitvoering van het onderzoek vond plaats op drie momenten, te weten maart en juli 2018 en april 2019. De ADR heeft op basis daarvan twee interne
tussenberichten opgesteld en deze overkoepelende eindrapportage.
Op elk van de drie momenten hebben de onderzoekers de tot dat moment beschikbare projectdocumenten bestudeerd en interviews gehouden met de ketenregisseur en de vijf ketenpartners (de beleidsdirectie van OCW en de vier ketenpartners in de uitvoeringsketen: DUO, Studielink en de gebundelde onderwijsinstellingen in VSNU en VH).
Het object van onderzoek is de risicobeheersing in de uitvoeringsketen, die is gericht op de tijdige implementatie van de beleidsmaatregel tot verlaging van het collegegeld. Daarbij is bijzondere aandacht voor de risicobeheersing op de schakels (koppelvlakken) binnen de uitvoeringsketen.
Buiten de focus van het onderzoek vallen:
• de inhoudelijke vormgeving van de beleidsmaatregel tot verlaging van het collegegeld (zoals welke rechthebbenden, bedragen, etc);
• het wetgevingstraject om de beleidsmaatregel in de regelgeving te verankeren;
• het communicatietraject naar rechthebbenden;
• aan de verlaging van het collegegeld gerelateerde aanpassingen in de uitvoering van DUO, te weten het aanpassen van de bekostiging aan de onderwijsinstellingen (om de verlaagde collegegeldinkomsten te
compenseren) en aanpassingen in de studiefinanciering (Collegeldkrediet en Levenlanglerenkrediet).
De ADR heeft geen onderzoek gedaan naar de juistheid van de in de interviews en in de documenten verstrekte informatie.
6.2 Referentiekader
Het referentiekader bestond uit de kaders die voor dit specifieke
implementatietraject door de opdrachtgever met de ketenpartners zijn afgesproken.
In het bijzonder gaat het om de gemaakte afspraken over de beheersing van de risico's en de realisatie van de randvoorwaarden zoals aangeduid in de
impactanalyse. Als belangrijke randvoorwaarden worden benoemd:
• Snelle besluitvorming over wanneer en hoe de maatregel wordt uitgevoerd;
• Een duidelijke en stabiele definitie van de doelgroep die recht heeft op collegegeldverlaging;
• Overeenstemming om vooruit te lopen op wetgeving;
• Het standaardproces zoveel mogelijk in tact laten door dezelfde werkwijze te hanteren als voor de andere ISC-waarden6;
• Testen met de juiste voorzieningen (inclusief beschikbaarheid testomgeving).
6 1SC staat voor staat voor Indicatie Soort Collegegeld, hetgeen gehanteerd wordt in de geautomatiseerde processen, (W=wettelijk; I=instellingscollegegeld; en de nieuw ISC-waarde wordt mogelijk L=verlaagd colleggeld)
Daarnaast hebben de onderzoekers gebruik gemaakt van algemene inzichten op het gebied van ketenmanagement, projectmanagement en quality assurance gericht op het functioneren van de organisatie- en informatieketen:
• Het analysemodel voor ketenbeheersing van de Zeeuw7;
• Uitgangspunten voor projectbeheersing die zijn opgenomen in PRINCE2a;
• Het gestructureerd uitvoeren van (keten)testen9.
Deze algemene inzichten dienden slechts ter signalering of duiding van eventuele aandachtspunten. Ze waren niet bedoeld om in detail to onderzoeken. Bovendien gaat het in dit geval om een relatief los georganiseerde keten, waarbij de
afzonderlijke ketenpartners hun eigen afgebakende verantwoordelijkheid hebben.
6.3 Gehanteerde Standaard
Deze opdracht is uitgevoerd in overeenstemming met de Internationale Standaarden voor de Beroepsuitoefening van Internal Auditing.
In dit rapport wordt geen zekerheid verschaft, omdat er geen assurance-opdracht is uitgevoerd.
6.4 Verspreiding rapport
De opdrachtgever, de Directeur-Generaal Hoger onderwijs, Beroepsonderwijs, Wetenschap en Emancipatie (DGHBWE), is eigenaar van dit rapport.
De ADR is de interne auditdienst van het Rijk. Dit rapport is primair bestemd voor de opdrachtgever met wie wij deze opdracht zijn overeengekomen. In de
ministerraad is besloten dat het opdrachtgevende ministerie waarvoor de ADR een rapport heeft geschreven, het rapport binnen zes weken op de website van de rijksoverheid plaatst, tenzij daarvoor een uitzondering geldt. De minister van Financien stuurt elk halfjaar een overzicht naar de Tweede Kamer met de titels van door de ADR uitgebrachte rapporten en plaatst dit overzicht op de website.
Analysemodel ketenauditing (Zeeuw, M. de, februari 2005). Dit analysemodel is opgenomen in de interne Toolbox Ketenbeheersing van de ADR en uitgewerkt in de interne rapportage Auditplan Ketenaudit (Smildiger, R, februari 2010).
8 PRINCE staat voor PRojects IN Controlled Environment en is gebaseerd op praktijkervaringen met verschillende projectmanagementmethoden en praktijkvoorbeelden.
9 Een voorbeeld van een gestructureerde methode voor het testen van informatiesystemen is TMap®, Test Management Approach. Er zijn echter meerdere methodes, met hun eigen terminologie en specifieke aanpak. Het is belangrijk dot de aanpak aansluit op de werkwijze van de ketenpartners.
22 van 25 1 Ketenbeheersing Verlaging collegegeld
7 Ondertekening
Den Haag, 11 luni 2019
Auditdienst Rijk
Auditdienst Rijk Postbus 20201 2500 EE Den Haag (070) 342 77 00
