E. Overige vragen (die niet tot de opdracht aan de commissie behoren) De onderstaande vragen zijn vragen van Tweede Kamerleden aan de
A.2. Beantwoording vragen over externe adviesbureaus Over de externe adviesbureaus is de volgende vraag gesteld:
• Uit het op te stellen feitenrelaas moet blijken welke criteria en welke werkwijze externe adviesbureaus hebben gehanteerd en welke randvoorwaarden of beperkingen het ministerie van bzk daarbij heeft geformuleerd. (vraag uit tk, 2 nov. 2017 en eveneens vso-vraag van het cda in tk-commissie Binnenlandse Zaken).
Gedurende de onderzoeksperiode (2009 – 2017) zijn opdrachten verstrekt aan diverse externe adviesbureaus, waarvan de belangrijkste: Gartner, kpmg en pblq hec.
Beantwoording
Ten behoeve van beantwoording van deze vraag, heeft de commissie brp op 5 april 2018 een aanvullend informatieverzoek naar het ministerie van bzk gestuurd, met het verzoek om alle beschikbare informatie met betrekking tot de uitvraag/aanbe-steding van onderzoeken, het aanbod/de offertes van externe bureaus en de uiteindelijk overeengekomen afspraken naar de commissie te sturen.
Hieronder wordt op hoofdlijnen weergeven welke afspraken er zijn gemaakt met externe adviesbureaus, op basis van de beschikbaar gestelde informatie.
Deelonderzoek ‘Review programma mgba op omvang, voort-gang en haalbaarheid’.
De scope van het onderzoek bestaat uit drie onderdelen:
1. Het valideren en bepalen van de omvang van de brp-voor-ziening en bijhorende migratievoorbrp-voor-zieningen;
2. Het uitvoeren van een voortgangsanalyse om te bepalen in welke mate de werkzaamheden en voorzieningen gereed zijn;
3. Het uitvoeren van een haalbaarheids- en risicoanalyse op de huidige en gefaseerde planning, welke risico’s worden gezien en op welke wijze kunnen deze worden gemitigeerd?4
• Omvangbepaling – op basis van ffpa methodiek (Fast Function Point Analysis), waarin gekeken wordt naar het datamodel en transactiemodel.
• Op basis van documentatie, interviews en gezamenlijke werksessies wordt de omvang van de voorzieningen met het programma vastgesteld. Middels steekproeven worden gedane observaties ‘in de praktijk’ getoetst.
• Voortgangsbepaling – uitgedrukt in functiepunten die zijn gerealiseerd, versus functiepunten die nog moeten worden gerealiseerd. nb. Een functiepunt is gereed wanneer deze ook voor 100% is getest.
• Risico- en haalbaarheidsanalyse – op basis van documentatie, interviews en analyse tegen relevante best practices worden risico’s opgesteld en haalbaarheid van de planning geëvalueerd.
Deelonderzoek ‘Evaluatie scenario’s’.
Dit onderzoek betreft een vervolg en uitbreiding op het onder-zoek ‘Review programma mgba op omvang, voortgang en haalbaarheid’. Als gevolg daarvan heeft het ministerie een drietal scenario’s ontwikkeld voor het vervolg. De opdracht aan Gartner is om deze scenario’s door te rekenen op het vlak van omvang, planning, kosten, aansluiting bij programmadoelstel-lingen, bestuurlijke afspraken, risico’s en haalbaarheid. Voor elk van de scenario’s zullen de volgende onderzoeksvragen worden beantwoord:
• In hoeverre sluit het scenario aan op de programmadoel-stellingen en geldende bestuurlijke afspraken?
• In hoeverre is het scenario haalbaar vanuit een technologisch perspectief en welke risico’s kunnen onderkend worden?
• In hoeverre is het scenario haalbaar op basis van de organisa-torische- en bestuurlijke realiteit (afhankelijkheden) en welke risico’s kunnen onderkend worden?
• Wat is de financiële omvang van het scenario en in hoeverre past dit binnen het gegeven financiële kader (ook rekening-houdend met de dubbele beheerkosten)?
• Wat is op hoofdlijnen de omvang van het scenario (uitgedrukt in functiepunten) en in hoeverre past dit binnen de plannings-data van de betrokken partijen?5
Het onderzoek wordt uitgevoerd in vier stappen. Stap 1 betreft het doen van een scenario-verkenning naar elk van de drie scenario’s. Stap 2 betreft het opstellen van een evaluatieraam-werk waarlangs de scenario’s geëvalueerd zullen worden. Stap 3 betreft de analyse (waarde-analyse, technische (waarde-analyse, organisatorische (waarde-analyse, omvangs(waarde-analyse, plannings(waarde-analyse, financiële analyse), en tot slot stap 4: conclusies en aanbevelingen.
Het evaluatieraamwerk bestaat uit vier categorieën (welke nader zijn uitgesplitst in meerdere evaluatiecriteria):
1. Doelstellingen – aansluiting van het scenario op doelstellingen van de modernisering (7 criteria);
2. Organisatorische haalbaarheid binnen huidige context – in de gemeentelijke context, context van afnemers en t.a.v. afgegeven planningen;
3. Technische haalbaarheid – t.a.v. complexiteit, mogelijkheid tot gefaseerde realisatie, herbruikbaarheid en toekomstvastheid;
4. Impact van de omvang op doorlooptijd en kosten.
Voor nadere aannames in berekeningsmethodiek voor ontwikkelinspanning, applicatiebeheer, infrastructuurbeheer en stelselbeheer, zie het rapport.
1 Gartner (2013). Review programma mgba op omvang, voortgang en haalbaarheid. Definitief concept, 31 mei 2013.
2 Gartner. Letter of Engagement voor mgba scenario-analyse. 26 april 2013.
3 Gartner Consulting (2013). Evaluatie scenario’s. Eindrapportage. Projectnummer: 330017583.
25 september 2013.
4 Dit betreft een opdrachtomschrijving, zoals deze wordt verwoord in de rapportage van Gartner.
De commissie beschikt niet over documentatie waaruit blijkt hoe de opdracht door het ministerie is geformuleerd.
5 Gartner. Letter of Engagement voor mgba scenario-analyse. 26 april 2013.
De offerteaanvraag van het ministerie van bzk richt zich op vier onderdelen van qa: Kwaliteitsraamwerk(1), Code review en architectuur review(2), Security testen/penetratietesten(3), en Diverse werkzaamheden ihkv qa(4). Aan pblq hec worden de onderdelen 1 en 4 gegund.
Onderdeel 1. Kwaliteitsraamwerk
“Het implementeren van een kwaliteitsraamwerk. Het kwali-teitsraamwerk dient te zijn gebaseerd op een (algemeen er-kend) eenduidig normenkader voor qa en dient als kader voor de volgende (cyclisch uit te voeren) activiteiten:
• Toetsing van producten en processen, ofwel het objectief vaststellen of producten en processen voldoen aan vooraf vastgestelde kwaliteitsnormen;
• Opstellen verbetervoorstellen om (eventuele) gebreken in de kwaliteit te verhelpen;
• Monitoring van de oplossing van geconstateerde verbeter-punten.”.
pblq hec hanteert voor programma management en qa op programma’s als standaard msp.
Managing Succesfull Programmes (msp) is een methode ontworpen voor het beheerst door-voeren van strategische veranderingen in programma’s. Op basis van msp heeft pblq hec een beoordelingssystematiek ontwikkeld, waarin bij wijze van Health Check de kwaliteit van het programma in kaart wordt gebracht en kan worden beoordeeld. pblq hec heeft in haar syste-matiek de besturingsthema’s waarmee msp het veranderingsproces structureert ingedeeld in de volgende beoordelingsthema’s: rollen en verantwoordelijkheden; visie en leiderschap;
Stakeholders en change control; Blueprint, benefit en business case; Planning en control;
Risks & Issues; Quality management”.
De aanpak voor de initiële health check bestaat uit vier fasen: voorbereidingsfase(1), onder-zoeksfase(2), rapportagefase(3) en afstemmingsfase(4).
De aanpak voor de tweemaandelijkse review bestaat uit een voorbereidende bijeenkomst met de opdrachtgever waarin de scope van de review wordt besproken, en vervolgens uitvoering in vijf reviewdagen (op locatie) met interviews, het opstellen van een issuelijst, bevindingen, team-brainstorm, verslaglegging en eindbespreking met de opdrachtgever.
Onderdeel 4. Diverse werkzaamheden i.h.k.v. qa
“Het via een strippenkaart aanbieden van eventuele aanvul-lende dienstverlening op het terrein van qa.10
Voor onderdeel 4 biedt pblq hec een ‘strippenkaart’ aan voor 25 dagen ondersteuning, voor nader te bepalen specifiek gevraagde onderzoeken.11
6 Ministerie van Binnenlandse Zaken en Koninkrijksrelaties, dgbk (2014). Offerte aanvraag-formulier strategisch ict maatwerkadvies. Januari 2014.
7 pblq hec, tno, sig, fox-it (2014). Offerte Kwaliteitsborging programma mgba. 12 februari 2014.
8 Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (2014). Gunning qa. Den Haag, 3 juni 2014.
9 De Commissie brp heeft alle adviesbrieven van pblq beschikbaar gekregen.
10 Ministerie van Binnenlandse Zaken en Koninkrijksrelaties, dgbk (2014). Offerte aanvraag-formulier strategisch ict maatwerkadvies. Januari 2014.
11 pblq hec, tno, sig, fox-it (2014). Offerte Kwaliteitsborging programma mgba. 12 februari 2014.
12 Ministerie van Binnenlandse Zaken en Koninkrijksrelaties, dgbk (2014). Offerte aanvraag-formulier strategisch ict maatwerkadvies. Januari 2014.
Aan kpmg wordt onderdeel 2 van de qa uitvraag gegund: soft-ware en architectuur review.
“Het periodiek toetsen van de ontwikkelde software code (o.a.
Java, omvang maximaal 5000 functiepunten), en mogelijk het gebruik van de producten JBoss en Postgresql, evenals de bij-behorende documentatie op basis van een algemeen geldend, eenduidig normenkader voor de ontwikkeling van software.”
Expliciet dient aandacht te worden besteed aan mogelijke (ketenbrede) beveiligingsrisico’s die aan de orde zijn bij open-baarmaking van de broncode. Ook toepassing van “reverse engineering” moet een optie zijn in het code review proces.
Verder valt het uitvoeren van een review op de architectuur en het zo nodig opstellen van adviezen voor verbetering onder dit onderdeel.”.14
N.a.v. een eerste offerte, heeft de opdrachtgever de volgende aandachtspunten meegegeven voor aanscherping van de of-ferte:
• Binnen het project vindt reeds geautomatiseerde toetsing plaats via SonarQube;
• Toetsing van de broncode dient on-site plaats te vinden;
• In de offerte dient inzichtelijk te zijn welke delen van het on-derzoek automatisch dan wel handmatig worden uitgevoerd;
• Inzichtelijk moet worden of de genomen kwaliteitsmaatrege-len zijn gericht op de belangrijkste risico’s om goed en voldoende betrouwbaar in productie te kunnen gaan;
• De belasting van het bouwteam voor het onderzoek dient beperkt en flexibel te zijn.15
kpmg richt zich in de aanpak primair op de in de kwaliteitsdashboards verzamelde informa-tie over de broncode, automatische testen en opbouw van de software. Door aanvullend handmatig onderzoek in de software en documentatie uit te voeren wordt het beeld over de kwaliteit van de software en mogelijke risico’s uit perspectief van in productie name gecom-pleteerd. De scope van het onderzoek beperkt zich tot de broncode, documentatie en kwali-teitsdashboards van de software zoals die door het programma mgba wordt ontwikkeld.
Ter verduidelijking en toelichting zullen enkele gesprekken met architect, teamleider en ontwikkelaars van de software worden gevoerd.
kpmg gebruikt het iso25010 raamwerk bij kwaliteitsonderzoeken van softwaresystemen. In dit onderzoek worden de daadwerkelijke producten (broncode, documentatie) beoordeeld op de aspecten van Onderhoudbaarheid en Betrouwbaarheid. Voor het bepalen van, met name, de Onderhoudbaarheidsaspecten wordt (in eerste instantie) gebruik gemaakt van de kwaliteits-dashboards die het programma op basis van SonarQube heeft ingericht.16
13 Raamovereenkomst iasa2011 perceel 2 – Resultaatverplichting strategisch ict (maatwerk) advies v.1.4.
14 Ministerie van Binnenlandse Zaken en Koninkrijksrelaties, dgbk (2014). Offerte aanvraag-formulier strategisch ict maatwerkadvies. Januari 2014.
15 kpmg (2014). Software en architectuur review mgba. Plan van aanpak. Den Haag, 21 maart 2014.
16 kpmg (2014). Software en architectuur review mgba. Plan van aanpak. Den Haag, 21 maart 2014.
A.3. Beantwoording vragen over het expertplatform