Gedegen onderzoek doen is de kern van ons werk. In de kwaliteit ervan schuilt voor een groot deel de meerwaarde. De kwaliteit van ons werk is van fundamenteel belang voor onze reputatie van onafhankelijk, onpartijdig en deskundig instituut. Vandaar dat wij daar veel aandacht aan besteden en kwaliteit ook als een ijkpunt hebben benoemd in onze strategie voor 2016-2020. Wij zetten verschillende instrumenten in om de kwaliteit van ons personeel, onze processen en onze producten te garanderen en, zo mogelijk, te versterken.
Opzet systeem van kwaliteitsbeheersing
Ons systeem van kwaliteitsbeheersing is gebaseerd op de richtsnoeren en vereisten van de International Standards for Supreme Audit Institutions (ISSAI) van INTOSAI, de interna-tionale vereniging van rekenkamers. Wij streven ernaar te voldoen aan de ISSAI.
De kwaliteit van onze producten en processen wordt primair gewaarborgd door de profes-sionaliteit en deskundigheid van onze medewerkers. Daarom investeren wij in de werving van gekwalificeerd personeel en in de permanente educatie van onze medewerkers.
De projectleider van een onderzoeksproject is, samen met zijn team, verantwoordelijk voor de kwaliteitsborging van een onderzoeksproces en -product. De onderzoeksdirecteur is ambtelijk eindverantwoordelijk. Het college is bestuurlijk eindverantwoordelijk. De secretaris is ervoor verantwoordelijk dat ons systeem van kwaliteitsborging toereikend is en goed functioneert.
We borgen de kwaliteit van ons werk via (verplichte) stappen in ons onderzoeksproces, waaronder ambtelijk en bestuurlijk hoor en wederhoor en de evaluaties van projecten.
De verschillende stappen zijn vastgelegd in onze ‘onderzoekscirkel’. Deze cirkel is opge-bouwd aan de hand van de verschillenden fasen in het onderzoeksproces. Voor elke fase bestaan interne werkinstructies, handleidingen en checklists. Via interne kwaliteitstoetsen toetsen we gedurende het onderzoeksproces of de conceptonderzoeksproducten (of onze werkzaamheden indien het rechtmatigheidsonderzoek betreft) aan onze kwaliteits-criteria voldoen. Deze toetsen zijn bedoeld als hulpmiddel voor de onderzoeksteams en de -directeuren om het beoogde kwaliteitsniveau te realiseren. Ze worden uitgevoerd door collega’s die niet betrokken zijn bij het project. Jaarlijks analyseren we de uitkomsten van alle uitgevoerde kwaliteitstoetsen om er lering uit te trekken.
Tot slot hebben wij een kwaliteitsbewakende functie binnen onze organisatie. Vanuit deze functie worden de opzet en werking van ons kwaliteitssysteem periodiek geëvalueerd en wordt de externe beoordeling van de kwaliteit van ons werk georganiseerd.
Werking systeem kwaliteitssystemen
Uit de in 2016 uitgevoerde evaluaties blijkt dat ons kwaliteitssysteem over het algemeen goed is opgezet en adequaat functioneert. Wel waren er het afgelopen jaar een aantal terugkerende aandachtspunten. Zo was bij veel producten de tijdsdruk in de laatste fase vlak vóór publicatie erg hoog, waardoor bepaalde stappen (bijvoorbeeld de laatste controle van de teksten) heel snel moesten worden gezet. Ook konden we ons niet altijd verzekeren van voldoende capaciteit voor de uitvoering van de interne kwaliteitstoetsen.
We zullen hier in 2017 aandacht aan blijven besteden. We hebben in 2016 één erratum uitgebracht. Het betrof een correctie in een rapport uit 2015 (Energiebeleid: op weg naar samenhang, gepubliceerd op 10 december 2015).
Leren van externe blik op ons werk
Als Hoog College van Staat vinden wij het belangrijk om zelf onze kritische massa te
organiseren en continu te blijven leren. We hebben eind 2016 dertien externe deskundigen uit de wetenschap (hoogleraren, docenten en onderzoekers van verschillende Nederlandse universiteiten en andere onderzoeksinstellingen) gevraagd om te reflecteren op de technische en strategische kwaliteit van een selectie van onze publicaties uit 2015/2016. In totaal zijn vijftien publicaties beoordeeld. Elke publicatie is beoordeeld door een inhoudelijk expert op het onderwerp van onderzoek.
Uit de beoordelingen zijn veel positieve punten naar voren gekomen. Met name onze analyses, de opbouw en leesbaarheid van onze teksten en het gebruik van beeld (bijvoor-beeld infographics) springen er uit. Onze publicaties worden door de beoordelaars relevant en bruikbaar geacht voor het beleidsterrein waar ze betrekking op hebben.
Er is waardering voor het oppakken van bepaalde (onderbelichte) thema’s en het inzicht en overzicht dat veel van onze publicaties bieden. Maar in de beoordelingen zijn ook verbeterpunten benoemd, die wij ter harte nemen. Zo hadden wij in een aantal publicaties, achteraf gezien, onze onderzoeksaanpak en keuzes (bijvoorbeeld wat we wel en niet in het onderzoek hebben meegenomen) uitgebreider kunnen toelichten en sommige aanbe-velingen nog scherper en concreter kunnen formuleren en onderbouwen. De uitkomsten van de beoordelingen zijn begin 2017 besproken met de betrokken onderzoeksteams, het managementteam (MT), het college en het Audit Committee, ook om lessen te
trekken voor onze toekomstige publicaties. De externe beoordelingen hebben een structureel karakter; we zullen ook volgend jaar weer een selectie van onze publicaties laten beoordelen.
Voorbereiding peer review door zusterinstellingen
Omdat we de blik van onze zusterinstellingen op ons werk van groot belang achten, bereiden wij een peer review voor. De belangrijkste stap daarin is het uitvoeren van een zelfonderzoek met behulp van het Supreme Audit Institution Performance Measurement Framework (SAI PMF) in de eerste helft van 2017. SAI PMF is een nieuw instrument van INTOSAI waarmee rekenkamers hun prestaties kunnen meten en monitoren aan de hand van de internationale standaarden. Het zelfonderzoek helpt ons goed zicht te krijgen op onze sterke punten en verbeterpunten en de vraagstelling van de peer review te kunnen bepalen. Met het oog op de reorganisatie en het beslag dat de peer review op onze finan-ciën zal leggen, is de start van de peer review in de tijd iets opgeschoven. Het zwaartepunt van de uitvoering zal in 2018 liggen.