4 Methode en onderzoeksopzet
4.7 Conformiteitsmeting tijdens de verwerving van ICT
richten op het verwervingsmoment van software, is er voor gekozen om de uitvoeringspraktijk van dat verwervingsmoment aan empirisch kwantitatief onderzoek te onderwerpen.
Het doel van dat kwantitatieve onderzoek was om na te gaan in welke mate er conform de beleidsuitspraken wordt gehandeld in de uitvoeringspraktijk van ICT-aanbestedingen afkomstig uit de Nederlandse (semi)publieke sector.242 De gedragsconformiteit wordt hierbij gemeten. Gedurende de periode januari 2010 tot en met juni 2010 zijn voor de conformiteitsmeting alle aankondigingen onderzocht van Europese aanbestedingen afkomstig van Nederlandse aanbestedende diensten waarbij uit de aankondiging af te leiden was dat het ging om de levering dan wel meelevering van software.243
Om een eerste beperking aan te brengen in de vele duizenden aankondigingen die dagelijks verschijnen is gebruik gemaakt van het Common Procurement Vocabulary (CPV), een uniform classificatiesysteem voor overheidsopdrachten.244 Daarbij is gekeken naar de volgende CPV-codes:
48000000-8 Software en informatiesystemen.
72000000-5 IT-diensten: adviezen, softwareontwikkeling, internet en ondersteuning.
73000000-2 Onderzoek en ontwikkeling, en aanverwante adviezen.
79000000-4 Zakelijke dienstverlening: juridisch, marketing, consulting, drukkerij en beveiliging.
Opgemerkt moet worden dat de nauwkeurigheid van het werken met deze inperking wel afhankelijk is van de nauwkeurigheid waarmee inkopers deze codes toewijzen aan hun aanbestedingen. Om dit zo veel mogelijk te ondervangen is daarom bovendien ten aanzien van de andere aanbestedingen gebruik gemaakt van een handmatige controle van de opdrachtomschrijving uit de aankondigingen.
Voor het onderzoek was het noodzakelijk om inzicht te verkrijgen in het bestek van de aanbestedingen en in aanverwante documenten zoals de gehanteerde
inkoopvoorwaarden. Er is gekozen om het onderzoek te richten op Europese
242 Zoals in hoofdstuk 1 al aangegeven richt het actieplan NOiV zich tot Rijk, gemeenten, provincies, waterschappen, andere publiekrechtelijke rechtspersonen, ZBO’s en de (semi)publieke instellingen in de sectoren zorg, onderwijs, sociale zekerheid en toegelaten woningbouwcorporaties.
243 Daarbij werd gebruik gemaakt van de websites http://www. aanbestedingskalender.nl en van Tenders Electronic Daily (TED) http://ted.europa.eu/TED/main/HomePage.do , waarop alle aankondigingen van Europese aanbestedingen van Nederlandse organisaties zijn terug te vinden.
244 Verordening (EG) Nr. 213/2008.
aanbestedingen welke de openbare procedure volgen omdat daarbij de kans op het verkrijgen van deze documenten groter werd geschat dan bij aanbestedingen die de niet-openbare procedure volgen.245 Hoewel elke leverancier bij die laatste procedure een aanvraag tot deelneming kan indienen, zullen namelijk alleen de door de aanbestedende dienst geselecteerde leveranciers daadwerkelijk in het bezit worden gesteld van het bestek en de documenten. Daarnaast was de verwachting dat aanbestedende diensten zelfs bij de openbare procedure niet snel de documenten zouden geven aan een partij die zij mogelijk niet zouden beschouwen als een leverancier in de zin van art. 1 lid 8 Richtlijn 2004/18/EG. Dit laatste bleek mee te vallen. Vanuit de totale populatie van 94 aanbestedingen welke gedurende de toetsperiode werden aangekondigd en waarbij de openbare procedure gevolgd werd, werden er ten behoeve van dit onderzoek uit 80 aanbestedingen daadwerkelijk de bestekken en achterliggende documenten verkregen, een respons van 85,1%.
Al deze documenten zijn vervolgens onderzocht op aanwezigheid van eisen dan wel wensen die direct of indirect te herleiden zijn tot het actieplan NOiV. De
bevindingen zijn ingevoerd in een database en vervolgens met behulp van statistische software gestructureerd. Dit resulteerde in een aantal frequentie- en kruistabellen waarmee inzicht kan worden verkregen in de mate van conformiteit.
Hoewel er in een aantal van die tabellen een onderverdeling is gemaakt naar organisatie en sectoren worden er geen generaliserende uitspraken gedaan over die organisaties of sectoren als geheel maar slechts over de door hen in de toetsperiode uitgevoerde aanbestedingen.246 Het doel is dus niet om de uitkomsten te kunnen generaliseren maar om vast te stellen of er gedurende een bepaalde periode sprake was van conformiteit.
245 In het geval van een openbare aanbesteding wordt het volledige programma van eisen (en wensen) door de aanbestedende organisatie gepubliceerd en kan elke belangstellende leverancier aan de hand daarvan een offerte indienen. De selectie en gunningscriteria worden daarna in een en dezelfde fase tegelijkertijd beoordeeld. In het geval van een niet-openbare procedure wordt er slechts een zogenaamde selectieleidraad gepubliceerd.
Daarin staat aan welke selectiecriteria een belangstellende leverancier moet voldoen om deel te kunnen nemen aan de procedure. Meestal staat in de selectieleidraad slechts zeer summier vermeld wat het onderwerp van de opdracht is en wat er verwacht wordt ten aanzien van de aan te bieden oplossingen. Hoewel elke leverancier in dit stadium een aanvraag tot deelneming kan indienen, zullen alleen de vervolgens door de
aanbestedende organisatie geselecteerde leveranciers daadwerkelijk in het bezit worden gesteld van het bestek.
246 Daarover uitgebreid: Bryman 2004 p. 77 en 104, waarin hij aangeeft dat een
representatieve steekproef alleen representatief is ten opzichte van de populatie waaruit de steekproef is genomen. Aangezien de populatie zich in dit onderzoek beperkt tot aanbestedende diensten die gedurende een bepaalde periode een Europese ICT-aanbesteding doen, kunnen er geen generaliserende uitspraken worden gedaan over andere organisaties die geen Europese ICT-aanbesteding hebben gedaan.
Frequentie Percentages (n=80)
gemeente 29 36,2
onderwijs 18 22,5
overige 4 5,0
provincie 5 6,2
Rijk 16 20,0
waterschap 4 5,0
zorg 4 5,0
Totaal 80 100,0
Tabel 1: organisatie
Frequentie Percentages (n=80)
Raamovereenkomst 25 31,2
Regulier 55 68,8
Totaal 80 100,0
Tabel 2: soort aanbesteding
In de tabellen 1 en 2 is te zien dat de meeste Europese aanbestedingen die in het onderzoek zijn meegenomen afkomstig zijn van gemeenten, onderwijs en Rijk.247 Daarbij gaat het in 68,8% van alle gevallen (n=80) om reguliere
aanbestedingsprocedures, waarbij er dus op grond van een met de winnaar te sluiten overeenkomst een opdracht gegund wordt. In de resterende gevallen (31,2%) gaat het om aanbestedingen van raamovereenkomsten.248
De omvang van de onderzochte aanbestedingen lijkt te variëren tussen de
honderdvijfentwintigduizend euro en vijf miljoen euro. Helaas laten de onderzochte aanbestedende diensten het in veel gevallen nog steeds achterwege om de door hen geschatte omvang in de aankondiging of in de aanbestedingsstukken te vermelden waardoor de gemiddelde omvang niet goed kan worden vastgesteld.249
Dit kwantitatieve onderzoek geeft antwoord op de vierde deelvraag:
In welke mate wordt er door de doelgroepen conform het open ICT-beleid gehandeld?
247 Onder Rijk vallen de kerndepartementen, de Rijksdiensten en de agentschappen.
248 In het volgende hoofdstuk zal dieper worden ingegaan op raamovereenkomsten.
249 In HvJEG C-241/06 heeft het Hof op een vraag of de geschatte waarde genoemd moet worden in de aankondiging van een aanbesteding uitdrukkelijk bepaald dat
aankondigingen de kwantiteit of scope van de opdracht moeten bevatten.
Er wordt naast deze meting van de gedragsconformiteit geen afzonderlijk onderzoek gedaan naar de beleidsconformiteit onder de door het actieplan aangesproken actoren. Het handelen conform de eerder gekozen beleidsuitspraken is zichtbaar te maken door een meting van het gedrag tijdens aanbestedingsprocedures. Zoals eerder, in paragraaf 4.3, al is aangegeven geeft beleidsconformiteit geen garantie voor het daadwerkelijk gebruik van het initieel beleid in de dagelijkse
besluitvorming en het dagelijks handelen. Nageschakelde actoren kunnen immers ook direct gebruik maken van het actieplan NOiV waarmee doorwerking niet noodzakelijkerwijs afhankelijk is van de opname van de beleidsuitspraken in eigen beleidsstukken.250 Het toetsen van beleidsconformiteit zou daarom naar verwachting niet of slechts beperkt nodig zijn voor de beantwoording van de onderzoeksvragen.
Bovendien kon er geput worden uit de resultaten van de NOiV monitor. Daarin heeft de planmaker zelf ten behoeve van jaarlijkse voortgangsrapportages aan de Tweede Kamer de beleidsconformiteit onder de doelgroepen in kaart gebracht door middel van schriftelijke enquêtes.251 Tot slot is er ook vanuit journalistieke hoek de nodige aandacht geweest voor de beleidsconformiteit, ondermeer doordat er in 2009 met een beroep op de Wet Openbaarheid van Bestuur (WOB) bij alle gemeenten, provincies, waterschappen en een groot aantal zelfstandige bestuursorganen informatie is opgevraagd over de stand van zaken waar het beleidsconformiteit betreft.252
4.8 Analyse van de beïnvloedende factoren
Het kwantitatieve onderzoek geeft inzicht in de mate van gedragsconformiteit.
Daarmee is echter nog niet duidelijk welke argumenten en redeneringen schuilgaan achter het daarmee verkregen inzicht. Bovendien is dan nog niet duidelijk wat de barrières zijn en welke rol eerder genomen beslissingen hierbij spelen. Om deze factoren te kunnen achterhalen is gekozen voor diepte-interviews met sleutelfiguren in inkoopfuncties uit meerdere organisaties. Hierbij volgt het onderzoek de tweede variant zoals hiervoor in paragraaf 4.4 is beschreven. Door te kiezen voor deze variant en dus niet voor een casestudy binnen één organisatie, kan worden voorkomen dat mogelijk niet alle voor de aangesproken actoren van belang zijnde factoren daadwerkelijk achterhaald zouden kunnen worden. Een nadeel hiervan is dat er niet al te diep kan worden ingegaan op het proces van doorwerking binnen één organisatie.
Het kwalitatieve onderzoek wil de meningen van de respondenten niet verdedigen of aanvallen maar heeft als enige doel om kennis te verwerven over de vraag welke factoren in de praktijk een rol kunnen spelen bij de toepassing van strategisch ICT beleid. Het geeft antwoord op de vijfde deelvraag:
250 De Lange 1995, p. 59, 63.
251 Zie: https://noiv.nl/monitor_ranking/
252 Zie: http://www.bigwobber.nl/2009/04/27/honderden-wobs-over-nederland-open-in-verbinding-noiv/
Welke actoren en factoren zijn van invloed op een conforme uitvoering van het open ICT-beleid binnen de overheid?
Om voor de interviews tot een selectie te komen van de onderzoekseenheden is gebruik gemaakt van een selecte steekproef uit de verschillende organisaties waarvan een of meerdere bestekken waren onderzocht tijdens het voorafgaande kwantitatieve onderzoek.253 Daarbij is een afweging gemaakt op basis van de mate waarin de door de respondent uitgevoerde aanbesteding rekening hield met de onderzochte beleidsuitspraken. Hiertoe is eerst een model ontwikkeld waarmee op basis van deze criteria een waarde kon worden toegekend aan de onderzochte aanbestedingen. In dit ICT-afhankelijkheidsmodel zijn de volgende criteria opgenomen die in een groot aantal van de onderzochte aanbestedingsdocumenten als gunningcriterium of als inkoopvoorwaarde voorkomen of kunnen voorkomen:
A. Er is sprake van een voorkeur voor open source software.
B. Er is sprake van een voorkeur voor open standaarden.
C. Er is sprake van een voorkeur voor platformonafhankelijkheid.
D. Er is sprake van een voorkeur voor browseronafhankelijkheid.
E. Er is sprake van een voorkeur voor databaseonafhankelijkheid.
F. Er is sprake van een voorkeur voor een gebruikersgroep.
G. Er is sprake van een voorkeur voor escrow (zie paragraaf 7.4) of van een andere vergelijkbare wijze waarop de broncode beschikbaar is.
H. Er is geen sprake van een voorkeur voor closed source software en/of een beperking voor open source.
De afzonderlijke waarde van de aanbestedingen kwam tot stand door allereerst uit te gaan van acht punten en vervolgens aan de hand van bovenstaande lijst met criteria punten af te trekken indien een criterium wel toepasbaar was maar dit desondanks achterwege is gelaten. Er vond dus geen puntenaftrek plaats indien de criteria wel toegepast werden of indien deze überhaupt niet toepasbaar bleken te zijn.
De respondenten zijn vervolgens verdeeld over drie groepen. De eerste groep bestond uit de respondenten die in het ICT-afhankelijkheidsmodel tussen de nul en vier punten scoorden. Dit zijn de respondenten waar in de uitvoering weinig is terug te zien van het NOiV-beleid. De tweede groep bestond uit respondenten die tussen de vijf en acht punten scoorden en die in hun uitvoering in redelijke tot grote mate rekening lijken te houden met het NOiV-beleid.
Vervolgens is getracht om binnen deze twee groepen ook een evenwichtige verdeling te verkrijgen vanuit alle onderzochte overheidslagen en sectoren door in ieder geval uit iedere overheidslaag en sector minimaal een respondent te
interviewen. Bovendien is rekening gehouden met het gegeven dat de respondenten bij het kwantitatieve onderzoek voornamelijk afkomstig zijn vanuit de gemeenten, de onderwijssector en het Rijk. Op deze manier werd vermeden dat alleen positieve
253 Bij verkennend evaluatieonderzoek is het volgens Janssen en Hellendoorn (1999, p. 96) gebruikelijk om een gerichte selectie te doen van onderzoekseenheden omdat de mogelijkheden om de resultaten naar de populatie te generaliseren niet voorop staan.
of negatieve redeneringen ten aanzien van het beleid de boventoon zouden voeren en dat bepaalde overheidslagen of sectoren zich niet zouden kunnen herkennen in de uitkomsten door een over- of ondervertegenwoordiging. Door de grote bereidwilligheid van respondenten om aan een interview mee te werken is dit met uitzondering van de waterschappen en de sector zorg gelukt.
Een derde groep bestond uit respondenten van drie organisaties waarvan meerdere aanbestedingen in het kwantitatieve onderzoek voorkomen. Deze groep was bovendien interessant omdat de verschillende aanbestedingen, hoewel afkomstig van dezelfde aanbestedende dienst, op basis van het ICT-afhankelijkheidsmodel in verschillende categorieën bleken te vallen met soms enorme onderlinge verschillen.
In totaal zijn er via deze verdeling vijftien organisaties geselecteerd.254 Naar verwachting zou een groter aantal vanwege het bereiken van het verzadigingspunt geen nieuwe informatie opleveren.255 De respondenten zijn op een enkeling na als inkoper werkzaam en bovendien recentelijk betrokken geweest bij
ICT-aanbestedingen. Volgens Reijniers zijn inkopers de essentiële regisseurs voor het optimaal afwegen van de verscheidenheid van belangen door vele deelnemers aan het inkoopproces waarbij inkopers fungeren als de intermediair tussen de eigen organisatie en de leverancier.256Juist deze respondenten zouden daarom een goed beeld moeten kunnen geven over de doorwerking van het strategische ICT-beleid binnen de uitgevoerde aanbestedingen.
Alle interviews zijn in de periode januari tot mei 2011 face to face uitgevoerd waarbij gebruik is gemaakt van vragenlijst met daarop een drietal inleidende open vragen waarbij er veel ruimte is voor de eigen inbreng van de geïnterviewde. Door gebruik te maken van een half gestructureerd interview kan worden ingespeeld op lichaamstaal en gezichtsuitdrukkingen en kan er bovendien worden doorgevraagd over bepaalde antwoorden of opmerkingen van de geïnterviewde. Hierdoor kwamen de meeste overige vragen die nog op de lijst stonden al aan bod tijdens de
beantwoording van de eerste drie inleidende open vragen. De vragen zijn opgesteld aan de hand van het aan het begin van dit hoofdstuk opgestelde conceptuele onderzoeksmodel (zie figuur 3). De vragen zijn conform dat model te verdelen in twee thema’s:
1. Bekendheid van de respondent met de beleidsuitspraak. Hieruit moet blijken of er sprake is van awareness-knowledge. Indien dit niet aanwezig is kan er ook geen sprake zijn van doorwerking.
2. Beïnvloeding van de respondent. Hieruit moet blijken welke factoren bij het vormen van een houding tot de beleidsuitspraak een rol spelen. De gesprekken richten zich hierbij op binding aan de beleidsuitspraak, de waarneembare karakteristieken van de beleidsuitspraak, de invloed van de
254 Zie bijlage voor een overzicht van de respondenten en de organisaties waar zij werkzaam zijn.
255 Verhoeven 2007, p. 193.
256 Reijniers 2010, p. 32.
kennis en ervaring vanuit de organisatie, en de invloed van eerder genomen beslissingen als gevolg van pad-afhankelijkheid.
De interviews zijn digitaal opgenomen en vervolgens uitgeschreven. Dit heeft als voordeel dat achteraf niet alleen geluisterd kan worden naar wat men zegt en naar hoe men iets zegt, maar dat bovendien de analyse van de onderzoeker
controleerbaar wordt.257 De uitkomsten van de interviews worden weergegeven door op verschillende plaatsen in de hoofdstukken de geïnterviewde zoveel mogelijk zelf aan het woord te laten. Dit maakt niet alleen inzichtelijk hoe de interpretatie van hun uitspraken bij de onderzoeker tot stand is gekomen, maar zorgt tevens tussen de overige kwantitatieve onderzoeksuitkomsten door voor een verlevendiging van de tekst. In een klein aantal gevallen is er gebruik gemaakt van een parafrase. De interviews zijn vergeleken met de beschikbare gegevens uit het kwantitatieve onderzoek naar gedragsconformiteit en, indien dat wenselijk bleek, met eventueel aanwezige informatie over beleidsconformiteit.