Na de inleidende en theorievormende hoofdstukken volgt nu een hoofd- stuk waarin praktijkcases (meervoud, want er is gekozen voor multiple case study selection) centraal staan. Kern van dit hoofdstuk wordt gevormd door de vraag in hoeverre het theoretisch model zoals beschreven in hoofdstuk drie bij toepassing van pips in de praktijk actief is. Dit hoofdstuk start met een inleidende methodologische paragraaf waarna de praktijkcases behandeld worden. Afgesloten wordt met een cross case analyse en met conclusies die getrokken kunnen worden naar aanleiding van de praktijktoepassingen.
5.1 De onderzoeksopzet van de case studies 5.1.1 De vier criteria van Yin
Volgens Yin (2008) zijn case studies met name geschikt voor het bestuderen van innovatieve projecten. Het feit dat de onderzoeker deel uit maakt van zo een praktijkcase (zoals in dit onderzoek ook het geval is) biedt volgens Yin juist extra kansen om waardevolle waarnemingen (on site observations) te doen. Wel moeten de feiten voor zich blijven spreken en moet gewaarborgd worden dat daarmee integer om wordt gegaan. Uit de case beschrijvingen zal blijken dat aan die voorwaarden is voldaan. Het nieuwe fenomeen (pips) onderzoeken in een real life context biedt volgens Yin voordelen ten opzichte van andere onder- zoeksstrategieën. De uitgevoerde praktijktoepassingen bieden aldus toetsingsmogelijkheden voor het theoretisch model.
Yin heeft tevens enkele critera ontwikkeld aan de hand waarvan vast- gesteld kan worden of case studies tot ‘goed onderzoek’ leiden. Als eerste noemt hij construct validiteit. Daarmee wordt bedoeld dat het onderzoeksconstruct solide moet zijn. Het gebruik van meerdere bron- nen en het bouwen aan een keten van bewijs zijn de tactieken die daarbij aanbevolen worden. Hieraan is tegemoet gekomen doordat telkens meerdere beoordelaars scores hebben gegeven en evaluatief zowel de inbreng van de opdrachtgever, de leden van het kernteam en ook de deelnemende opdrachtnemers is meegenomen. Aan de keten van bewijs is gebouwd door systematisch in alle praktijkcases de effecten van de pips safeguards op het reduceren van onzekerheid, het ontmoedigen van de neiging tot het vertonen van opportunistisch gedrag en het rekening houden met begrensde rationaliteit op de zelfde wijze te bestuderen (pattern matching als middel om de interne validiteit, het tweede Yin criterium, te vergroten). Daarnaast is door midel van een cross case analyse gezocht naar overeenkomsten in patronen, waarmee aandacht is besteed aan de externe validiteit (het derde Yin criterium). Tot slot is er het vierde Yin criterium: betrouwbaarheid. Yin beveelt aan een protocol per case study op te stellen en te hanteren en de uit- komsten van de casestudies in een database vast te leggen. Daarmee wordt de reconstrueerbaarheid vergroot. Bij de praktijkcases is daaraan
invulling gegeven door een selectieleidraad op te stellen waarin het proces, de stappen, de beoordelingscriteria, de wegingsfactoren, de planning etc. vast te leggen. Daarnaast zijn notulen, verslagen, scorema- trici vastgelegd en beschikbaar. Het verloop van de cases is daarmee gedocumenteerd. Bij enkele cases heeft een student uitgebreide log- boeken bijgehouden aan de hand waarvan het verloop van de processen tot in detail kan worden gevolgd.
5.1.2 Systematiek van case beschrijvingen Wijze van data verzameling:
Per praktijkcase is een beoordelingscommissie samengesteld. De leden van die commissie hebben beoordelingsformulieren per pips element ingevuld. Deze beoordelingsformulieren bevatten een beoordelings- instructie en uiteraard waren daarin alle te beoordelen (sub)elementen opgenomen. Uiteindelijk is gerekend met het rekenkundig gemiddelde van deze beoordelingscommissie.
Toe te passen safeguards per praktijkcase:
Bij de vier praktijkcases is per case bekeken welke safeguards toepasbaar konden zijn rekening houdend met:
■ Het stadium waarin het project zich bevond (starten vanuit een ‘groene wei’ situatie of springen op een ‘rijdende trein’);
■ Wenselijkheid vanuit het project. Bij fase iii umc St Radboud was het bijvoorbeeld een bewuste keus van de opdrachtgever op basis van een uitgewerkt bestek aan te willen besteden. Bij de vier cases wordt hier kort verder op ingegaan;
■ Omdat de auteur van dit proefschrift enkel betrokken was bij de aan- besteding en er geen gelegenheid was de uitvoering van de projecten intensief te volgen, zijn de pips safeguards uit de control fase niet beschreven.
Bepaling van de bijdrage van pips safeguards aan nie mechanismen De bepaling van de bijdragen van de pips safeguards aan de nie mechanismen (rekening houden met begrensde rationaliteit, geredu-
ceerde onzekerheid en ontmoedigde neiging tot het vertonen van opportunistisch gedrag) heeft niet op kwantitatieve basis plaatsgevon- den. Per case is door middel van interviews met de projectleider aan opdrachtgevers en opdrachtnemerszijde kwalitatief vastgesteld of en in welke mate de safeguards effecten opleverden.
Reflectie aan de hand van leerpunten
De beschrijving van de praktijkcases wordt afgesloten met leerpunten en deelconclusies. Om leerpunten te destilleren, wordt kort op alle cases vanuit onderstaande invalshoeken gereflecteerd:
■ Geschiktheid project: deze invalshoek is van belang vanuit de voor- onderstelling dat niet alle projecten geschikt zijn. Welke factoren spelen een rol van betekenis als het gaat om de vraag of een project geschikt is voor de bvp aanpak?
■ Ontleren en omdenken: deze invalshoek is van belang vanuit de voor- onderstelling dat het loslaten van vertrouwde werkwijzen en het toe- passen van nieuwe werkwijzen niet ‘vanzelf’ gaat. Wat zijn de succes- factoren in dit kader?
■ Effectiviteit pips: deze invalshoek ligt voor de hand; doel is immers de cases als toets te gebruiken voor de werking van het theoretisch model. In welke mate doen de nie mechanismen hun werk als gevolg van het toepassen van pips safeguards?
■ Coöperatief versus competitief: deze invalshoek betreft een verbijzonde- ring van de pips effectiviteit en ziet vooral op gedrag, houding, opstelling na gunning. In welke mate leidt het toepassen van pips safeguards daadwerkelijk tot ander gedrag, betere samenwerking, soepeler opstelling?
■ Objectiviteit en transparantie: deze invalshoek is van belang vanuit het juridisch kader. Verloopt een pips aanbesteding in voldoende mate transparant en is er sprake van een voldoende mate van objectivering?
5.2 De Onderhoudsprojecten umc St Radboud
Deze drie projecten zijn in 2005 als ‘proeftuin’ gekozen voor de integrale toepassing van pips.
Aanleiding en wijze van dataverzameling
De directeur van het Huisvestingsbedrijf (Felix van Baal) van het umc St Radboud heeft dit pips onderzoek geïnitieerd; Hij had op grond van zijn jarenlange ervaring met de traditionele aanpak behoefte aan een andere aanpak. Na een globale kennismaking met het gedachten- goed van Kashiwagi, heeft hij de auteur van dit proefschrift gevraagd de methodiek nader te onderzoeken op effecten en toepasbaarheid. In dat kader waren testcases erg welkom.
Toen de mogelijkheid zich voordeed de drie onderhoudsprojecten pips wise aan te besteden en die aanbestedingen te begeleiden, is dat als kans gezien om eerste ervaringen op te doen. Deze drie onderhoudsprojecten zijn door de manager Onderhoud van het umc St Radboud gekozen omdat elk van de drie onderhoudsdisciplines aan bod kwam, de projecten niet te groot waren, en ze op de planning stonden van het lopende jaarplan.
Achteraf bleken de projecten (te) klein, bood het Bouwkundige project weinig uitdaging en was het Elektrotechnische project minder geschikt vanwege de intensieve interactie (met de zorg) die nodig was om de werkzaamheden tot een goed einde te brengen. Die interactie wilde umc St Radboud zelf invullen en regisseren, daardoor was er niet echt sprake van een leverancier die het werk naar eigen inzicht kon organiseren.
Scores zijn tot stand gekomen door de leden van een beoordelings- commissie individueel te laten beoordelen. Gerekend is met het reken- kundig gemiddelde van die individuele scores. Van alle scores en daar- mee uitgevoerde berekeningen zijn Excel files (alsmede originele beoordelingsformulieren) beschikbaar.
Tijdens deze projecten heeft een student alle bijeenkomsten bijgewoond, een chronologisch logboek tot in detail bijgehouden en heeft zij zorg gedragen voor het verwerken van de scores van de individuele beoorde- laars. Deze data is beschikbaar. Na afloop heeft een evaluatief gesprek plaatsgevonden met de manager onderhoud (ook daarvan is verslag-
legging beschikbaar). Korte projectintroductie
De eerste pips projecten bestonden uit drie kleine onderhoudsprojecten van de respectievelijke disciplines, Electro (herbekabelen van hoofdver- deelkasten), Werktuigbouw (vernieuwen van stoombevochtigingsin- stallatie in bestaande luchtbehandelingssystemen) en Bouwkunde (vervanging van compleet dakbedekkingspakket van een plat dak van ca. 800 m²). De totale omvang bedroeg circa 300.000,- inclusief btw. Het betroffen reguliere projecten die voor 2005 op de planning stonden van het onderhoudsbedrijf van umc St Radboud. Het management wilde ‘klein beginnen’ en heeft bewust voor deze mix van projecten gekozen zodat de verschillende onderhoudsdisciplines kennis konden maken met deze wijze van aanbesteden.
Bij deze projecten toegepaste safeguards:
In de tabel op de volgende pagina is te zien in welke mate de pips safeguards invloed hebben gehad op het reduceren van onzekerheid, het ontmoedigen van de neiging tot het vertonen van opportunistisch gedrag en het omgaan met begrensde rationaliteit van actoren. De weergaves zijn gebaseerd op de hiervoor weergegeven beschrijvingen van deze praktijkcase.
Tabel 5.1; Safeguards en hun effecten bij umc St Radboud onderhoudsprojecten Funcspec Budginf ppi rava Qsleutelf Pr/kwal
De projecten zijn aanbesteed op basis van een functioneel gespecificeerde projectscope. Er is veel vrijheid geboden bij het ontwikkelen van een oplossing die past bij de vraag. Er zijn enkel outputspecificaties meegegeven. Het maximaal te besteden budget is vooraf aan markt- partijen bekend gemaakt. Deze maximale inschrijfsom is door alle partijen gerespecteerd; binnen dit financiële kader zijn adequate oplossingen ontwikkeld.
Marktpartijen hebben informatie ingeleverd over hun performance bij eerder gerealiseerde projecten. Hieruit ‘sprak’ een zekere mate van competent zijn voor wat betreft de succesvolle uitvoering van de nu aan te beste- den werkzaamheden.
Marktpartijen is gevraagd naar risico’s en bijbehorende remedies. Ook hebben marktpartijen de ruimte gehad
optimalisatievoorstellen in te brengen. De kwaliteit van de rava plannen was sterk wisselend. Van ‘griezelig’ onvolledig en vooral non informatief, tot gedegen uit- werking, reële risico indicaties en vertrouwenwekkende remedies.
De sleutelfunctionarissen zijn geinterviewd; interview resultaten hebben meegewogen bij deze aanbestedingen. Vanwege het niet beschikbaar hebben van een kundige projectleider heeft er zelfselectie plaatsgevonden, hetgeen onzekerheid heeft gereduceerd.
Kwaliteit heeft voor 70% meegewogen; prijs voor 30%. Dankzij deze verdeling konden leveranciers onderschei- dend vermogen in de kwaliteit van de oplossing aan- brengen die ook van doorslaggevende invloed op win kansen kon zijn.
Bijdrage aan reduceren onzekerheid Onwennig; alleen het ‘wat’ beschrijven was nieuw
Geen ongeldige inschrijvingen
Zelfselectie door minder ervaren partij
Plannen boden veel onderscheidend vermogen Grote verschillen. Sleutelfunctionaris- sen bleken inderdaad competent
Gunnen op waarde heeft geleid tot value for money Onderhouds projecten umc St Radboud Funcspec Budgetinf ppi rava Qsleutelf Pr/kwal
Bijdrage aan het ontmoedigen van opportunistisch gedrag
Gecontracteerde partijen hebben van hun oplossing een succes gemaakt Door reële ‘plafonds’ geen opportunistisch gedrag nodig Marktpartijen hebben goede reputatie niet geschaad Plannen maakte risico attitude goed helder Sleutelfunctionaris- sen vertoonden coöperatief gedrag Constructieve samenwerking, geen oneingelijke discussies
Bijdrage aan het om- gaan met begrensde rationaliteit Compact gefomu- leerde vraag gaf focus
Helder kader waar- binnen oplossingen uitgewerkt konden worden
ppi bleek ondanks ‘primeur’ goed en efficiënt hanteerbaar
Compacte plannen waren goed en efficient hanteerbaar Geen direct effect op dit mechanisme
Geen direct effect op dit mechanisme
Tabel 5.2; invloed safeguards op nie mechanismen bij umc St Radboud onderhoudsprojecten
De mate waarin het theoretisch model actief was en dit leidde tot de verwachtte resultaten.
Mechanisme
1
toepassing van pips elementen reduceert onzekerheid. Beschikbare informatie over past performance, over de manier waarop partijen risico’s denken te managen en over de competenties van projectleiders heeft ertoe bijgedragen dat partijen zijn gecontracteerd die in staat zijn gebleken de projecten volgens de regels der kunst tot een goed einde te brengen. Met andere woorden: het beschikbaar hebben van deze informatie heeft de voorspellende waarde van de aanbesteding vergroot en daarmee onzekerheid gereduceerd.
Mechanisme
2
toepassing van pips elementen reduceert ruimte voor en neiging tot opportunisme.
Doordat het onderscheidend vermogen voor 70% kwaliteitgerelateerd was en slechts 30% prijsgerelateerd, konden marktpartijen een redelijke marge maken. Het feit dat de vraagspecificatie veel oplossingsruimte bood, maakte dat opdrachtnemers veel commitment met hun eigen oplossing/aanpak voelden en niet de neiging hadden zich te verschuilen achter de door anderen uitgewerkte oplossing. De vanuit de theoretische redeneringen veronderstelde effecten van deze twee aspecten (meer commitment en de gelegenheid een faire marge te kunnen realiseren) traden in de praktijk van deze pilotprojecten in duidelijk waarneem- bare mate op; er was sprake van coöperatief gedrag, gemaakte afspraken werden onverkort nagekomen.
Effectiviteit pips
Het voorspellend vermogen van de aanbestedingen is bevredigend gebleken. Projecten zijn binnen planning en budget en naar tevreden- heid (van opdrachtgever en opdrachtnemer) opgeleverd. Partijen bleken competent te zijn met betrekking tot de te verrichten zaken en hebben aan de verwachtingen van de opdrachtgever voldaan. Partijen die niet in de positie waren een concurrerend voorstel in te leveren, zagen zelf van deelname af. pips bevordert hiermee zelf selectie. Ter illustratie een quote van een van de pratijen die zichzelf terugtrok:
“Met zeer veel belangstelling hebben we kennis genomen van de nieuwe manier van aanbesteden volgens de pips methodiek. De uiteenzetting op 25 oktober was helder en duidelijk. Het is goed om vast te stellen dat er belangrijkere selectiecriteria bestaan dan alleen de prijs. Met betrekking tot het eerste pilotproject: stoombevochtiging, moeten we u helaas mededelen dat xx over onvoldoende ervaring beschikt met betrekking tot stoom- en condensleidingen en stoombevochtiging in haar algemeen- heid om door de eerste selectiecriteria te kunnen komen.”
Coöperatief versus competitief
Aannemers hebben geen gedrag vertoond dat de belangen van de opdrachtgever heeft geschaad. Zo zijn er geen ‘oneigenlijke meerwerk discussies’ gevoerd maar is er juist met de opdrachtgever meegedacht. Er is goed samengewerkt. De sfeer was coöperatief en vertoonde geen kenmerken van een traditionele ‘conflictcultuur’. Aannemers stelden zich coulant en flexibel op. Er was duidelijk sprake van alignment of goals en daarop gebaseerde coöperatieve opstelling.
Objectiviteit en transparantie
Het beoordelen en toekennen van scores conform de vooraf uitgewerkte en gecommuniceerde structuur heeft geleid tot transparantie en ge- objectiveerde en goed onderbouwde keuzes. Het standaardiseren van de interviews, het vooraf bepalen van wegingsfactoren en rekenregels en het ‘constante’ interview team hebben bijgedragen tot geobjectiveerde beoordeling van interviews. ppi opvragen met behulp van checklists verloopt stroef. “We hebben toch al een tevredenheidsverklaring herlegd!?” Ook de inschrijvers gaven aan dat deze wijze van ppi
Mechanisme
3
toepassing van pips elementen draagt bij aan het omgaan met begrensde rationaliteit
Het vertalen van ingeleverde ppi, rava’s, interviewresultaten en plannen naar countable figures (aan de hand van van te voren vastgestelde criteria, normen en rekenregels) maakte de informatie beter hanteer- baar en objectiever vergelijkbaar. De focus op deze essentiele informatie is door betrokkenen als prettig en goed werkbaar ervaren.
Leerpunten en deelconclusies
Geschiktheid project
De geselecteerde projecten waren achteraf bezien niet echt geschikt. Ze waren erg klein in verhouding tot de te doorlopen stappen in de pips procedure en de daarmee gepaard gaande tijdsbesteding aan opdrachtgevers en opdrachtnemers zijde (leverde naar verhouding hoge transactiekosten op aan beide zijden). Dit geldt zelfs wanneer de bestede tijd die samenhangt met het feit dat pips nieuw was, buiten beschouwing gelaten wordt. De e en w projecten vroegen daarnaast een behoorlijke mate van interactie met klantgroepen. Omdat umc St Radboud deze afstemmingen zelf in wilde vullen, was risk transfer naar de installateurs toe maar deels mogelijk en konden deze installa- teurs niet autonoom performen. Het b project was te eenvoudig (geen uitdaging; commodity met voor de hand liggende oplossing).
Ontleren en omdenken
Best Value Procurement toepassen in een organisatie die een historie heeft in traditioneel aanbesteden valt niet te onderschatten. Het formuleren van een oplossingsvrije vraagspecificatie, het maken van onderscheid tussen informatie die je wel verstrekt (omdat die informatie gewoonweg nodig is voor een goed begrip van de vraag en de context waarbinnen de vraag gesteld wordt) en informatie die je niet verstrekt (omdat je benieuwd bent wat de visie van de inschrijver op dat punt is), zijn voorbeelden van zaken die ‘omdenken’ en ‘ontleren’ verlangen.
verzamelen omslachtig en tijdrovend heeft gewerkt. Ook vreesden enkele inschrijvers dat collega inschrijvers de checklists zelf ingevuld hadden, en deze vervolgens door hun voormalig opdrachtgevers hebben laten ondertekenen 78. Het hanteren van relatieve scores bij de onder- houdsprojecten voor de aspecten ppi en prijs verdient niet de voorkeur. Bij aanbestedingen moeten deze relatieve scores zoveel mogelijk worden vermeden (zie hoofdstuk vier). De score van een partij, mag immers niet afhankelijk zijn van die van een andere partij (gelijke kansen bieden).
Juridische rechtmatigheid
Er is weinig expliciete aandacht besteed aan de juridische rechtmatig- heid van deze aanbestedingen en de vertaling daarvan naar een formele aanbestedingsprocedure. Dit vindt zijn oorzaak in het feit dat de onder- houdsprojecten ver beneden de drempelbedragen voor werken lagen. De aanbestedingsbeginselen (objectiviteit, transparantie en non-discri- minatie) hebben wel op de achtergrond meegespeeld bij het inrichten van de aanbestedingsprocessen. Er zijn door deelnemers geen protesten geuit en er hebben zich geen geschillen voorgedaan.
Overige pilot leerpunten
De selectieleidraad moet nog eenduidiger zijn voor wat betreft in te dienen stukken en daarbij geldende (werk)afspraken zodat bijvoorbeeld uitsluitend anonieme rava’s ingeleverd worden, inlevermomenten en het gecommuniceerde budgetplafond strikt gehanteerd kunnen worden. 78 De juridische
bezwaren ten aan- zien van objectiviteit (zie hoofdstuk vier) bleken bij deze prak- tijkcase niet onge- grond.
Samenvattend:
Het toepassen van de genoemde safeguards heeft geleid tot een reductie van onzekerheid, ont- moediging van de neiging tot opportunistisch gedrag en tot oplevering binnen budget en planning waarbij aan de verwachtingen van de opdrachtgever is voldaan. De matige geschiktheid van deze projecten in combinatie met de weinig methodische keuze van deze projecten vormen methodologi- sche kwetsbaarheden. Anderzijds hebben deze ‘spannende’ eerste projecten wel bijgedragen tot meer inzicht in de pips methodiek.
5.3 Nieuwbouw Parkeergarage umc St Radboud Aanleiding en wijze van dataverzameling
Op basis van de positieve ervaringen met de pips aanpak bij de drie onderhoudsprojecten, heeft umc St Radboud ervoor gekozen een aantal pips elementen in te brengen bij de (reeds in voorbereiding zijnde) aanbesteding van de nieuwbouw van een parkeergarage. Vanuit mijn onderzoeksoptiek was dit een welkome kans. De omvang van het project was duidelijk geschikter dan de eerste drie cases en de bouw van een parkeergarage is goed vanaf enige afstand te managen (minder intensieve interactie met ‘de zorg’). Daarmee leek dit project een meer geschikte testcase dan de eerste onderhoudsprojecten die hiervoor uit- eengezet zijn.
Scores zijn tot stand gekomen door de leden van een beoordelingscom- missie individueel te laten beoordelen. Gerekend is met het rekenkundig gemiddelde van die individuele scores. Van alle scores en daarmee uit- gevoerde berekeningen zijn Excel files (alsmede originele beoordelings- formulieren) beschikbaar.
Door de umc St Radboud projectleider zijn van alle meetings verslagen gemaakt. Van het evaluatiegesprek met de projectleider is tevens een verslag beschikbaar. Kortom een compleet dossier over deze aanbeste- ding (inhoud en proces) is beschikbaar.
Als methodologische kwetsbaarheid noem ik hier het feit dat ppi geen invloed heeft gehad op de samenstelling van de leveranciers die mee