BENCHMARKING
Een trend,
een tovermiddel,
of een succesvol
instrument?
BENCHMARKING
Een trend, een tovermiddel of een succesvol instrument?
Rijksuniversiteit Groningen Faculteit Bedrijfskunde
Begeleiders: Dr. D.J.Kiewiet
Prof.dr. M.Herweijer
Plaats/datum: Groningen, juli 2004
Bedrijf: Informatie Beheer Groep
Auteur: Dorien Donker
De auteur is verantwoordelijk voor de inhoud van het afstudeerverslag.
VOORWOORD
Voor u ligt het rapport ´Benchmarking, een trend, een tovermiddel of een succesvol instrument?´. Dit rapport betreft de verslaglegging van mijn
afstudeeronderzoek voor de afstudeerrichting Business Development van de faculteit Bedrijfskunde aan de Rijksuniversiteit in Groningen. Dit onderzoek heeft plaatsgevonden binnen de Informatie Beheer Groep (IB-Groep). Mijn dank gaat daarom in de eerste plaats uit naar alle personen binnen de IB-Groep die mij op welke manier dan ook van dienst zijn geweest. Op de tweede plaats gaat mijn speciale dank uit naar mijn twee stagebegeleiders, de heer Van den Ham en mevrouw Van de Heide. Hen wil ik bedanken voor alle steun, tijd en inzet die zij in mij hebben gestoken. Verder gaat mijn dank uit naar mijn twee docenten, de heer Kiewiet en de heer Herweijer. De heer Kiewiet was mijn hoofddocent gedurende mijn afstudeerperiode en heeft mij op geheel eigen wijze tijdens het onderzoek de juiste kant opgestuurd en ervoor gezorgd dat ik niet ben verdwaald. Tijdens dit onderzoek heb ik niet alleen vanuit de bedrijfskundige hoek hulp gehad, maar ook vanuit de bestuurskundige. De heer Herweijer heeft vanuit een ander perspectief naar mijn scriptie gekeken en heeft mij enorm geholpen tijdens het
onderzoek en ook hem wil ik bedanken voor zijn tijd en advies.
Groningen, juli 2004
Dorien Donker
SAMENVATTING
In 2000 is in opdracht van de Minister van Onderwijs, Cultuur en Wetenschappen een benchmarkonderzoek uitgevoerd bij zes organisaties (Rijksbrede Benchmark, RBB 0).
Eén van de aanbevelingen was om dit onderzoek regelmatig te herhalen om de ontwikkelingen te kunnen volgen en ondersteunen. De RBB heeft de ambitie om uit te groeien tot een benchmark die brede bekendheid geniet binnen de overheid en waaraan een aanzienlijk aantal overheids- organisaties deelneemt. Het primaire doel van de RBB is ´leren van elkaar´. Er is inmiddels een tweede benchmark geweest, RBB I. Aan dit tweede benchmarkonderzoek hebben tien uitvoeringsorganisaties gelieerd aan zeven ministeries deelgenomen. Tijdens het onderzoek is gestart met de derde ronde, de RBB II.
Voorafgaand aan het onderzoek heeft een aantal gesprekken plaatsgevonden met een viertal probleemhebbers binnen de Informatie Beheer Groep (IB-Groep). Aan hen is gevraagd waar zij op dit moment hun vraagtekens zetten met het oog op de huidige benchmarkmethodiek. De functionele uitspraken die naar voren zijn gekomen ten aanzien van het functioneren van het systeem (RBB) luidden als volgt:
Het ‘leren leren’ is volgens de probleemhebbers niet geborgd in de huidige methodiek en de deelnemende organisaties leren momenteel onvoldoende van elkaar.
De best practices die naar voren komen, zijn deze wel best practices?
Het risico dat best practices worst cases worden is aanwezig.
De vergelijkbaarheid van de (deel)processen is niet optimaal.
Is het huidige instrument wel valide en betrouwbaar?
De projectorganisatie hecht veel waarde aan een betrouwbare, valide en solide instrumentarium, teneinde het proces van benchmarking optimaal te faciliteren.
Op basis van deze uitspraken is de volgende doelstelling geformuleerd:
Toetsen van de ´juistheid´van de functionele uitspraken die gedaan zijn door de probleemhebbers. Deze functionele uitspraken zijn:
In hoeverre is het ´leren leren´ voldoende geborgd in de huidige methodiek?
In hoeverre is het huidige instrument valide en betrouwbaar?
Op basis van conclusies en aanbevelingen wordt het organisatieprobleem vastgesteld. Op deze wijze kan door de IB-Groep besloten worden of, en zo ja hoe en waarover, verder onderzoek moet plaatsvinden.
In dit onderzoek zijn knelpunten aangegeven die momenteel naar voren komen in het huidige benchmarktraject (RBB II). Verder is de huidige methodiek getoetst aan een set van beoordelingscriteria. De set van beoordelingscriteria richt zich op de volgende drie speerpunten:
Leren Validiteit
Betrouwbaarheid
Om tot een volledige set van beoordelingscriteria te komen is ook het fenomeen
benchmarking meegenomen en is gekeken naar randvoorwaarden die belangrijk zijn bij een succesvol benchmarktraject. In dit onderzoek is een probleemverkennende diagnose uitgevoerd. De oorzaken van de knelpunten zijn in dit onderzoek niet achterhaald.
Wanneer een probleemanalyse wordt uitgevoerd liggen doel- en vraagstelling erg dicht bij elkaar. Aangezien dit onderzoek alleen een probleemanalyse betreft, is gekozen om in dit onderzoek geen vraagstelling te formuleren.
De knelpunten die naar voren zijn gekomen met betrekking tot het huidige proces zijn achterhaald door middel van:
Observaties (één groep auditoren; ´testgroep´) Enquêtes (alle auditoren)
Diepte-interviews (vijf auditoren)
Op basis van de huidige procesbeschrijving is een aantal valkuilen geformuleerd en op basis van bovengenoemde technieken is getoetst of deze ook in de praktijk zijn
voorgekomen. De meeste van de geformuleerde valkuilen zijn in meer of mindere mate gesignaleerd in de ´testgroep´. De belangrijkste valkuilen die in de ´testgroep´ zijn geconstateerd betreffen voornamelijk de onderwerpen:
Doorvragen in het algemeen en in het geval van een best practice.
Niet nazenden en van tevoren verzamelen van bewijsmateriaal.
Uit de enquête komt duidelijk naar voren dat de meeste knelpunten die in de ´testgroep´
naar voren zijn gekomen ook bij de andere groepen zijn gesignaleerd. Wat een duidelijk verschil is geweest tussen de testgroep en de andere groepen is de planning en
begeleiding vanuit de deelnemende organisaties. De aanstelling van de contactpersonen is erg belangrijk voor zowel de planning als de organisatie rondom het interviewproces.
Uit de enquête is ook naar voren gekomen dat verschillende scoringsmethoden zijn gehanteerd door de verschillende groepen auditoren. Tijdens de diepte-interviews is hier dieper op ingegaan. Verder is aan het licht gekomen dat het blijven werken in koppels gehandhaafd moet blijven. Tot slot is het vaststellen van een eenduidig begrippenkader belangrijk bij de RBB III.
Het aspect leren is erg belangrijk met het oog op de primaire doelstelling van de RBB
´leren van elkaar´. Vanuit de literatuur en door middel van een leerenquête is geprobeerd de volgende vraag te beantwoorden: passen doel en middel bij elkaar?
Het antwoord op deze vraag luidt: Op dit moment versterken doel en middel elkaar niet optimaal en sluiten zij onvoldoende op elkaar aan. Met het oog op de RBB III moet worden gezocht naar aanvullende methoden en technieken die ervoor zorgen dat doel en middel meer op elkaar aansluiten. Het kan voor de huidige methodiek vesterkend werken om ook vanuit het sociaal constructivistisch paradigma te kijken gezien het
leervraagstuk. Hier wordt de werkelijkheid door de verschillende partijen in beeld gebracht en levert op deze manier meervoudige perspectieven op. Men gaat met elkaar in gesprek en kijkt hoe alles op hun eigen situatie toepasbaar is (toepassen en
uitwisselen van best practices). Er wordt gekeken wie de spelers zijn en met welke actoren men te maken heeft. Dit paradigma staat voor het denken buiten de eigen kaders. Op deze manier kan kennisuitwisseling plaatsvinden en kan worden geleerd.
Wanneer verschillende zienswijzen worden gehanteerd om naar dit vraagstuk te kijken zal dit de relatie tussen doel en middel alleen maar versterken.
De vraag,passen doel en middel bij elkaar, heeft al enigszins te maken met het aspect validiteit. Het aspect heeft in dit onderzoek verder betrekking gehad op de
uitvoerbaarheid van de vragenlijst. De groepen auditoren zijn met behulp van deze vragenlijst de negen velden van het INK-model langsgelopen. Tijdens dit
praktijkonderzoek zijn deze auditoren een aantal knelpunten tegen het lijf gelopen. Zij zouden graag zien dat de vragen meer specifiek worden gericht op overheidsorganisaties.
Daarnaast moet een eenduidig begrippenkader worden gehanteerd. Verder moet
duidelijk worden gemaakt wie de klant is van de overheidsorganisaties en wat het begrip vergelijkbare organisaties inhoudt wanneer deze opgenomen is in de
antwoordcategorieën. Ook moeten zaken als politiek, Europese aanbestedingen en ketensamenwerking meer aan bod komen. Tot slot moeten de aannames in enkele vragen worden weggelaten en moeten de vragen worden opgesplitst waar meerdere componenten aan de orde komen.
Met behulp van correlatieanalyse is gekeken naar de interbeoordelaarbetrouwbaarheid.
Verder is door middel van regressieanalyse gekeken naar de invloed van de auditoren op de totaalscore en in hoeverre de totaalscore wordt verklaard door de voorspellers.
De methode van scoren is bij de groepen auditoren nogal verschillend geweest. Vandaar
dat bij de correlatie tussen de auditoren maar naar één groep is gekeken. Omdat slechts
sprake is van één groep, kan geen mogelijke trend worden ontdekt. Dit is mede het
resultaat van het feit dat gerekend is met de Fisher’s z transformation en een zeer klein
aantal gegevens. Hierdoor is het moeilijk een waardeoordeel te hechten aan het totaal
gemiddelde. Met andere woorden er kan niet worden gezegd of het type veld mogelijk de oorzaak is van het niet behalen van de doelstelling op dit veld. De correlatie tussen de informanten leverde meer bruikbare gegevens op. Hier is naar voren gekomen dat de velden, ondernemingsresultaten’ (0,776) en ‘waardering door klanten’ (0,750) duidelijk bovengemiddeld (0,516) scoren (weinig controverse onder de informanten en weinig onduidelijkheden in de vragenlijst). De velden die veel controversen oproepen binnen de organisaties zijn leiderschap, waardering door personeel, middelenmanagement en personeelsmanagement.
Bij de invloed van de auditoren op de totaalscore kan de conclusie worden getrokken dat wanneer de controverse onder de auditoren en de informanten laag is, het verklarende deel van de totaalscore toeneemt. Hiermee zal de betrouwbaarheid van het model toenemen. Voor de gebruikers van de methode is het daarom van belang de controverse tot een minimum te beperken. De overeenkomst tussen de auditoren in groep A is ruim boven de gewenste 80%. Helaas is niet te achterhalen wat het percentage is bij de andere groepen. De methode die gebruikt is door groep A zou tijdens de volgende ronde door elke groep moeten worden gehanteerd. Op deze manier ontstaat
een maximale omvang van de database en kunnen meer conclusies worden getrokken dan in dit onderzoek het geval is. Daarnaast kan de interbeoordelaarbetrouwbaarheid tussen de verschillende groepen naast elkaar worden gelegd en kan worden gekeken of de doelstelling (> 80% overeenkomst) door alle groepen wordt behaald.
De randvoorwaarde waar meer aandacht aan moet worden besteed is een goede en heldere communicatie. Dit heeft met name betrekking op de wijze van communicatie (één lijn) naar de auditoren toe en de communicatie vooraf en tijdens het traject naar alle partijen toe. Verder moet het totaalbeeld voor iedereen helder zijn en de auditoren moeten één aanspreekpunt hebben waar zij terechtkunnen. Daarnaast wordt tijdens het traject gebruik gemaakt van een set prestatie-indicatoren. Deze moeten in overleg met de deelnemende organisaties worden opgesteld. Tot slot moet het instrumentarium van de RBB constant worden geëvalueerd en hierop moeten vervolgens tussentijdse acties op worden uitgezet. Op deze manier kan het instrumentarium constant verbeterd en
aangescherpt worden.
Geconcludeerd kan worden dat de functionele uitspraken die gedaan zijn door de probleemhebbers duidelijk naar voren zijn gekomen in dit onderzoek. Het leren van elkaar is momenteel onvoldoende geborgd in de huidige methodiek. Wanneer gekeken wordt naar het instrument dan is deze niet valide. Het huidige middel en doel passen momenteel onvoldoende bij elkaar. Verder weerspiegelen de vragen opgesteld bij elk INK-veld onvoldoende de begrippen en zijn er in sommige gevallen overbodige en irrelevante vragen opgenomen in de vragenlijst. Door de verschillende methoden van scoren die gehanteerd zijn, kunnen vraagtekens worden gezet bij de betrouwbaarheid van het instrumentarium. De interbeoordelaarbetrouwbaarheid was ruim voldoende bij één groep, maar de vergelijking met de andere groepen heeft helaas niet
plaatsgevonden. Vandaar dat op deze vraag geen eenduidig antwoord kan worden gegeven. Het centrale organisatieprobleem luidt als volgt: Het huidige middel
(benchmarking) sluit niet optimaal aan bij het doel (leren van elkaar). Aan de IB-Groep nu de taak te besluiten of, en zo ja hoe en waarover verder onderzoek moet
plaatsvinden. Dit kan leiden tot ontwerp waarmee functies van het systeem die
´beschadigd´zijn, hersteld worden.
INHOUDSOPGAVE
VOORWOORD ...II SAMENVATTING ... III
INHOUDSOPGAVE ...1
H1. INTRODUCTIE TOT ORGANISATIE ...4
1.1 Inleiding... 4
1.2 Introductie... 4
1.3 Rijksbrede Benchmark (RBB) ... 5
1.4 Methodologie huidige benchmarkmethodiek ... 6
1.4.1 INK-model ... 6
1.4.2 Prestatie-indicatoren ... 7
1.4.3 Organisatorische aansturing ... 7
1.4.4 Confrontatie ... 7
1.4.5 Beperkingen huidige benchmarkinstrument ... 7
1.5 Opbouw van het rapport... 7
1.5.1 Inleiding ... 7
1.5.2 Indeling rapport... 8
H2. PROCESBESCHRIJVING...9
2.1 Inleiding... 9
2.2 Managementvraag ... 9
2.3 Huidige benchmarkmethodiek ... 10
2.4 Valkuilen in de praktijk... 13
2.5 Gesprekken met probleemhebbers... 14
2.6 Samenvatting ... 15
H3. BEPALEN VAN HET REFERENTIEMODEL...17
3.1 Inleiding... 17
3.2 Op zoek naar speerpunten ... 17
3.3 Benchmarken... 18
3.3.1 Inleiding ... 18
3.3.2 Wat is benchmarking? ... 18
3.3.3 Benchmarkproces... 20
3.4 Leren ... 22
3.4.1 Inleiding ... 22
3.4.2 Definitie leren... 22
3.4.3 Benchmarkleercyclus... 23
3.5 Betrouwbaarheid ... 24
3.5.1 Inleiding ... 24
3.5.2 Definitie betrouwbaarheid ... 24
3.5.3 Interbeoordelaarbetrouwbaarheid ... 24
3.6 Validiteit... 25
3.6.1 Inleiding ... 25
3.6.2 Definitie validiteit... 25
3.6.3 Soorten validiteit... 25
3.7 Randvoorwaarden... 25
3.7.1 Inleiding ... 25
3.7.2 Algemene randvoorwaarden ... 25
3.7.3 Spelregels... 26
3.8 Set van beoordelingscriteria... 27
H4. TOETSING FUNCTIONELE UITSPRAKEN: METHODOLOGISCHE
VERANTWOORDING ...29
4.1 Inleiding... 29
4.2 Deelvragen ... 29
4.3 Onderzoeksmodel ... 29
4.3.1 Inleiding ... 29
4.3.2 Onderzoeksmodel ... 30
4.4 Onderzoeksopzet ... 30
4.4.1 Inleiding ... 30
4.4.2 De onderzoeksobjecten... 31
4.4.3 Onderzoekshandelingen ... 31
4.5 Beperkingen van het onderzoek ... 34
H5. TOETSING FUNCTIONELE UITSPRAKEN: RESULATEN KWALITATIEVE ANALYSE...36
5.1 Inleiding... 36
5.2 Uitkomsten observatie... 36
5.2.1 Inleiding ... 36
5.2.2 Resultaten... 36
5.2.3 Conclusie ... 38
5.3 Uitkomsten enquête... 38
5.3.1 Inleiding ... 38
5.3.2 Resultaten... 38
5.3.3 Conclusie ... 39
5.4 Uitkomsten diepte-interviews ... 40
5.4.1 Inleiding ... 40
5.4.2 Resultaten... 40
5.4.3 Conclusie ... 41
5.5 Conclusie... 42
H6. TOETSING FUNCTIONELE UITSPRAKEN: BENCHMARKING, LEREN & RANDVOORWAARDEN ...43
6.1 Inleiding... 43
6.2 Analyse huidige methodiek ... 43
6.2.1 Inleiding ... 43
6.2.2 Resultaten... 43
6.2.3 Specialistische taken ... 44
6.2.4 Conclusie ... 46
6.3 Benchmarkproces ... 46
6.3.1 Inleiding ... 46
6.3.2 Benchmarking ... 46
6.3.3 Benchmarking & leren ... 48
6.4 Uitkomsten leerenquête ... 50
6.4.1 inleiding... 50
6.4.2 Conclusie ... 52
6.5 Randvoorwaarden... 52
6.5.1 Inleiding ... 52
6.5.2 Algemene randvoorwaarden ... 52
6.5.3 Spelregels... 53
6.6 Conclusie... 53
H7. TOETSING FUNCTIONELE UITSPRAKEN: BETROUWBAARHEID EN VALIDITEIT...55
7.1 Inleiding... 55
7.2 Betrouwbaarheid ... 55
7.2.1 Inleiding ... 55
7.2.2 Methode van scoren ... 55
7.2.3 Uitkomsten correlatie- en regressieanalyse ... 56
7.3 Uitvoerbaarheid (validiteit) ... 60
7.3.1 Inleiding ... 60
7.3.2 Uitvoerbaarheid vragenlijst... 60
7.3.3 Resultaten... 60
7.4 Conclusie... 63
H8. CONCLUSIES EN AANBEVELINGEN...65
8.1 Inleiding... 65
8.2 Conclusies en aanbevelingen huidig benchmarkproces (RBB II) ... 66
8.2.1 Conclusies... 66
8.2.2 Aanbevelingen huidig benchmarkproces... 66
8.3 Toetsing van de functionele uitspraken aan het referentiemodel ... 69
8.4 Prioritering en selectie... 73
8.4.1 Inleiding ... 73
8.4.2 In volgorde van belangrijkheid... 73
8.5 Aanbevelingen voor verder onderzoek... 74
LITERATUURLIJST...76
H1. INTRODUCTIE TOT ORGANISATIE 1.1 Inleiding
Benchmarking levert een bijdrage aan het probleemoplossend vermogen van medewerkers van een organisatie. Door het inventariseren van werkwijzen worden medewerkers zich bewust van de samenhang binnen de organisatie. De processen worden vervolgens vergeleken met diezelfde processen binnen een andere organisatie.
Daarbij wordt duidelijk welke alternatieven er zijn voor een bepaalde keuze die ooit door het bedrijf is gemaakt. Het met elkaar bespreken van de voors en tegens van deze alternatieve invulling van processen levert een betere verantwoording van keuzen op.
Ook de leerfunctie 'reflectieve vaardigheden' wordt ondersteund door de methode benchmarking. Ter voorbereiding op een benchmarkbijeenkomst wordt nagegaan welke processen op welke manier binnen de organisatie zijn ingevuld. Daarbij worden tevens de resultaten van die processen betrokken. Wanneer de resultaten van twee of meer
organisaties vergeleken worden, zet dat de medewerkers aan het denken over de effectiviteit van hun eigen processen en werkwijzen. De inzichten die ze opdoen kunnen vervolgens gebruikt worden om verbeteringen in te zetten of sterke kanten verder uit te bouwen (Kessels & Smit
1).
Op basis van het citaat dat hierboven staat, kan worden geconcludeerd dat benchmarking en leren goed bij elkaar passen. Deze scriptie zal bij de Rijksbrede Benchmark (RBB)
2onderzoeken of en in hoeverre het doel en middel daadwerkelijk zo goed bij elkaar passen. In dit onderzoek wordt verder onderzocht in hoeverre de uitspraken van de probleemhebbers ten aanzien van het systeem (RBB) ‘juist’ zijn. Tot slot wordt uitspraak gedaan over wat nu eigenlijk het organisatieprobleem is bij de RBB.
Daartoe zal in dit hoofdstuk de aanleiding van het onderzoek worden besproken, alsmede de rol van de verschillende partijen die een belangrijke rol spelen in het
benchmarktraject. Vervolgens zal de totstandkoming van de RBB worden uitgelegd.
Daarbij zullen de functies van het systeem (RBB) worden toegelicht en de methodologie van de huidige benchmarkmethodiek zal kort aan bod komen. Ook zal de rol die het INK- model speelt binnen de methodiek nog worden verduidelijkt. Tot slot zal de opbouw van het rapport beschreven en schematisch worden weergegeven.
1.2 Introductie Aanleiding
In 2000 is in opdracht van de Minister van Onderwijs, Cultuur en Wetenschappen een benchmarkonderzoek uitgevoerd bij de IB-Groep. Naast de IB-Groep werd door vijf andere organisaties deelgenomen aan dit benchmarkonderzoek (RBB 0). Eén van de aanbevelingen was om dit onderzoek regelmatig te herhalen om de ontwikkelingen te kunnen volgen en ondersteunen. Op initiatief van de Minister van Onderwijs, Cultuur en Wetenschappen heeft deze benchmark nu een vervolg gekregen. De RBB heeft de ambitie om uit te groeien tot een benchmark die brede bekendheid geniet binnen de overheid en waaraan een aanzienlijk aantal overheidsorganisaties deelneemt. Aan de IB- Groep is opdracht gegeven om de database met benchmarkgegevens te beheren, een benchmarkmethodiek te ontwikkelen en te beheren en een benchmarkauditorenpool op te leiden. In dat licht is de Rijksuniversiteit, faculteit Bedrijfskunde, gevraagd
ondersteuning te leveren bij de verdere ontwikkeling van de methodiek van
benchmarking. Er is inmiddels een tweede benchmark geweest, RBB I. Aan dit tweede benchmarkonderzoek hebben tien uitvoeringsorganisaties gelieerd aan zeven ministeries deelgenomen. Tijdens het onderzoek is gestart met de derde ronde, de RBB II.
1 www.kessels-smit.nl
2 zie bijlage 1 voor een verklarende woordenlijst
IB-Groep
De IB-Groep is een zelfstandig bestuursorgaan (ZBO), gespecialiseerd in zakelijke dienstverlening voor het onderwijsveld. De belangrijkste opdrachtgever is het ministerie van Onderwijs, Cultuur en Wetenschappen waarvoor de IB-Groep onderwijswetten en regelingen uitvoert. De IB-Groep heeft als ambitie een excellente intermediaire
dienstverlener te zijn in het onderwijsveld. Excellent wil zeggen, beter dan de klant en de opdrachtgever verwachten. De IB-Groep werkt aan een continu proces van verbeteren.
In dat opzicht laat zij regelmatig haar bedrijfsvoering meten en vergelijken met andere uitvoeringsorganisaties van de overheid. De IB-Groep is een belangrijke partij binnen de RBB. Zij zorgt voor het beheer van de methodiek, het beheer van de gegevens en de opleiding en het beheer van de auditorenpool.
Verschillende partijen
De Raad van Participanten: Het parlement van de RBB-Groep. Dit is het hoogste beslissingsorgaan. Alle leden van de RBB-Groep hebben hierin zitting.
Het Dagelijks Bestuur: bestaande uit een voorzitter en twee leden. Voorzitter (Johan Hakkenberg, algemeen directeur RDW), zorgt voor de acquisitie van nieuwe deelnemers en houdt zich tevens bezig met communicatie. De leden (lid Raad van Bestuur SVB en Hoofddirecteur IB-Groep) zorgen respectievelijk voor het ´leren leren` van de
deelnemende organisaties en voor het beheer van de methodiek, het beheer van de gegevens en de opleiding en het beheer van de auditorenpool.
Het RBB-Groep secretariaat (organisatie-adviseur, SVB): zorgt voor de ondersteuning van het Dagelijks Bestuur en houdt zich tevens bezig met het ´leren leren´.
De RBB-Groep is een leernetwerk, waarbinnen de onderlinge band en contacten door deelnemersovereenkomsten worden geborgd. De ondersteuning van het netwerk door het secretariaat en het beheer door de IB-Groep, zal worden geprofessionaliseerd.
KPMG: Projectleiding bij de RBB II.
1.3 Rijksbrede Benchmark (RBB) Functies van het systeem
Functionele oordelen betreffen de ongewenste gevolgen in termen van de gewenste prestatie (De Leeuw, 2000). In dit onderzoek kan het systeem worden beschouwd als de RBB-Groep. Deze staat in contact met zijn omgeving. Van de RBB-Groep wordt verwacht dat zij in het benchmarktraject een aantal functies vervult. Het primaire doel van het benchmarkonderzoek is leren van elkaar. De functies die de RBB zou moeten vervullen zijn de volgende:
een set van best practices.
Hiermee worden beschrijvingen bedoeld van een aanpak van:
één of meerdere deelnemers die leidt tot uitmuntende resultaten;
een groep van deelnemende organisaties die van elkaar leren;
mogelijkheden om de aansturing en beheersing binnen de eigen organisatie te verbeteren;
informatie en input voor procesoptimalisatie bij de deelnemers.
De tweede doelstelling is het onderling vergelijken van prestaties en resultaten van de deelnemende uitvoeringsorganisaties. Hierbij wordt als randvoorwaarde gesteld dat de prestaties die vergeleken worden betrekking hebben op:
kwaliteit van de dienstverlening of geleverde producten;
kosten;
tevredenheid van klanten en personeel.
Dit levert een beeld op over onderlinge positionering van de deelnemers.
Tenslotte moet het benchmarktraject leiden tot beter inzicht in de effectiviteit van bestaande managementpraktijken van de deelnemende organisaties en dus tot inzicht in causale verbanden tussen de strategievorming, implementatie en organisatie van
processen enerzijds en de performance anderzijds. Dit geeft deelnemers inzicht in de mate waarin zij op koers liggen ten aanzien van hun ambities voor de nabije toekomst.
Het overkoepelende doel, waartoe het benchmarkproces moet leiden voor de deelnemers is dat zij beter in staat zijn te excelleren in de uitvoering van de aan hen opgedragen taken.
3Belangrijk hier is de vraag in hoeverre bovengenoemde functies beschadigd zijn.
1.4 Methodologie huidige benchmarkmethodiek
Als basis voor het benchmarkinstrument is het INK-model gebruikt. Dit model is gebruikt voor het structureren van de informatie en het stellen van de juiste vragen. Meerdere benchmarkpartners maken hierbij reeds gebruik van het model.
figuur 1.1: INK-model
1.4.1 INK-model
Managers zijn voortdurend bezig de organisatie te verbeteren en te vernieuwen, met kwaliteit als uitgangspunt. De zichtbare resultaten die uit het INK-model voortvloeien zijn voor klanten en medewerkers erg belangrijk en tevens werkt deze transparantie
motiverend. Meer nog dan de bekende balance scorecard en het ondernemingsplan richt het model zich op het ontwikkelingsperspectief van de onderneming. Niet alleen de klant en de medewerkers worden betrokken, ook verschillende belanghebbenden zoals
concurrenten, toeleveranciers en samenwerkingspartners. Het INK-model bestaat uit negen aandachtsgebieden en een terugkoppeling. De negen aandachtsgebieden zijn verdeeld in organisatie- en resultaatvelden. De resultaatvelden kijken naar wat de organisatie heeft bereikt, de organisatievelden naar de manier waarop de organisatie werkt en is ingericht. Inzet en effect kunnen zo met elkaar worden verbonden. Het model is een hulpmiddel voor verandering en een methode waarmee een organisatie blijvend kan focussen op mogelijke verbeteringen. Het doel van het model is organisaties in staat te stellen hun eigen functioneren met betrekking tot de gehele bedrijfsvoering te
beoordelen en in dit geval ook te vergelijken. Met behulp van deze beoordeling kunnen de organisaties hun functioneren verbeteren en uiteindelijk excelleren.
3
De huidige benchmarkmethodiek staat uitgebreid beschreven in de procesbeschrijving Benchmark Uitvoeringsorganisaties oktober 2003. Deze procesbeschrijving is door KPMG op papier gezet om de RBB-Groep te helpen bij het zelfstandig opzetten van het benchmarkproces (bijlage 2).
1.4.2 Prestatie-indicatoren
Om de resultaten van de deelnemende organisaties vergelijkbaar te maken is voor deze doelgroep (RBB I & II) een specifieke set van pi’s ontwikkeld. De stappen die hiervoor zijn gezet komen terug in hoofdstuk twee, waar de huidige stappen in het
benchmarkproces kort worden beschreven.
1.4.3 Organisatorische aansturing
Om de organisatorische aansturing van de deelnemende organisaties te inventariseren is een vragenlijst ontwikkeld en zijn per organisatie 10 à 15 interviews gehouden. Deze interviews zijn uitgevoerd door acht groepen auditoren (RBB II). Voor het
benchmarkmodel dat door de projectleiding is gebruikt wordt verwezen naar bijlage 3.
1.4.4 Confrontatie
In het INK-model zelf worden verbanden gelegd tussen de onderscheiden organisatie- en prestatievelden. Op basis van alle verzamelde data is de houdbaarheid van de
veronderstelde verbanden tussen de pi’s en de uitkomsten van de vragenlijst met
betrekking tot organisatorische aansturing onderzocht. De hoog scorende pi’s zijn daarbij leidend geweest. Onderzocht is of een sluitende redenering kan worden opgezet waarin een verband kan worden gelegd tussen een hoog scorende prestatie-indicator en de organisatorische aansturing die daarvoor verantwoordelijk is. Op basis van een standaardcorrelatieanalyse is vervolgens onderzocht of een correlatie aantoonbaar is tussen de aansturing en het cijfermateriaal. Dit heeft uiteindelijk geresulteerd in een set verklaarbare best practices.
1.4.5 Beperkingen huidige benchmarkinstrument
Het huidige benchmarkinstrument geeft op een aantal vragen nog geen antwoord.
Hieronder zullen enkele zaken puntsgewijs worden beschreven.
Het is niet mogelijk met behulp van dit rapport de organisaties onderling te
vergelijken op hun totale functioneren. De context van de organisaties waarbinnen zij functioneren verschillen te veel.
De aangereikte best practices zijn niet één op één overdraagbaar naar andere deelnemers. Er zal altijd een goede inventarisatie moeten plaatsvinden naar de werking van een best practice (context). Dit zal elementen opleveren die wel
vertaalbaar zijn naar een andere organisatie. Op dit moment zijn hiervoor nog niet de juiste middelen beschikbaar.
De score van de pi’s geeft altijd een gemiddeld beeld van een onderdeel van de organisatie. Het kan wenselijk zijn nader te onderzoeken welk beeld deze scores per uit te voeren regeling geven.
De onderzoeksgroep was bij RBB 0 en RBB I te klein en te divers om op basis van statistische analyses algemene conclusies te kunnen trekken. Hoe groter het aantal waarnemingen, hoe groter de kans om vast te stellen dat ook vrij zwakke verbanden statistisch significant zijn. Bij de RBB II zal wel een statistische analyse plaatsvinden, waardoor niet alleen correlaties aangetoond kunnen worden, maar ook algemene conclusies kunnen worden getrokken.
41.5 Opbouw van het rapport 1.5.1 Inleiding
De opbouw van dit rapport valt uiteen in vier delen. De vier delen zijn afgeleid van de eerste fase van het diagnoseproces van Kiewiet (2004), te weten de
probleemverkennende diagnose. In het probleemverkennend onderzoek wordt de managementvraag als uitgangspunt genomen en volgt een probleemanalyse. Voor een schematische weergave van het volledige diagnoseproces wordt verwezen naar bijlage 4.
4De huidige benchmarkmethodiek staat uitgebreid beschreven in de procesbeschrijving Benchmark Uitvoeringsorganisaties oktober 2003. Deze procesbeschrijving is door KPMG op papier gezet om de RBB-Groep te helpen bij het zelfstandig opzetten van het benchmarkproces (bijlage 2).
1.5.2 Indeling rapport Deel I:De procesbeschrijving
In dit deel worden ´functionele uitspraken´ gedaan met betrekking tot het systeem.
Verder wordt het doel van de probleemanalyse vastgesteld en worden randvoorwaarden geformuleerd. Vervolgens worden de huidige stappen in het benchmarkproces kort beschreven. Voortvloeiend hieruit volgt een aantal valkuilen die vervolgens getoetst worden in de praktijk. Het hoofdstuk eindigt met de uitkomsten van de gesprekken met een viertal probleemhebbers.
Deel II: Het referentiemodel
Om deze functionele uitspraken te beoordelen is een referentiemodel nodig. Het referentiemodel bevat criteria die de onderzoeker voor de probleemsituatie van belang acht en worden in dit onderzoek beschouwd. Door middel van literatuuronderzoek is een set van beoordelingscriteria opgesteld, waaraan de huidige methodiek wordt getoetst. De speerpunten die in dit onderzoek centraal staan zijn: leren, betrouwbaarheid, validiteit.
Om het geheel compleet te maken komen ook de randvoorwaarden aan de orde en wordt het fenomeen benchmarking uitvoerig behandeld.
Deel III:Toetsing van functionele uitspraken
De beoordelingscriteria behorend bij het referentiemodel worden in dit deel getoetst.
Deze fase begint met een methodologische verantwoording voor dit onderzoek. In de andere hoofdstukken wordt een antwoord gegeven op de volgende deelvraag:
In hoeverre voldoet de huidige benchmarkmethodiek aan de set van beoordelingscriteria?
Met behulp van een aantal vragen wordt deze deelvraag beantwoord. In hoofdstuk 5 worden de resultaten van de kwalitatieve analyse gepresenteerd. De toetsing van het benchmarkproces, het leeraspect en de randvoorwaarden aan de set van
beoordelingscriteria vindt plaats in hoofdstuk 6. Hoofdstuk 7 gaat tot slot in op de aspecten betrouwbaarheid en validiteit.
Deel IV: Conclusies & aanbevelingen
In het laatste hoofdstuk zullen de belangrijkste conclusies en aanbevelingen van het onderzoek worden beschreven en zal worden gekeken of de doelstelling is bereikt. Verder zullen aanbevelingen worden gedaan voor verder onderzoek.
Schematisch ziet het er als volgt uit:
Deel I: Procesbeschrijving
Deel II: Referentiemodel
Deel III: Toetsing functionele uitspraken
Deel IV: Conclusies en aanbevelingen figuur 1.2: opbouw rapport
Hoofdstuk 2
Hoofdstuk 3
Hoofdstuk 4, 5, 6 & 7
Hoofdstuk 8
H2. PROCESBESCHRIJVING 2.1 Inleiding
Dit onderzoek gebruikt als leidraad het eerste deel van het diagnoseproces van Kiewiet (2004). In dit hoofdstuk wordt de managementvraag beschreven en worden de
functionele uitspraken uiteengezet met betrekking tot het systeem (RBB). Daarnaast wordt het doel van de probleemanalyse geformuleerd. Vervolgens worden de stappen uit de huidige methodiek kort beschreven. Een analyse van de huidige procesbeschrijving heeft vervolgens geleid tot de formulering van een aantal valkuilen, die mogelijk kunnen voorkomen in de praktijk. Tot slot komen de uitkomsten van de gesprekken met de probleemhebbers aan de orde.
2.2 Managementvraag
In paragraaf 1.3 zijn de functies die het systeem (RBB) zou moeten vervullen
uiteengezet. Hieronder volgen uitspraken van de twee begeleiders vanuit de IB-Groep over de mate waarin volgens hen die functies beschadigd zijn:
Het ‘leren leren’ is volgens de probleemhebbers niet geborgd in de huidige methodiek en de deelnemende organisaties leren momenteel onvoldoende van elkaar.
De best practices die naar voren komen, zijn deze wel best practices?
Het risico dat best practices, worst cases worden is aanwezig.
De vergelijkbaarheid van de (deel)processen is niet optimaal.
Is het huidige instrument wel valide en betrouwbaar?
Het doel van de RBB is leren van elkaar en wanneer deze doelstelling niet wordt behaald, moet de RBB-Groep zich afvragen wat de oorzaak hiervan is. De probleemhebbers denken dat de oorzaak ligt bij de vraag; passen doel (leren van elkaar) en middel (benchmarking) wel bij elkaar? Bij de validatie worden de best practices achterhaald en de probleemhebbers veronderstellen dat deze niet altijd best practices zijn, mede dankzij een onduidelijk begrippenkader. Bij het succesvol toepassen van een best practice in een organisatie is de context van een organisatie erg belangrijk. Vermoed wordt dat hier onvoldoende naar gekeken wordt en op deze manier kan het gevaar ontstaan dat best practices worst cases worden. Dan de vraag waarom de vergelijkbaarheid tussen organisaties niet altijd even gemakkelijk is. Dit heeft volgens de probleemhebbers te maken met de context waarin een andere en de eigen organisatie zich bevindt en hier moet wel degelijk rekening mee worden gehouden. Verder wordt vermoed dat de huidige benchmarkmethodiek onvoldoende betrouwbaar is, als gekeken wordt naar (wijze van) vergelijkbaarheid tussen processen. De projectorganisatie hecht veel waarde aan een betrouwbare, valide en solide instrumentarium, teneinde het proces van benchmarking optimaal te faciliteren.
Op basis van bovengenoemde functionele uitspraken is de doelstelling van de probleemanalyse geformuleerd.
Doelstelling van de probleemanalyse
Toetsen van de ´juistheid´ van de functionele uitspraken die gedaan zijn door de probleemhebbers. Deze functionele uitspraken zijn:
In hoeverre is het ´leren leren´ voldoende geborgd in de huidige methodiek?
In hoeverre is het huidige instrument valide en betrouwbaar?
Op basis van conclusies en aanbevelingen wordt het organisatieprobleem vastgesteld. Op deze wijze kan door de IB-Groep besloten worden of, en zo ja hoe en waarover, verder onderzoek moet plaatsvinden.
Randvoorwaarden Organisatorisch
Duur contract met de IB-Groep: 6 maanden, tot 1 juni 2004
Commitment over het onderzoeksplan door zowel de IB-Groep als de Rug.
Commitment Dagelijks bestuur RBB.
Commitment van de projectorganisatie over het verlenen van medewerking tijdens het onderzoek en met de auditorenpool.
Inhoudelijk
De huidige benchmarkmethodiek dient als uitgangspunt voor dit onderzoek.
Het doel van de benchmark ´leren van elkaar´ dient in ogenschouw te worden genomen tijdens het onderzoek.
2.3 Huidige benchmarkmethodiek
Voordat de uitkomsten van de gesprekken met de probleemhebbers aan de orde komen worden eerst de stappen uit het huidige proces kort beschreven. Bij de beschrijving van deze stappen in het huidige proces heeft de procesbeschrijving van de huidige
benchmarkmethodiek als uitgangspunt gediend. De stappen zullen hieronder kort de revue passeren. Voor een uitgebreidere beschrijving van de stappen wordt verwezen naar de procesbeschrijving
5van de projectleiding.
Stap 1: kritische succesfactoren bepalen
Tijdens deze stap zijn de voor alle deelnemers geldende kritieke succesfactoren bepaald.
De kritieke succesfactoren worden bepaald door het opvragen van de processen (o.a.
handboeken en procesanalyses) en het maken van een overzicht van alle processen per organisatie. De definitie van kritische succesfactoren die gebruikt is luidt als volgt:
datgene wat de organisatie echt goed moet doen om haar strategie te realiseren. Aan het einde van deze stap vindt een afstemming plaats tussen de gevonden succesfactoren per organisatie. Daarnaast dienen de gezamenlijke succesfactoren te worden afgestemd met de deelnemers.
Stap 2: processen identificeren
In deze stap worden de processen geïdentificeerd met behulp waarvan aan de kritieke succesfactoren invulling wordt gegeven. Vervolgens worden de processen gekoppeld aan de kritieke succesfactoren. Bij de RBB I zijn de gevonden relaties teruggekoppeld en afgestemd met de deelnemende organisaties.
Stap 3: clusters maken met vergelijkbare processen
Vervolgens worden vergelijkbare processen geclusterd en deze groepen van processen krijgen een naam die de lading van alle processen in dat betreffende cluster moet dekken. De processen zijn geclusterd op basis van overeenkomsten en niet op basis van output. Dit om op deze manier de herkenbaarheid en de vergelijkbaarheid op basis van processen te vergroten. Vervolgens is hier per cluster een naam gegeven die alle processen in dat cluster dekt.
Stap 4: prestatie-indicatoren vaststellen met begrippenkader
Deze stap is tweeledig, want enerzijds worden de pi’s vastgesteld (prestaties van de processen worden meetbaar gemaakt) en anderzijds wordt het begrippenkader bepaald.
Belangrijk is hier een onderscheid te maken tussen drie soorten pi’s: indicatoren die iets zeggen over de kwaliteit van het proces, over de tevredenheid van de afnemer/klant en over de output van het proces. Per pi’s is een definitie vastgesteld. De deelnemende organisaties moeten in staat zijn de meetgegevens van de pi’s volgens de definitie op te leveren. De deelnemende organisaties zijn zelf verantwoordelijk voor het aanleveren van het aantal pi´s en de kwaliteit daarvan.
5De huidige benchmarkmethodiek staat uitgebreid beschreven in de procesbeschrijving Benchmark Uitvoeringsorganisaties oktober 2003. Deze procesbeschrijving is door KPMG op papier gezet om de RBB-Groep te helpen bij het zelfstandig opzetten van het benchmarkproces (bijlage 2).
Stap 5: meting uitvoeren
Hier worden de meetgegevens op de pi’s bij de deelnemers verzameld.
Er wordt vooraf aan het project een contactpersoon aangesteld binnen de deelnemende organisaties. Er moet vroegtijdig begonnen worden met het uiteenzetten van de pi´s binnen de organisatie door de contactpersonen. Duidelijk is gemaakt wanneer de
gegevens moeten worden aangeleverd en waar rekening mee moet worden gehouden bij de verzameling van de gegevens.
Stap 6: kwalitatieve vragenlijst aanpassen
De vragenlijst wordt afgenomen in de vorm van een interview (gestructureerd interview met pre-code antwoorden) c.q. audit. Tijdens het interview dient de geïnterviewde zijn/
haar antwoorden te onderbouwen met behulp van ´bewijsmateriaal´. De vragenlijst is een vertaling van het INK-model en per onderdeel zijn 6 tot 12 gesloten vragen gemaakt die per INK-gebied op de belangrijkste onderwerpen ingaan. Bij elke vraag staan vier antwoordcategorieën met een vijfde optie. Deze vijfde optie zijn de tien punten die extra kunnen worden toegekend, wanneer het antwoord onderbouwd kan worden met behulp van ´bewijsmateriaal´. Vervolgens kiest de auditor de antwoordcategorie die het best past bij het antwoord van de geïnterviewde en het door hem/haar aangeleverde
´bewijsmateriaal´.
Opbouw van de antwoordcategorieën
Het gevraagde is niet in opzet aanwezig (theorie) in de organisatie en ook niet geïmplementeerd (0 punten)
Het gevraagde is wel in opzet aanwezig, maar nog niet (goed) geïmplementeerd (23 punten)
Het gevraagde is in opzet aanwezig (theorie = ok), maar nog niet volledig geïmplementeerd (56 punten)
Het gevraagde is in opzet aanwezig (theorie = ok) en succesvol geïmplementeerd (praktijk = ok) (90 punten)
Gedocumenteerd (10)
Het INK-model is inmiddels gewijzigd, waardoor een kleine aanpassing in de vragenlijst heeft plaatsgevonden. Verder is er de mogelijkheid om enkele vragen toe te voegen en/of te verwijderen. Dit kan het geval zijn wanneer na toetsing van de vragenlijst aan de situatie van de deelnemer blijkt, dat bij de deelnemers onderdelen in de
organisatieaansturing zijn die te weinig aandacht krijgen of niet relevant zijn voor de deelnemers.
Stap 7: te interviewen personen selecteren
Deze stap dient al bij de start van de benchmark volbracht te zijn in verband met volgeboekte agenda’s van managers. Voor een goede planning wordt gewerkt met een interviewschema. Dit schema bestaat uit de 9 velden van het INK-model en de functies van de te interviewen functionarissen. Vervolgens zijn door de projectleiding kruisjes gezet m.b.t. welke functionarissen over welke onderwerpen worden geïnterviewd. De contactpersoon is vrij om eventueel kruisjes te verplaatsen, maar het aantal keren dat een onderwerp aan de orde komt moet wel gelijk blijven. Bij de RBB is gekozen voor het inzetten van meestal twee, soms drie auditoren per informant.
Stap 8: interviews afnemen
Bij de RBB II worden 8 organisaties geaudit door een team van 2 tot 5 auditoren
afhankelijk van de grootte van de organisatie. Deze auditoren spreken met verschillende
informanten uit de verschillende lagen van de organisatie. Per INK-veld wordt met
meerdere informanten gesproken, oftewel er is sprake van een competitief proces. De
interviews hebben de insteek niet naar meningen te vragen, maar op zoek te gaan naar
feiten. Tijdens het interview wordt gevraagd de antwoorden te onderbouwen door middel
van ´bewijsmateriaal´ en wordt beoordeeld of dit voldoende is om het antwoord te
onderbouwen. Indien nodig en mogelijk wordt het materiaal meegenomen, zodat tijdens
het schrijven van de rapportage deze nogmaals ingezien kan worden. Door de interacties tussen de auditoren van vraag naar antwoord, en onderbouwing van het antwoord, wordt gekomen tot een zo goed mogelijk afgewogen eindantwoord en een zo reëel mogelijke score per vraag. De scores met motivatie worden ingevoerd in een spreadsheet (zie bijlage 5). Voordat de interviews plaatsvinden maken de deelnemende organisaties kennis met de methodiek, krijgen een korte uitleg van het INK-model en wordt gevraagd naar bewijslast. Verder wordt het belang en het doel van de audit toegelicht. Deze introductie wordt door de contactpersoon uitgevoerd (bijlage 6). Als de auditor tijdens de interviews het vermoeden heeft dat er mogelijk sprake is van een best practice dient hij/zij uitgebreid aandacht de besteden aan de achterliggende aanpak en deze ook te registreren.
Stap 9: bewijsmateriaal verzamelen en beoordelen
Het verzamelen van bewijsmateriaal begint reeds voorafgaande aan het interview en wordt tevens gebruikt tijdens het schrijven van de rapportage. Wanneer geen
documentatie voor het antwoord op de vraag aanwezig is, dan zal naar voldoende voorbeelden gevraagd moeten worden om een zo objectief mogelijk beeld te krijgen.
Deze voorbeelden worden getoetst bij andere geïnterviewden.
Stap 10: validatie
Bij deze stap wordt beoordeeld of daadwerkelijk gemeten is wat de auditoren wilden meten en of de meting betrouwbaar is. De projectleiding heeft twee processen
onderscheiden bij de validatie, namelijk die van de validatie van de pi’s en de validatie van de antwoorden m.b.t. de aansturing (scores INK-vragenlijst).
Validatie PI´s: de validatie van de pi’s vindt plaats bij de deelnemende organisaties en door de projectleiding is vastgesteld welke prestatie-indicatoren getoetst moeten worden.
Het doel is om minimaal 10% van de aangeleverde meetwaarden per deelnemer te toetsen.
De zaken die getoetst worden voor de geselecteerde pi’s zijn:
1. Klopt het meetinstrument met behulp waarvan de meetgegevens verzameld zijn?
2. Is de wijze waarop de aangeleverde meetwaarde berekend is wel juist?
3. Zijn de opgenomen waarden in de berekening wel juist?
Validatie antwoorden met betrekking tot de aansturing (scores INK-vragenlijst): Er wordt getoetst op twee punten.
1. Zijn de gegeven scores consistent met de motivatie die genoteerd staat en het bewijsmateriaal dat daarin beschreven is?
2. Zijn de puntenscores van de verschillende informanten per vraag consistent met elkaar?
Stap 11: relaties leggen
Bij deze stap kunnen relaties worden gelegd tussen de diverse onderwerpen uit het INK- model, de pi’s onderling en tussen de INK- aspecten en de pi’s. Het doel is of en zo ja welk verband kan worden gelegd tussen een bepaalde pi en het aspect van
organisatorische aansturing dat daarvoor verantwoordelijk is. De input van de gegevens komt uit stap 5 (meten pi’s), afnemen interviews (stap 8) en het beoordelen van het bewijsmateriaal (stap 9) en stap 10 (valideren). Wat betreft de pi’s dient er een voldoende grote groep van organisaties te zijn die onderling op pi’s kan worden vergeleken. Verder wordt gekeken naar de consistentie van de antwoorden. Bij de antwoorden gaat het hier niet zozeer om de absolute score als wel om de relatieve score ten opzichte van de andere deelnemers. Door middel van motivaties van de scores zullen de scores waar nodig worden bijgesteld om te komen tot een goede relatieve
vergelijking. Tot slot worden zowel kwalitatieve (verband tussen goed presterende
organisatieonderdelen/processen en de aansturing daarvan) als kwantitatieve verbanden
gelegd. Voor de procedure die gevolgd is voor het leggen van kwantitatieve verbanden, wordt verwezen naar de procesbeschrijving bijlage 2, stap 11.
Stap 12: rapport per deelnemer
Voor elke deelnemer aan het benchmarkonderzoek wordt een afzonderlijk rapport geschreven, dat inzicht geeft in de stand van zaken binnen de organisatie in relatie tot andere deelnemende organisaties. Om er voor te zorgen dat de rapportages van de deelnemers op een eenduidige en snelle manier worden geschreven is gewerkt met redactieateliers. Alle auteurs zijn tegelijkertijd bezig en kunnen tussendoor
onduidelijkheden met elkaar afstemmen en direct vragen aan elkaar stellen indien iets onduidelijk is. Voordat de rapportage wordt geschreven, wordt de strategie van de deelnemende organisaties (nogmaals) goed bestudeerd. Hieruit worden vervolgens de speerpunten gehaald die de deelnemende organisaties zich voor de komende 3 à 4 jaar ten doel hebben gesteld. Tijdens het redactieatelier is gebruik gemaakt van een
brownpapersessie met als resultaat een doelenboom. In de doelenboom worden ten hoogste vijf strategiespeerpunten benoemd. Vervolgens wordt de doelenboom getoetst in de groep en wordt gekeken of de indeling logisch is en de achterliggende redenatie klopt.
De doelenboom wordt vervolgens per speerpunt verder uitgewerkt. Op deze manier is de basis gelegd voor het rapport.
Stap 13: hoogste scores kwaliteit, kosten en tevredenheid
Hier wordt een selectie gemaakt van best practices op basis van de optimale balans tussen kosten, kwaliteit en tevredenheid. Het gaat erom het optimum te vinden tussen tevreden klanten en een daarbij behorende acceptabele bereikbaarheid tegen zo laag mogelijke kosten. Bij de beschrijving van de best practices is gekeken naar wat een organisatie op elk van de organisatievelden van het INK-model geregeld heeft om te komen tot uitmuntende prestaties.
Stap 14: samenvattend rapport met best practices
Het samenvattend rapport wordt door de projectleiding geschreven en daarin wordt per INK-gebied de geïdentificeerde best practices, een beschrijving van de gehanteerde methodiek en enkele opgetekende ervaringen van deelnemers aan het
benchmarkonderzoek beschreven. Bij deze stap is het belangrijk dat het doel van het rapport goed besproken wordt. Vervolgens dient een selectie plaats te vinden van de onderwerpen. Tot slot wordt het rapport geschreven, teruggekoppeld en afgestemd met de deelnemende organisaties.
2.4 Valkuilen in de praktijk
Een analyse van de huidige procesbeschrijving heeft geleid tot de formulering van een aantal valkuilen die mogelijk kunnen voorkomen in de praktijk. Deze valkuilen zijn door de onderzoeker vastgesteld en zijn vervolgens in de praktijk getoetst.
Valkuilen
Men heeft te veel informanten op een dag gepland, niet rekening houdend met het aantal beschikbare auditoren.
Informanten zijn niet goed geïnformeerd, zijn gemaakte afspraken vergeten of er zit teveel tijd tussen de interviews. In alledrie de gevallen zorgt dit ervoor dat men meer dagen kwijt is dan gepland.
In het interviewschema is zo met de kruisjes geschoven dat een bepaald onderwerp uit het INK-model niet meer of te weinig aan de orde komt.
Auditoren die de interviews niet goed in hun agenda hebben verwerkt en op de verkeerde plek of te laat verschijnen.
Van beide kanten is de voorbereiding niet optimaal, waardoor het proces meer tijd gaat kosten dan gepland. De informanten hebben het bewijsmateriaal niet
verzameld en/of hebben de vragenlijst niet doorgenomen. De auditoren kunnen niet uitleggen wat met de vragen en bepaalde begrippen wordt bedoeld.
De informant blijkt uiteindelijk toch onvoldoende kennis te hebben van zaken
aangaande het aan hem/haar toebedeelde onderwerp.
Verschillen tussen de aanpak van de auditoren tijdens de interviewafname doelend op het wel of niet doorvragen. Verder kunnen er problemen ontstaan bij het scoren in verband met de interpretatie van de antwoorden. Ook kan de motivatie niet overeenkomen met de score die is gegeven.
Aan de kant van de deelnemers kan externe framing (bijvoorbeeld informant is beïnvloed door een functioneringsgesprek en geeft een negatievere voorstelling van zaken) ontstaan en kan verkeerde informatie verstrekt worden. Ook kunnen de auditoren te maken krijgen met deelnemers die een dubbele agenda hebben (stellen zaken mooier voor dan ze in werkelijkheid zijn).
Bij de beoordeling van het bewijsmateriaal komen de toegekende scores niet overeen met de motivaties.
Er ontstaan interpretatieverschillen bij het beoordelen van het bewijsmateriaal op volledigheid onder de auditoren.
2.5 Gesprekken met probleemhebbers
In deze paragraaf wordt gekeken wie de probleemhebbers zijn en wordt de opdracht geoperationaliseerd. Aan het begin van het onderzoek is gesproken met een viertal probleemhebbers.
Twee van de probleemhebbers waren de vanuit de IB-Groep aangewezen begeleiders.
De andere probleemhebber was een concern-auditor binnen de IB-Groep en deze persoon heeft gezien zijn ervaring meegeholpen bij het selecteren van de auditoren voor het benchmarktraject.
De vierde probleemhebber was een auditor uit de organisatie zelf en heeft daarbij ook deelgenomen aan het benchmarktraject (RBB II).
Hieronder staat een aantal vragen over met name de opdrachtformulering, welke
duidelijk diende te zijn voordat begonnen kon worden met het daadwerkelijke onderzoek.
Wat wordt van de onderzoeker verwacht en welk eindresultaat dient er aan het einde van de periode te liggen?
Dient op zoek te worden gegaan naar fouten (beschrijven) of dient de onderzoeker ook te ontwerpen in de zin van het achterhalen van de oorzaken van de ‘problemen’
dan wel implementeren?
Op welk niveau moet naar het vraagstuk worden gekeken en hoe dient het benaderd te worden? Methodologisch, organisatorisch of een combinatie hiervan?
Door de onderzoeker is op grond van haar professionele kennis een prioritering
aangebracht en is een selectie gemaakt van de antwoorden gegeven op bovengenoemde vragen. De antwoorden die door de vier probleemhebbers zijn gegeven, zijn tevens aangevuld met eigen inzichten en ideeën. De uitkomst van de gesprekken met de probleemhebbers is vervolgens teruggekoppeld aan de twee begeleiders en diende als basis voor de start van het onderzoek. Om de functionele uitspraken te kunnen beoordelen, moet invulling worden gegeven aan de volgende aspecten: analyse, validatie, ontwikkelen en vastleggen.
Opdracht:
Analyseren, valideren, ontwikkelen en vastleggen van de methodiek.
Analyseren Het analyseren van alle stappen in de procesbeschrijving van de projectleiding; deze analyse vindt plaats op verschillende momenten.
Aan het einde van het proces vindt een analyse plaats van de naar voren gekomen knelpunten.
Valideren Bij elke stap dient zowel het begrip validiteit als ook de
betrouwbaarheid te worden beoordeeld (validiteit van de vragenlijst, uniforme scoringsmethodiek, inbouwen controlemomenten etc.).
Ontwikkelen Het aandragen van verbeterpunten en aanbevelingen, zodat het
karakter van de doelstelling (leren van elkaar) zijn weerslag (z.o.z.) vindt in de methodiek. Belangrijk daarbij is dat de
‘aangepaste/vernieuwde methodiek’ moet blijven leren van zichzelf (leercyclus) en het begrip evaluatie zal een belangrijke rol moeten spelen.
Vastleggen De vastlegging van de knelpunten, conclusies en aanbevelingen ten aanzien van de huidige methodiek zal plaatsvinden in de vorm van een scriptie.
Afbakening
Onderzoek naar in hoeverre het instrumentarium aansluit bij de doelstelling leren van elkaar.
Graag zowel op methodologisch (wetenschappelijk) als organisatorisch (praktijk) niveau naar het vraagstuk kijken. De vertaalslag maken van wetenschap naar praktijk.
Het naar voren brengen van knelpunten en vervolgens aanbevelingen aanreiken.
In dit onderzoek staat de probleemverkenning centraal. De aangereikte conclusies en aanbevelingen zullen in de volgende fase moeten worden vormgegeven en de
oorzaken van de knelpunten moeten worden achterhaald.
2.6 Samenvatting Huidige methodiek
Stap 1 Stap 2 Stap 3 Stap 4 Stap 5
Stap 6 Stap 7 Stap 8 Stap 9 Stap 10
Stap 11 Stap 12 Stap 13 Stap 14
Een analyse van de bovengenoemde stappen uit de huidige procesbeschrijving heeft geleid tot de formulering van een aantal valkuilen die mogelijk kunnen voorkomen in de praktijk (paragraaf 2.4). Door middel van observaties en enquêtes is getoetst of deze valkuilen binnen de verschillende groepen ook daadwerkelijk voorkomen (H5).
Probleemhebbersanalyse
De managementvraag is het uitgangspunt van het probleemverkennend onderzoek.
Vermoed wordt dat de huidige benchmarkmethodiek onvoldoende betrouwbaar is als gekeken wordt naar (wijze van) vergelijkbaarheid tussen processen. De IB-Groep hecht veel waarde aan een betrouwbare, valide en solide instrumentarium teneinde het proces van benchmarking optimaal te faciliteren. Op basis hiervan heeft een gesprek met vier
Kritieke succesfactoren
identificeren
Processen
identificeren Clusters maken met vergelijkbare
processen
Prestatie- indicatoren vaststellen met begrippenkader
Meting uitvoeren
Kwalitatieve vragenlijst aanpassen
Te interviewen personen selecteren
Interviews
afnemen Bewijsmateriaal verzamelen en
beoordelen
Validatie
Relaties leggen Rapport per
deelnemer Hoogste scores:
kwaliteit, kosten en tevredenheid
Samenvattend rapport met best
practices
