KWALITEITSMANAGEMENT, ONZEKERHEID EN PROCESPRESTATIES

Hele tekst

(1)

1

KWALITEITSMANAGEMENT, ONZEKERHEID EN PROCESPRESTATIES Case studie procesverbetering bij Waterschap Hunze en Aa’s

door Piet Penninga

Waterschap Hunze en Aa’s -

Rijksuniversiteit Groningen Faculteit Economie en Bedrijfskunde

Master Scriptie

31 januari 2010

1e begeleider: S. Tillema 2e begeleider: E.P. Jansen

(2)
(3)

3 Dankwoord

Met deze scriptie wordt een periode van 3 jaar studeren afgesloten. In die tijd heb ik mogen werken aan mijn eigen ontwikkeling. Daarvoor heb ik van verschillende mensen ruimte gekregen.

Jacqueline: bedankt voor de tijd, die vaak ten koste ging van heerlijke wandelingen samen in de buitenlucht. Sorry, voor mijn (mentale) afwezigheid op stressmomenten.

Marten, Rianne, Jorrit: door de studie was er soms weinig tijd voor ontspanning, daarom: welkom aan boord van de Dol-fijn deze zomer.

Harm: bedankt voor de ruimte en gelegenheid voor het kunnen studeren, de feedback en de bijdrage van het waterschap.

Collega’s: jullie eerlijke manier van communiceren over jullie ervaringen hebben mij in staat gesteld dit onderzoek te doen

Sandra: jouw snelle, constructieve terugkoppeling en kritische noten daagden mij uit en daardoor ontstond een steeds beter product. Zonder die terugkoppeling was dit resultaat er niet gekomen. Alle docenten van RUG en AOG: jullie inspiratie, vragen, kritische noten, het heeft mij geholpen bij mijn ontwikkeling en het kunnen volhouden tot het einde.

Mijn mede studenten: ik mis jullie nu al, die wekelijkse momenten bij het AOG, de discussies bij de groepsopdrachten, het plezier en de gezamenlijke China-ervaring.

(4)
(5)

5

SAMENVATTING

Het sturen van een organisatie in de gewenste richting is een van de belangrijkste aspecten van een besturingssysteem. Belangrijk hierbij is het richting geven aan het gedrag van mensen in die organisatie. Bij het sturen van dat menselijk gedrag zijn twee principiële keuzes mogelijk. Dit betreft het sturen op de ontwikkeling van de vaardigheden van mensen of het sturen op het vergroten van de taakprogrammeerbaarheid van de werkprocessen. De juiste keuze wordt onder meer bepaald door de omgevingsonzekerheid. Hoe groter die onzekerheid, hoe meer het

besturingssysteem zich moet richten op de ontwikkeling van vaardigheden van mensen.

Total Quality Management (TQM) is een mogelijke methode om de besturingsstrategie inhoud te geven. TQM is geïntroduceerd als een verbeterprogramma voor organisaties in de jaren `70 en `80 van de vorige eeuw op basis van successen die werden behaald in de Japanse industrie in deze periode. TQM is een totaal aanpak voor continue verbetering van de organisatie om de gestelde organisatiedoelen te halen, waarbij de sleutel ligt bij de aanpak van de processen in de organisatie. Binnen TQM worden twee verschillende perspectieven beschreven. In deze studie Total Quality Control (TQC) en Total Quality Learning (TQL) genoemd. Het TQC perspectief richt zich op de taakprogrammeerbaarheid van de werkprocessen. Dit gebeurt door het gebruik van korte

productiecycli met veel terugkoppelmomenten en een sterk statistische procesbenadering. Er is sprake van 1e orde leren en een korte termijn effect. Het TQL perspectief richt zich op de ontwikkeling van de medewerkers, waarbij het oog is gericht op de veranderende en onzekere omgeving van de organisatie. Het heeft een lange termijn effect en er is sprake van 2e en 3e orde leren. De vraag is welke van de twee TQM perspectieven (TQC of TQL) het beste resultaat geeft in het bereiken van de organisatiedoelen.

Lean thinking is een moderne kwaliteitsstroming, welke in het Westen is geïntroduceerd, opnieuw op basis van successen binnen de Japanse industrie en met name Toyota. Lean is binnen de TQM methodiek te plaatsen onder het TQC perspectief.

Omgevingsonzekerheid is de primaire factor is om te kiezen voor een TQC of TQL perspectief. Het is echter de vraag of de omgevingsonzekerheid op organisatieniveau bepalend is voor een juiste keuze voor TQC of TQL of dat deze omgevingsonzekerheid, doorvertaald naar het niveau van de werkprocessen in de organisatie, omgevingsdynamiek genoemd, bepalend is voor die keuze. Immers, de kern en het aangrijpingspunt voor TQM ligt ook op procesniveau.

(6)

6 van het werkproces met de omgeving, binnen of buiten het waterschap, wordt het standaardiserende effect van procesverbetering lager.

Door het ontbreken van goede informatiesystemen binnen het waterschap zijn de effecten moeilijk te kwantificeren. Rapportages zijn in het algemeen in algemene termen gesteld. Toch kan worden gesteld dat de procesaanpak van het waterschap, in de vorm van TQC, met name effect heeft op de interne, standaard, van de omgeving afgeschermde werkprocessen. Het betreft hier veelal kort cyclische en repeterende activiteiten, waarvan ook in de onderzochte literatuur is aangegeven dat de effecten van TQC juist daar merkbaar zijn. Hoe hoger de omgevingsdynamiek, hoe minder groot het effect van TQC.

De successen van procesverbetering binnen het waterschap worden verschillend beleefd. Deels wordt dit veroorzaakt door een variërend draagvlak voor de gekozen methodiek. Deels omdat bijvoorbeeld lerende effecten uitblijven. Maar ook omdat binnen het management zowel een mechanistische (meer systeem gericht) als een organische visie (meer mens gericht) naast elkaar bestaan. Dit wordt nog versterkt door het ontbreken van een duidelijke vertaling van de strategie naar de processen op de werkvloer.

(7)

7

INHOUDSOPGAVE

Samenvatting ... 5

1 Inleiding ... 9

2 Sturing door kwaliteit ...11

2.1 Optimale besturing. ... 11

2.2 Totale kwaliteit. ... 12

2.3 Moderne kwaliteitshanden en -voeten. ... 16

2.4 Kwaliteitsprestaties. ... 17 2.5 Leiderschap... 19 2.6 Informatiemanagement ... 20 2.7 Omgevingsdynamiek ... 22 2.8 Een onderzoeksmodel ... 24 3 Onderzoeksopzet ...25 3.1 Case studie ... 25 3.2 Gegevensverzameling ... 25 3.3 Procesverbetering ... 26 3.4 Omgevingsdynamiek ... 26 3.5 Succes ... 27 3.6 Resultaten ... 27 4 Resultaten en analyse ...29

4.1 Waterschap Hunze en Aa’s ... 29

4.2 Procesverbetering bij waterschap Hunze en Aa’s ... 30

4.3 De werkprocessen bij waterschap Hunze en Aa’s ... 34

4.3.1 Omgevingsdynamiek ... 35

4.3.2 Resultaten van procesverbetering ... 35

4.3.3 De werkprocessen ... 36

4.4 Nadere analyse van de onderzoeksresultaten ... 41

4.4.1 Procesverbetering... 41

4.4.2 Omgevingsdynamiek ... 42

4.4.3 Successen ... 44

4.4.4 Rol van leiderschap ... 46

4.4.5 Rol van informatiesystemen ... 47

5 Conclusies en Discussie ...49

6 Beperkingen en aanbevelingen ...53

Literatuurlijst ...55

Bijlage 1: De verschillen tussen TQC en TQL...59

Bijlage 2: The Balanced Scorecard ...60

2a. De vertaling van visie en strategie: vier perspectieven. ... 60

2b. De beheersing van de strategie: 4 processen. ... 60

Bijlage 3: Typologie voor management besturing ...61

Bijlage 4: Organogram waterschap Hunze en Aa’s ...62

Bijlage 5: Strategie waterschap Hunze en Aa’s ...63

Bijlage 6: Gebruikte bronnen case studie ...64

(8)
(9)

9

1 INLEIDING

Binnen het waterschap Hunze en Aa’s, onderwerp van deze case studie, is vanaf 1 januari 2007 een proces van continue procesverbetering ingezet. Dit veranderingstraject vindt plaats onder de vlag van “permanent verbeteren” of “Lean management” en kent wisselende successen.

Procesverbetering is onder te brengen bij Total Quality Management, dat in deze studie wordt benaderd als een besturingsstrategie. De besturing van een organisatie heeft tot doel het gedrag van de mensen in een organisatie zo te beïnvloeden dat de organisatie de gewenste of gestelde doelen bereikt en de prestaties van die organisatie verbeteren. Ook Total Quality Management claimt dit te doen.

De centrale onderzoeksvraag in deze studie richt zich op de effectiviteit van Total Quality Management (TQM) als besturingsstrategie binnen overheidsorganisaties:

“Kan TQM succesvol worden geïmplementeerd als instrument om de prestaties binnen

overheidsorganisaties te verbeteren? Welke factoren zijn hierop van invloed? In hoeverre zijn deze factoren specifiek voor overheidsorganisaties?”

In hoofdstuk twee wordt TQM als besturingsstrategie verder uitgewerkt. Binnen TQM zijn twee verschillende stromingen te definiëren. De effectiviteit van deze stromingen wordt vooral bepaald door de omgevingsonzekerheid, maar ook andere factoren als leiderschap en meetbaarheid zijn van belang voor de effectiviteit van TQM. Omgevingsonzekerheid is op twee verschillende niveaus relevant, op die van de organisatie-omgeving en die van de directe omgeving van de werkprocessen binnen een organisatie.

De eigenlijke case studie richt zich op de mate van onzekerheid van de werkprocessen bij het waterschap Hunze en Aa’s en de invloed van die onzekerheid op de effectiviteit van de toegepaste TQM strategie. Van verschillende werkprocessen bij het waterschap is de omgevingsonzekerheid onderzocht. Ook is onderzoek gedaan naar de methode van procesverbetering bij het waterschap en het succes van deze methode op de werkprocessen, afgezet tegen de omgevingsonzekerheid van die werkprocessen.

(10)
(11)

11

2 STURING DOOR KWALITEIT

2.1 Optimale besturing.

Richting geven aan het gedrag van mensen in een organisatie is een van de belangrijkste aspecten van een besturingssysteem (Merchant, van der Stede, 2007, pag. 8). Het doel hierbij is de

organisatie te sturen in de gewenste richting. Maar hoe kan een organisatie zo worden bestuurd dat zij in de richting van haar doelstellingen beweegt en hoe kan dit besturingssysteem zo optimaal mogelijk worden ingericht om maximaal succes te hebben als organisatie?

Dat zijn ook de vragen die Ouchi (1979, pag. 833) zich stelt in zijn speurtocht naar een raamwerk voor besturingsmechanismen. Ouchi komt hierbij tot twee principiële besturingsstrategieën, waarbij de één zich richt op gedrag en de ander op output (resultaat). De keuze voor een van deze twee besturingsstrategieën wordt volgens Ouchi (1979) bepaald door twee factoren: de mate van kennis van het transformatieproces en de meetbaarheid van de output. Wanneer duidelijke outputmeting niet mogelijk is, zal sturing op gedrag moeten plaats vinden. Afhankelijk van de aanwezige kennis van het transformatieproces zijn hierbij twee keuzes. Perfecte kennis van het transformatieproces in de organisatie vraagt volgens Ouchi om een bureaucratische besturingsvorm, imperfecte kennis van het transformatieproces leidt tot wat hij noemt “clan control”. Ouchi benadert zijn raamwerk voor besturingsmechanismen vanuit het organisatieperspectief, los van de omgeving van die organisatie. Maar een organisatie is in de huidige maatschappelijke context niet los te zien van haar omgeving. Eisenhardt (1985) betrekt daarom de omgeving wel bij de keuze voor een besturingsstrategie. Zij doet dit vanuit een economisch perspectief, waarbij zij zich baseert op de agency theorie. Hierbij komt Eisenhardt tot dezelfde twee principiële keuzes binnen besturingsstrategieën als Ouchi: sturing op gedrag of op resultaat (output). Omgevingsonzekerheid is volgens haar een belangrijke mede bepalende factor voor de keuze van een besturingsstrategie. Hoe hoger de

omgevingsonzekerheid, hoe meer er op output moet worden gestuurd. Is deze output moeilijk te definiëren, dan bepaalt de omgevingsonzekerheid ook de vorm van gedrag sturing. Bij een hogere omgevingsonzekerheid moet gedrag sturing dan meer gericht zijn op de ontwikkeling van

vaardigheden en minder op taakprogrammeerbaarheid. Bij Ouchi (1979) respectievelijk “clan control” en bureaucratische besturing genoemd.

Chenhall (2003) heeft onderzoek gedaan naar de ontwikkeling van besturingssystemen in de

periode 1980 – 2000. Hij kiest daarbij voor de contingentie benadering en bouwt daarmee verder op het concept van Eisenhardt (1985) en Ouchi (1979). Omgevingsonzekerheid is ook in het onderzoek van Chenhall (2003) een belangrijke factor bij de keuze voor een effectief besturingssysteem. Opvallend is daarnaast dat in de ontwikkeling van besturingssystemen gedurende deze

(12)

12 beslissingsondersteunende systemen en informatie ten aanzien van personeel en sociale context. Chenhall (2003) onderstreept hiermee, net als Ouchi (1979) en Eisenhardt (1985), het belang en het gebruik van informatie binnen besturingssystemen om het organisatiedoel te kunnen bereiken. Chenhall voegt daarnaast nog twee belangrijke factoren, organisatiestrategie en leiderschap, toe bij het maken van een juiste keuze voor een besturingssysteem. Een duidelijke strategische keuze van het management voor een bepaalde organisatiestrategie bepaalt mede de juiste besturingsstrategie. Zo vraagt de keuze voor een “defender” strategie volgens Chenhall (2003, pag. 151) om een meer doelgericht en afgebakende besturingsstrategie. Een “prospector” strategie daarentegen vraagt om een meer open besturingsstrategie die in staat is in te spelen op veranderende omstandigheden. Chenhall (2003) beschrijft Total Quality Management (TQM) heel duidelijk in het bredere verband van de besturingsstrategieën van een organisatie. Het is voor hem een manier, een methode, om de gewenste besturingsstrategie van een organisatie in te vullen. In het vervolg van dit hoofdstuk zal op TQM als besturingsmethode dieper worden ingegaan. De bepalende factoren

omgevingsonzekerheid, informatie, leiderschap en strategie bij de keuze voor een

besturingsstrategie worden verder uitgewerkt binnen de TQM benadering van de organisatie. 2.2 Totale kwaliteit.

Total Quality Management is een stroming die in de jaren `70 en `80 van de vorige eeuw als

“verbeterprogramma” werd geïntroduceerd als antwoord op de succesvolle opkomst van de Japanse industrie in deze periode. Een opkomst die een bedreiging vormde voor de Amerikaanse industrie. Kaynak (2003, pag. 406) definieert TQM als volgt: “TQM can be defined as a holistic management philosophy that strives for continuous improvement in all functions of an organization, and it can be achieved only if the total concept is utilized from acquisition of resources to customer service after the sale.” TQM is in deze definitie een alles omvattende strategische managementkeuze voor het verbeteren en sturen van de totale organisatie in een bepaalde richting. Het is daarmee dus duidelijk een besturingsmethode, gericht op continue verbetering van de organisatie, om daarmee de

organisatiedoelen te bereiken.

In de praktijk maken organisaties vaak keuzes uit het totale pallet van mogelijkheden om de veranderingen binnen de organisatie beheersbaar te houden. Kaynak (2003) onderzocht welke TQM-practices (strategische managementkeuzes) zoal voorkomen en of ze effect hebben op het presteren van een organisatie. In dit onderzoek van Kaynak worden een aantal verschillende TQM-practices onderscheiden die zich richten op: leiderschapskwaliteiten van het management, training en opleiding, medewerkerparticipatie, statistische kwaliteitscontrole, inkoopmanagement, logistiek of procesmanagement.

De resultaten en het effect van deze TQM-practices zijn in een onderzoek onder ruim 1800 bedrijven onderzocht op effectiviteit ten aanzien van een drietal prestatiegebieden: financiële en marktprestaties, kwaliteitsprestaties en logistieke prestaties. Uit het onderzoek is gebleken dat vooral procesmanagement een positief effect heeft op al deze drie prestatiegebieden. De sleutel voor ontwikkeling van de organisatie lijkt voor TQM dus te liggen bij procesmanagement.

Ook Knights en McCabe (2002) gaan in op procesmanagement als sleutel voor TQM. Deze auteurs beschrijven TQM vanuit een organisatorisch strategisch perspectief en komen vanuit deze

(13)

13 benaderen. In hun artikel benoemen zij het ontwikkelingsperspectief, het managementperspectief en het controleperspectief als benadering van procesmanagement. Elk van deze perspectieven wordt gekenmerkt door een andere kijk op het functioneren van een organisatie en de rol van de mens daar in, maar elk perspectief is daarbij steeds gericht op de kwaliteit van een product of dienst.

Het managementperspectief, waarbinnen Deming (de PDCA cyclus) en Ishikawa (visgraatdiagram) belangrijke auteurs zijn (Knights, McCabe, 2002, pag. 237), kenmerkt zich door een sterk rationele benadering van de organisatie, waarbij er één duidelijk rationele oplossing is voor een kwalitatief optimaal presteren van een organisatie. Uitgangspunt is een directe sturing van het management op de werkprocessen. Het management heerst en bepaalt en andere krachten zijn ondergeschikt aan deze rationaliteit. Het gebruik van statistische controleprocessen leidt hierbij uiteindelijk tot nul fouten (Knights, McCabe, 2002) en dus een hoge kwaliteit van een product of dienst.

Het controleperspectief gaat volgens Knights en McCabe nog een stapje verder. De bovengenoemde statistische benadering leidt in dit perspectief tot strak omschreven werkprocedures die de kwaliteit moeten garanderen. De werkprocedures komen voor een deel in de plaats van of zijn een

verlengstuk van de directe management supervisie in het managementperspectief. De mens is uitvoerder van werkprocedures geworden. Dit perspectief heeft daarmee veel gemeen met de karakteristieken van de scientific management benadering van Taylor (Knights, McCabe, 2002, pag. 239). Er is sprake van een sterk mechanistische benadering van de organisatie.

Het ontwikkelingsperspectief gaat, in tegenstelling tot bovenstaande twee perspectieven, uit van een meer organische benadering van de organisatie (Knights, McCabe, 2002). Het zet vraagtekens bij de waarde van rationaliteit en controle. Het is in dit perspectief belangrijk dat vanuit het management op een goede manier gecommuniceerd wordt met de werkvloer over de juiste doel- en taakstelling in de organisatie. Gedrag, opleiding en training van de werknemers staan centraal, waarbij vooral de ontwikkeling van een externe klantfocus van belang is. Knights en McCabe kiezen in hun artikel voor een mix van een controle- of managementperspectief en ontwikkelingsperspectief voor een blijvend succes van TQM. Dit betekent heldere doelstellingen en randvoorwaarden vanuit het management in combinatie met ontwikkeling van medewerkers. Zonder deze mix landt volgens Knights en McCabe (2002) de korte termijn (afgedwongen) vooruitgang in kwaliteit niet in een vruchtbare bodem en blijft het organisatiesucces vooral afhankelijk van de kwaliteit en besturing van het management.

Volgens sommige auteurs is de kwaliteit van het leiderschap een belangrijke randvoorwaarde voor het succes van TQM in een organisatie. Vaivio (1999) beschrijft in zijn artikel deze leiderschapsrol als belangrijke succes- en risicofactor bij de implementatie van TQM in de industriële omgeving. In de casus van Lever Industrial-U.K. beschrijft Vaivio dat eerst na directe interventie en

betrokkenheid van het management de TQM implementatie leidde tot succes. Ook Kaynak (2003) beschrijft het effect van leiderschap op de kwaliteitsprestaties van een organisatie. Beer (2003) gaat, in navolging van Vaivio (1999) uitgebreid in op het gebrek aan leiderschapskwaliteiten bij het mislukken van TQM transformaties in een organisatie.

(14)

14 In het onderzoek van Beer is leiderschap een belangrijke voorwaarde voor het blijvende succes van een TQM implementatie. Betrouwbare kwaliteit vraagt op korte termijn dat medewerkers

standaardprocedures volgen (en dus volgzaamheid van medewerkers), maar op termijn is het noodzakelijk dat zij in staat zijn zelf verantwoordelijkheid te nemen en zelf beslissingen te nemen voor de verbetering van de kwaliteit. Hier is sprake van twee tegengestelde bewegingen in een organisatie. Het management vertoont pas leiderschap (Beer, 2003, pag 629) als het de organisatie weet te richten op concrete strategische kwaliteitsdoelstellingen op korte termijn en tegelijkertijd kiest voor een strategische kwaliteitsontwikkeling van de organisatie op langere termijn. Ofwel een blijvend succes voor TQM kan alleen als dit uiteindelijk leidt tot een lerende organisatie (Beer, 2003).

Deze leiderschapsrol is ook van belang in het artikel van Knights en McCabe (2002). Zij stellen het controle- of managementperspectief, waarbij de mens uitvoerder van procedures is geworden, tegenover het procesperspectief, waarbij een lerende ontwikkeling van de werknemer essentieel is. Er is in essentie sprake van een strategische organisatiekeuze tussen een mechanistische

procesbenadering versus een organische procesbenadering binnen TQM. Of er sprake is van een juiste strategische keuze wordt, volgens Knights en McCabe (2002), bepaald door de

leiderschapskwaliteiten van het management.

Sitkin c.s. (1994) gaan ook in op deze leiderschapskeuze. Zij spreken in dit verband over Total Quality Control (TQC), als de mechanistische procesbenadering, versus Total Quality Learning (TQL), als de organische procesbenadering binnen TQM. Deze terminologie wordt in deze studie nu overgenomen. In tabel 1 staan voor het juiste begrip de verschillende termen naast elkaar.

Tabel 1: Gebruikte synoniemen voor twee benaderingen binnen TQM.

mechanistische procesbenadering

managementperspectief / controleperspectief Total Quality Control (TQC)

organische procesbenadering ontwikkelingsperspectief Total Quality Learning (TQL)

Overigens is er in beide benaderingen van TQM sprake van leren of kenniscreatie, maar het karakter verschilt fundamenteel. Bij TQC is er sprake van 1e orde leren, bij TQL van 2e orde leren (Sitkin c.s., 1994).

De vraag of één van beide methoden succesvol is, hangt volgens Sitkin c.s. samen met de mate van omgevingsonzekerheid. Hier sluiten Sitkin c.s. aan bij de benadering van Eisenhardt (1985)

aangaande besturingsstrategie en omgevingsonzekerheid. Sitkin c.s. (1994) constateren dat, zowel de TQC als de TQL benadering mogelijk is. De juiste inzet en het succes worden volgens Sitkin c.s. voornamelijk bepaald door de contextuele factor omgevingsonzekerheid. Een grote mate van omgevingsonzekerheid vraagt volgens hen om een TQL benadering. Bij een beperkte mate van omgevingszekerheid kan een TQC benadering ook voldoen.

(15)

15 abstracte kennis in de vorm van Standard Operating Procedures (SOP’s). Sitkin c.s. (1994) voegen met TQL een andere benadering van kwaliteitsmanagement toe die gekenmerkt wordt door het verkrijgen van inzicht, innovatie en autonomie op de werkvloer. Op basis van literatuuronderzoek definiëren Sitkin c.s. (1994) een aantal verschillende specifieke kenmerken van TQL en TQC om de verschillen tussen beide benaderingen van TQM te kunnen karakteriseren. In bijlage 1 zijn deze verschillende kenmerken van TQL en TQC opgenomen.

Het belang van kenniscreatie bij TQM op organisatieniveau komt ook aan de orde in het artikel van Linderman c.s. (2004). In hun artikel gaan zij in op de hiervoor geschetste twee verschillende benaderingen binnen het kwaliteitsdenken en Linderman c.s. sluiten hierbij aan bij Knights en McGabe (2002) en Sitkin c.s. (1994). Linderman c.s. (2004) koppelen expliciete kennis aan het mechanistische procesperspectief en impliciete kennis aan het organische procesperspectief. Beide perspectieven zijn volgens Linderman c.s. nodig om te komen tot een lerende organisatie.

Linderman c.s. sluiten hierbij ook aan bij het kennismodel van Nonaka en stellen dat de prestatie verbetering van een organisatie door TQM principieel tot stand komt door kennisontwikkeling op organisatie niveau.

In het kennismodel van Nonaka (1994, pag. 16) wordt onderscheid gemaakt tussen twee soorten kennis: impliciete kennis (tacit knowledge) en expliciete kennis (explicit knowledge). Expliciete kennis is overdraagbare kennis in formele en systematische taal. Impliciete kennis heeft een “persoonlijke” kwaliteit en is moeilijk te formaliseren en te communiceren. Het zit verweven in acties, vaardigheden en context. In het model van Nonaka (1994) wordt organisatorische kennis gecreëerd door de voortdurende uitwisseling tussen impliciete en expliciete kennis in een voortdurende kenniscreatiespiraal. Dit leidt tot een hoger kennisniveau binnen de organisatie. Linderman c.s. (2004) beschrijven in hun artikel hoe verschillende TQM-practices via de genoemde overdrachtsvormen in het model van Nonaka (1994) leiden tot kennis als basis voor beter presteren van een organisatie. Op het moment dat de spiraal wordt gestopt, wordt er geen kennis meer ontwikkeld en stopt de kwaliteit en prestatieverbetering van de organisatie.

Linderman c.s. (2004, pag. 593.) maken in hun artikel, zoals boven beschreven, wel onderscheid tussen het mechanistische procesperspectief en het organische procesperspectief (zij noemen dit respectievelijk “continuous improvement” en “systems view of organization”) maar in de

uitwerking van hun model maken ze dit onderscheid niet. Zo lang een juiste mix van TQC en TQL (dus een combinatie van 1e, 2e en 3e orde leren) leidt tot de ontwikkeling van organisatorische kennis kan een organisatie beter presteren.

Kennis en leren staan bij TQM dus aan de basis van de ontwikkeling en het presteren van de organisatie. Binnen TQM is daarbij, op basis van omgevingsonzekerheid, de keuze voor een TQC of een TQL aanpak mogelijk. Bij een hogere omgevingsonzekerheid en voor een blijvende

(16)

16 2.3 Moderne kwaliteitshanden en -voeten.

De laatste jaren is sprake van een ware opleving van TQM-practices in artikelen en boeken, waarin gesteld wordt dat hiermee de ultieme kwaliteit en het ultieme presteren voor de organisatie kan worden bereikt. Varianten als Six Sigma en Lean worden gezien als de ultieme, succesvolle invulling van TQM. (Schroeder c.s., 2007; Green, 2006; Swank, 2003; Lewis, 2000; Arbós, 2002; Hines c.s., 2004; Womack, Jones, 1994; Womack, Jones, 2003). Maar in welke TQM-benadering, TQC of TQL, kunnen de varianten Lean of Six Sigma worden geplaatst? In deze paragraaf wordt dit uitgewerkt.

Green (2006) beschrijft in zijn artikel Six Sigma als de ultieme invulling van TQM. Six Sigma is volgens hem dè variant om TQM-practices daadwerkelijk en consequent handen en voeten te geven. Six Sigma kent geen duidelijke definitie (Schroeder, c.s., 2007, pag. 537). De definities variëren tussen “een gedisciplineerde statistische methode voor de verbetering van product- en

proceskwaliteit” tot een “managementstrategie die gepaard gaat met een cultuurverandering in de organisatie”.

Six Sigma is in 1987 ontstaan binnen de Motorola organisatie en werd later geïmplementeerd binnen General Electric. Daar leidde het tot een groot succes. Six Sigma (Schroeder c.s., 2007) wordt gekenmerkt door een sterk statistische benadering van de organisatie en de werkprocessen. Hiervoor wordt binnen de organisatie een meso structuur opgebouwd van kwaliteitscirkels. Deze hebben tot doel volgens strikte statistische regels productiewaarden en normen te interpreteren en op deze manier tot verbetervoorstellen te komen. Deze aanpak zal leiden tot een

kwaliteitsverbetering en prestatieverbetering van de organisatie. Six Sigma is met de strikte toepassing van statistische kwaliteitscontroles en kwaliteitscirkels heel duidelijk te plaatsen in de mechanistische proces benadering (TQC), zoals eerder beschreven.

“Lean Thinking” is een variant die is geïntroduceerd door James Womack. Hij heeft zijn inzichten gebaseerd op resultaten behaald door het Japanse Toyota concern. In eerste instantie sprak men over “Lean Production” en beperkte de toepassing van “Lean” zich nog tot productie omgevingen. In het boek “Lean Thinking - Banish Waste and Create Wealth in Your Corporation” van Womack en Jones (2003) is deze variant verbreed tot een totaal benadering geschikt voor elke organisatie, zowel in de productie- als de dienstensfeer.

Centraal in deze filosofie staat de eliminatie van “muda” (Japans voor verspilling). Of, zoals Womack het formuleert: “specifically any human activity which absorbs resources but creates no value” (Womack, Jones, 2003, pag.15). Het doel van de eliminatie van verspilling uit processen is de efficiënte creatie van “waarde”. Deze waarde wordt heel specifiek gedefinieerd en bepaald vanuit de visie van de (eind)gebruiker van het product, de klant, en heeft betrekking op de totale procesketen.

De toepassing van “Lean” richt zich op het creëren van optimale waarde in processen vanuit een sterke klantoriëntatie. Door voldoende klantwaarde te creëren en alles wat onnodig is te elimineren, wordt een organisatie van wereldklasse gecreëerd. Dit wordt gezien als een continu proces van stapsgewijze verbetering (“kaizen”). Lean behoort daarmee tot de TQM benadering. Tegelijkertijd is er sprake van een grote mate van onduidelijkheid in begrippen omdat duidelijke definities

(17)

17 Soms wordt Lean toegepast in combinatie met Six Sigma, soms met andere technieken of begrippen als “agility” of “JIT”.

Lewis (2000) probeert de vraag te beantwoorden of de toepassing van de Lean principes leidt tot een “sustainable competitive advantage”. In zijn studie constateert hij in navolging van Hines c.s. (2004) dat door verschillende firma’s onder de noemer Lean verschillende methoden en technieken worden toegepast en dat de definitie van wat onder Lean wordt verstaan niet altijd duidelijk is. Successen worden volgens Lewis soms onterecht aan Lean toegekend. De toepassing van wat Lean wordt genoemd leidt volgens Lewis tot standaardisatie en afscherming van processen. Dit zou volgens hem leiden tot een, op termijn, verminderd innovatief vermogen van de organisatie en niet tot een blijvend competitief voordeel voor de organisatie. Er zou alleen sprake kunnen zijn van een tijdelijk (kosten)voordeel. In een sterk veranderende omgeving (hoge omgevingsonzekerheid) zal Lean op langere termijn negatief uitwerken. Daarmee heeft Lean het karakter van wat Beer (2003) het korte termijn succes van TQC noemt.

Swank (2003) beschrijft de toepassing van Lean principes in een casus van Jefferson Pilot Financial en bevestigt in dit onderzoek de conclusies van Lewis (2000). Toepassing van Lean leidt in de beschreven casus volgens Swank (2003) tot een grote mate van standaardisatie van kleine batches, procedures, kwaliteit, productvariatie en werktempo. Op korte termijn leidt de toepassing van de Lean-principes tot kostenreductie. In feite is er sprake van productiestandaardisatie. Vergelijkbare resultaten beschrijft Arbós (2002). In dit onderzoek leidt standaardisatie ook tot een verlaging van de variabiliteit in het productieproces en daarmee kostenreductie.

Door de sterke toepassing van standaardisatie en het korte termijn effect is Lean, naast Six Sigma, dus in te delen in het mechanistische procesperspectief van TQM, in deze studie TQC genoemd. De moderne kwaliteitsaanpak, zoals Lean en Six Sigma, passen dus binnen de TQC benadering van TQM. Maar hoe effectief is deze aanpak, in vergelijking met TQL, en hoe meet je de prestaties zo objectief mogelijk? In de volgende paragraaf wordt daar verder op ingegaan.

2.4 Kwaliteitsprestaties.

Het is niet gemakkelijk om een eenduidig antwoord op te geven op bovenstaande vraag. Elke auteur, gedreven en geïnspireerd door zijn of haar eigen voorkeur en onderzoek, claimt goede resultaten van de beschreven methode en gebruikt eigen definities, standaarden en effecten. Er lijkt daarnaast soms sprake van een heilig geloof in de eigen methode.

In een onderzoek van Rust c.s. (2002) wordt de prestatie van de verschillende TQM benaderingen met elkaar vergeleken door te kijken naar het financiële resultaat dat de organisatie weet te behalen met het door de organisatie gevoerde kwaliteitsprogramma. De studie is uitgevoerd bij 100

(18)

18 effective deployment of existing competencies and the efficiency of internal operations…” (Rust c.s., 2002, pag. 10)).

De conclusie van hun studie was dat bedrijven met TQL benadering een groter financieel voordeel weten te behalen dan bedrijven die kiezen voor de TQC benadering. Ook lijkt de TQL benadering robuuster in meer turbulente en competitieve omgevingen (hogere omgevingsonzekerheid) en beter in staat in te spelen op de dynamiek van de omgeving dan de TQC benadering.

Nilsson c.s. (2001) hebben de relatie onderzocht tussen kwaliteitsprogramma’s en het effect op klanttevredenheid en financiële resultaten. In hun onderzoek is een kwaliteitsbenadering gericht op de scholing en ontwikkeling van personeel en op de ontwikkeling van de markt. Deze benadering komt daarin overeen met de TQL benadering in deze studie. Een andere benadering is procesgericht en gericht op kostenbesparing (efficiency) en komt daarin overeen met de TQC benadering.

Het onderzoek van Nilsson c.s. (2001) is uitgevoerd onder 384 bedrijven (zowel in de productie als de diensten sector) in Zweden. De conclusies van dit onderzoek zijn dat de TQL benadering een positief effect heeft op de klanttevredenheid en de financiële resultaten van productiebedrijven. De TQL benadering heeft dat zelfde effect op dienstverlenende organisaties, maar dan vooral in combinatie met de TQC benadering.

De verklaring, dat proces gerichte benadering mede positief van invloed is op de klanttevredenheid bij diensten en minder bij productiebedrijven ligt volgens Nilsson c.s. (2001) daarin, dat juist bij diensten er een sterke interactie klant – medewerker en klant – proces is. Bij de productiebedrijven is dat minder, daar is het vooral van belang hoe het bedrijf de klantwens vertaald heeft in het uiteindelijke product. De manier waarop dat intern gerealiseerd wordt is voor de klant minder van belang.

Prajogo en Sohal (2006) hebben in hun onderzoek de intermediërende rol van TQM bestudeerd tussen organisatie strategie en het presteren van een organisatie. In hun artikel beschrijven zij de verschillende rollen die TQM kan hebben bij het volgen van een organisatiestrategie. Enerzijds onderscheiden zij klant georiënteerd TQM, als verlengstuk van de differentiatie strategie, in deze studie eerder TQL genoemd. Anderzijds onderscheiden zij proces georiënteerd TQM, als

verlengstuk van de cost leadership strategie. Ook het “kaizen”-concept, zoals toegepast binnen Lean rekenen zij hiertoe. Hiermee staat proces georiënteerd TQM in de traditie van de statistische proces controle (Prajogo, Sohal, 2006, pag. 37), in deze studie TQC genoemd.

Prajogo en Sohal constateren dat beide benaderingen, TQC en TQL, in verschillende strategische concepten, zoals de differentiatie strategie en de cost leadership strategie, worden gebruikt. In hun onderzoek bij 194 Australische bedrijven vonden zij een significante en positieve relatie tussen TQL en de differentiatie strategie, maar niet tussen TQC en de cost leadership strategie, wat wel te verwachten zou zijn op basis van de kenmerken en verschillen tussen beide benaderingen.

(19)

19 Douglas en Judge (2001) zien duidelijk ook twee verschillende manieren om TQM toe te passen en sluiten hierin aan bij Sitkin c.s. (1994). Zij noemen dit “control” en “learning” (Douglas, Judge, 2001, pag. 165). In deze studie respectievelijk TQC en TQL genoemd. In een onderzoek onder ziekenhuizen in de Verenigde Staten zien zij een positief effect van een combinatie van “control” en “learning” op de financiële prestaties van de organisatie. Er is duidelijk sprake van synergie.

Voorwaarde is wel dat een sterk totaal geïntegreerd programma wordt neergezet met de volgende 7 aspecten: betrokkenheid top management, eigen kwaliteitsfilosofie, TQM georiënteerde trainingen, klant gedreven veranderingen, continue verbetering, meten = weten en de juiste toepassing van TQM. Onduidelijk blijft echter, welke aspecten zij precies tot de TQM rekenen en wat tot de faciliterende factoren.

In een meta studie van Nair (2006) wordt wel ingegaan op dit onderscheid. Verschillende, in de literatuur beschreven, TQM benaderingen zijn in deze studie afgewogen naar het effect op verschillende prestatiekenmerken. Nair vindt in zijn studie een positieve correlatie tussen veel verschillende TQM benaderingen en een aantal prestatiekenmerken. Soms is die correlatie er niet of zijn er onvoldoende gegevens. Maar in bijna alle gevallen werd geconcludeerd dat ook

verschillende faciliterende factoren een belangrijke rol spelen in de toepassing en effecten van TQM. Twee essentiële facilitaire factoren zijn volgens Nair (2006) leiderschap en de rol en gebruik van informatie in het proces.

Het beeld dat uit bovengenoemde onderzoeken naar voren komt is dat zowel TQL als TQC hun effect hebben op de prestaties van organisaties (Nair, 2006; Nilsson c.s., 2001; Douglas, Judge, 2001). TQL lijkt effectiever dan TQC, als dit gekoppeld wordt aan een differentiatie strategie in een onzekere omgeving (Prajogo, Sohal, 2006; Rust c.s., 2002). In een diensten omgeving lijkt juist de combinatie van de TQL en TQC benadering het beste effect te geven (Nilsson, 2001; Douglas, Judge, 2001). Daarnaast hebben de faciliterende factoren, leiderschap en informatiemanagement, een sterk mede bepalende invloed op het effect van Total Quality Management (Prajogo, Sohal, 2006; Douglas, Judge, 2001; Nair, 2006).

In de volgende twee paragrafen zal op de faciliterende rol van leiderschap en

informatiemanagement binnen TQM verder worden ingegaan. Aan het eind van dit hoofdstuk komt de omgevingsonzekerheid van en binnen (overheids)organisaties als primaire strategische factor bij de keuze voor TQC of TQL opnieuw aan de orde.

2.5 Leiderschap

Dat leiderschap een belangrijke rol speelt bij de realisatie van een goed en effectief

(20)

20 Chenhall (2003, pag. 150) ziet organisatiestrategie als het sturingsmiddel voor het management om de organisatie te positioneren in haar omgeving. Het is wel van belang om de juiste TQM strategie (TQL of TQC) te kiezen, die zowel aansluit bij de gewenste externe positie als de interne

mogelijkheden van de organisatie. In dit verband sluit Chenhall nauw aan bij het contingentie denken.

Kaynak (2003, pag. 427) bevestigt het belang van strategie en leiderschap door te constateren dat een falen van TQM vaak te wijten is aan een gebrekkige implementatie van TQM en een gebrek aan leiderschap van het top management, soms zelfs tegenwerking.

Soltani c.s. (2008) gaan in hun artikel ook in op het falen (tot 90%) van veel TQM programma’s in organisaties. In hun artikel gaan ze in op de manier waarop organisaties door het management worden bestuurd en de keuzes die gemaakt worden ten aanzien van TQM. Soltani c.s. zien bij TQC vooral korte termijn effecten en bij TQL ook op langere termijn positieve resultaten. Belangrijk is of de organisatiestrategie zich richt op korte termijn of lange termijn effecten en dat de keuze voor TQC of TQL hierbij aansluit. Die keuze is volgens Soltani c.s. de primaire verantwoordelijkheid van het management.

Een goede combinatie van beide strategieën (TQC en TQL), zoals ook aangegeven door Sitkin c.s. (1994), is ook mogelijk. Voorwaarde is wel dat dit geplaatst wordt in de juiste omgevingscontext. Het is ook nu het leiderschap, dat moet kiezen voor de juiste strategie die past bij die context van de organisatie. Lakshman (2006) sluit hier bij aan als hij stelt (Lakshman, 2006, pag. 42): “The core principles of total quality management suggest that leaders in any organization, regardless of their hierarchical level of functioning, focus on customers and continuous improvement by continuously involving people. ”.

2.6 Informatiemanagement

Een duidelijke strategiekeuze is van belang voor de organisatie, omdat het management daarmee dus een duidelijk doel kan stellen en een duidelijke richting kan aangeven, zowel voor de korte als voor de lange termijn. In een dynamische omgeving is dat zeker van belang omdat er meerdere keuzes mogelijk zijn. Is het doel eenmaal gesteld, dan is het van belang om de voortgang scherp bij te houden. Dit kan alleen met de juiste beschikbare informatie. Hierbij niet alleen financiële

doelstellingen, maar ook andere (kwaliteits)doelstellingen van belang.

Volgens Chang (2006) is er een directe positieve relatie tussen prestatiemeting, vastgelegd in een informatiesysteem, en het succes van een organisatie na invoering van kwaliteitsmanagement als besturingsmethode. Een belangrijk aspect hierbij is dat het informatiesysteem als

communicatiemiddel in de organisatie over kwaliteitsprogramma’s wordt gebruikt. Chang (2006) benoemt daarbij een aantal belangrijke randvoorwaarden voor een goed en effectief

informatiesysteem. Het betreft betrokkenheid van het management, herkenbaarheid en een directe relatie tussen het informatiesysteem en het strategische doel van de organisatie. Het belang van leiderschap kwam hier voor al aan de orde, als één van de belangrijke faciliterende factoren. Maar wat is nu een goed informatiesysteem dat voldoet aan de TQM besturingsfilosofie?

(21)

21 framework for improvement, change, regular management at all levels and for training...”

(Sandbrook, 2001, pag. 83). De beperking is dat het EFQM model alleen waarde heeft binnen de context van bedrijven die dit model onderschrijven. Dat pleit er voor, om zoals Hoque (2003) doet, te bezien of informatie over TQM prestaties te volgen is met standaard multidimensionale

accounting systemen. Hoque gebruikt hiervoor de Balanced Scorecard. Omdat dit middel ook wordt gebruikt binnen het waterschap Hunze en Aa’s, onderwerp van de case studie, wordt daar nu kort op ingegaan. Het EFQM model laten we verder buiten beschouwing.

De Balanced Scorecard (BSC) is geïntroduceerd door Kaplan en Norton (1996). Oorspronkelijk was het een middel om de traditionele manier van financiële prestatiemeting binnen organisaties te ondersteunen met additionele perspectieven (Kaplan, Norton, 1996, pag. 75). In dat verband gaat het in de Balanced Scorecard om vier perspectieven: het financiële perspectief, het

procesperspectief, het klantperspectief en het perspectief leren en groei. Zie ook bijlage 2. Gaandeweg werd de BSC ook geschikt om het lange termijn perspectief van de organisatie te vertalen naar een interactief groei model, waarbij door Kaplan en Norton vier processen worden onderscheiden: vertaling van de visie, communicatie en koppeling, bedrijfsplanning, feedback en leren. Kaplan en Norton presenteren dit als een soort van PDCA-cyclus in de tijd. Zie ook bijlage 2. Ondanks verschillende kritieken op de BSC wordt zij veel gebruikt in organisaties, omdat de BSC zonder al te veel theoretische kennis van het management in de organisatie redelijk doorzichtig is. Een belangrijk kritiekpunt is echter wel van belang. Dit heeft betrekking op het causale verband tussen de vier perspectieven. Nørreklit (2000, pag. 82) geeft aan dat hier in feite sprake is van een logisch verband en geen causaal verband. Zij pleit daarom voor een gebruik van de BSC op twee onderscheiden niveaus en in twee min of meer los van elkaar staande procedures. Ten eerste een proces van strategie formulering, waarbij de consequenties van de strategie worden vertaald naar de vier verschillende perspectieven. Daarnaast pleit zij voor een apart staande meetprocedure in de organisatie, waarbij resultaten op de vier perspectieven terug worden gekoppeld aan de eerder gestelde strategiedoelstelling.

(22)

22 2.7 Omgevingsdynamiek

Leiderschap en informatiemanagement spelen een belangrijke faciliterende rol bij het succes van TQM, zoals aangeven in de voorgaande twee paragrafen. De juiste keuze voor TQC of TQL wordt echter voornamelijk bepaald door de omgevingsonzekerheid en de te kiezen organisatiestrategie en hoe de organisatie in dat kader met die onzekerheid om wil gaan (Prajogo, Sohal, 2006; Rust c.s., 2002). Dit sluit aan bij de oorspronkelijke benadering van Eisenhardt (1985) aangaande

besturingsstrategieën. Afhankelijk van de dynamiek van de markt moet bepaald worden hoe een organisatie zich marktstrategisch moet opstellen. Dit contingentie denken leidt veelal tot discussies rond differentiatie en specialisatie. Een bekend strategisch marktmodel in dit verband is dat van Porter.

Binnen de overheid en non-profit organisaties is dit denken wat minder algemeen. Er is vaak geen sprake van een duidelijke markt of concurrentie. Omdat de case studie betrekking heeft op het waterschap Hunze en Aa’s zal het begrip omgevingsonzekerheid binnen de overheidscontext verder worden uitgewerkt. Hierbij is onderscheid te maken tussen marktonzekerheid en politieke

onzekerheid.

Overheden onderscheiden zich volgens Rainey c.s. (1976) op een aantal terreinen van for-profit organisaties. Rainey c.s. (1976) onderscheiden bij het begrip omgevingsonzekerheid twee

speelvelden, marktonzekerheid en politieke onzekerheid. In toenemende mate wordt van overheden gevraagd marktconform te werken. Er is op prijs en kwaliteit sprake van een directe vergelijking met de markt. Maar politieke besluitvorming maakt het management minder flexibel en vrij dan in private ondernemingen, om in alle situaties direct en marktconform te handelen. Politieke

besluitvorming leidt tot meer bureaucratie. Rainey (1976) pleit in dit verband voor extra aandacht die binnen de overheid nodig is om zich op onderdelen te kunnen meten met private

ondernemingen.

De omgevingsonzekerheid beweegt zich in de situatie van de overheid daarmee enerzijds op een variabele schaal van meer of minder marktonzekerheid en anderzijds op een schaal van politieke onzekerheid en is daarmee wezenlijk anders van karakter dan bij marktpartijen.

Ook Boyne (2002) beschrijft de marktonzekerheid en politieke onzekerheid in de

overheidsomgeving. De overheidsomgeving kenmerkt zich volgens Boyne ten opzichte van for-profit organisaties als complex, transparant, instabiel en zonder concurrentie. Door de afwezigheid van concurrentie vormt marktonzekerheid geen directe prikkel om naar kostenbeheersing te streven. Marktonzekerheid speelt daarin bij de overheden een minder grote rol dan politieke onzekerheid. Boyne verklaart dit vanuit drie fundamentele verschillen tussen private ondernemingen en

overheden: eigenaarschap, financiële bronnen en besturing. Bij overheden is in de studie van Boyne sprake van maatschappelijk eigenaarschap, financiering op basis van belastingen en besturing door politieke krachten.

(23)

23 overheidsorganisatie. Wel heeft de omgevingsonzekerheid bij overheden, bestaande uit een

combinatie van markt- en politieke onzekerheid, een ander karakter dan die bij een for-profit organisatie. Dit leidt mogelijk tot andere keuzes.

Het is echter de vraag of alleen puur deze onzekerheid, uitgesplitst in markt- en politieke onzekerheid, op omgevingsniveau bepalend is voor de keuze tussen TQC of TQL in een organisatie. De doorvertaling van de omgevingsonzekerheid in de organisatie leidt tot een verschillende dynamiek bij verschillende onderdelen van de organisatie. Zo kent een

administratieve afdeling binnen een organisatie een andere mate van onzekerheid dan een research afdeling, die op korte termijn met innovaties moet komen omdat de markt sterk verandert. Ook binnen een overheidsorganisatie is dit herkenbaar. Zo zal binnen het werkproces van een

beleidsafdeling meer politieke onzekerheid bestaan dan in de rekeningenadministratie. De vraag is of de doorvertaling van deze onzekerheden naar procesniveau niet belangrijker is bij de juiste keuze voor TQC of TQL. Immers ook het aangrijpingspunt voor TQM ligt op procesniveau (Kaynak, 2003).

Hofstede (1981) heeft onderzoek gedaan naar fundamentele verschillen op het niveau van activiteiten binnen een organisatie, ongeacht of er sprake is van publieke of private organisaties. Hofstede (1981) koppelt deze verschillen op procesniveau aan de keuze voor een

besturingsmethodiek op procesniveau. Hofstede (1981, pag. 194) komt tot vier belangrijke criteria bij de keuze voor een besturingsmethodiek:

1. Zijn de doelstellingen helder of niet? 2. Zijn de resultaten meetbaar of niet?

3. Zijn de effecten van management interventie bekend of niet? 4. Is er sprake van repeterende activiteiten of niet?

Op basis van deze vraagstelling komt hij tot 6 besturingsmethoden: routine, expert, trial & error, intuïtief, beoordelend, politiek. Zie ook het schema in bijlage 3.

Worden de vier vragen, in de gegeven volgorde, positief beantwoord dan is er volgens Hofstede sprake van routine besturing en een lage onzekerheid. Wordt de eerste vraag negatief beantwoord, dan is er sprake van beoordelende of politieke besturing. Er is dan sprake van grote mate van omgevingsdynamiek in dit werkproces die gepaard gaat met onzekerheid in de besluitvorming. De bron van deze onzekerheid kan zowel markt als politiek georiënteerd zijn. Dit geldt niet alleen voor overheden, maar voor elke organisatie. Hofstede (1981, pag. 198) spreekt over besturingssystemen die variëren van cybernetisch naar niet cybernetisch. Het kenmerk van cybernetische systemen is de korte terugkoppelingscyclus (thermostaat model). De cybernetische benadering lijkt daarmee op de TQC benadering binnen TQM en de niet cybernetische benadering op TQL.

In plaats van omgevingsonzekerheid is het, om verwarring te voorkomen, beter te spreken over omgevingsdynamiek. Daaronder wordt in deze studie de omgevingsonzekerheid verstaan op basis van een combinatie van markt en politieke onzekerheid, en de doorvertaling daarvan in de

organisatie op procesniveau. Hierbij zijn we ook terug bij Sitkin c.s. (1994) en Linderman c.s. (2004) die in gingen op het TQM dilemma, het dilemma tussen de mechanistische

(24)

24 Omgevingsdynamiek is nu de bepalende factor bij de juiste keuze voor TQC of TQL geworden en dit dient op het niveau van werkprocessen te worden beoordeeld. Daarmee is de typologie van Hofstede (1981) van de uit te voeren activiteiten of processen een indicator geworden voor de keuze van TQC of TQL en het succes van Total Quality Management in de besturing van de organisatie. 2.8 Een onderzoeksmodel

Bij de besturing van een organisatie is het belangrijk de organisatie en de mensen binnen die organisatie te laten bewegen in de richting van het gestelde doel (Merchant, van der Stede, 2007; Ouchi, 1979; Eisenhardt, 1985), Dat doel is meestal in de strategie van een organisatie vastgelegd (Chenhall, 2003). TQM is een methode, gericht op continue verbetering van de kwaliteit van producten en diensten, waarmee een organisatie haar strategische doel kan bereiken. Op basis van de mate van omgevingsonzekerheid kan binnen TQM gekozen worden voor TQC of TQL (Knights, McCabe, 2002; Sitkin c.s., 1994; Linderman c.s., 2004). TQC richt zich daarbij meer op interne organisatie, TQL speelt meer in op de externe ontwikkelingen en de externe dynamiek van de organisatie. Moderne TQM varianten als Lean en Six Sigma behoren tot de TQC stroming (Hines c.s., 2004; Lewis, 2000).

De strategische keuze voor TQC of TQL moet door het management worden gemaakt: zij moet leiderschap tonen (Douglas, Judge, 2001; Kaynak, 2003). Er zijn aanwijzingen dat bij een hogere mate van omgevingsonzekerheid TQL effectiever is (Sitkin c.s., 1994; Prajogo, Sohal, 2006.). Voorwaarde is wel dat er sprake is van een open en op ontwikkeling gerichte cultuur binnen de organisatie (Douglas, Judge, 2001; Choe, 2004). TQC lijkt meer gericht op korte termijn succes, TQL op lange termijn succes. Ontwikkeling kan alleen plaats vinden indien er sprake is van een lerende organisatie. Voor het vertalen van de strategie naar activiteiten op de werkvloer kan de BSC worden benut (Kaplan, Norton, 1996; Nørreklit, 2000). Daarnaast biedt het ook een meetinstrument om het presteren goed te volgen.

De omgevingsonzekerheid bij (overheids)organisaties wordt bepaald door een combinatie van marktonzekerheid en politieke onzekerheid. (Rainey c.s. 1976; Boyne, 2002). In de besturing van werkprocessen worden door Hofstede (1981) verschillende kenmerken benoemd die variëren van routine tot politieke besturing, ofwel van zeker naar onzeker. De juiste keuze voor de besturing van processen wordt mede bepaald op basis van de doorvertaling van omgevingsonzekerheid naar de procesomgeving. In deze studie omgevingsdynamiek genoemd. Als deze interne doorvertaling door het management goed wordt gedaan, zou op basis hiervan een juiste keuze voor TQC of TQL kunnen plaats vinden en kan het organisatiedoel worden gehaald. Als de keuze voor TQC of TQL niet goed aansluit bij die omgevingsdynamiek zal de organisatie hierin minder succesvol zijn In het vervolg van deze studie staat de omgevingsdynamiek van de werkprocessen binnen het waterschap Hunze en Aa’s centraal. Binnen het waterschap is gekozen voor procesverbetering op basis van een kwaliteitsaanpak van werkprocessen. De verwachting is dat het succes van

(25)

25

3 ONDERZOEKSOPZET

3.1 Case studie

In het vorige hoofdstuk werd geconcludeerd dat Total Quality Management (TQM) kan worden ingezet als besturingsfilosofie. Voorwaarde is dat dit aansluit bij de strategie van de organisatie. Binnen TQM kan er gekozen worden voor twee perspectieven, in deze studie Total Quality Control (TQC) en Total Quality Learning (TQL) genoemd. Een juiste keuze is mede bepalend voor het halen van de organisatiedoelen en wordt in belangrijke mate bepaald door de omgevingsdynamiek, zoals gedefinieerd in paragraaf 2.8. Essentieel hierbij is dat een organisatie haar

omgevingsonzekerheid (in een combinatie van marktonzekerheid naar politieke onzekerheid) goed weet te vertalen naar het individuele procesniveau. Is de omgevingsdynamiek op procesniveau binnen een organisatie verschillend, dan zou dat moeten leiden tot een verschillende

kwaliteitsaanpak per werkproces (TQC of TQL) binnen de organisatie.

Om de relatie tussen de doorvertaling van die omgevingsdynamiek naar de werkprocessen en het succes van een gekozen kwaliteitsaanpak nader te onderzoeken, is gekozen voor een case studie. De omgevingsonzekerheid (die van de te onderzoeken organisatie en op dat moment) is hierbij een vast gegeven. Dit maakt het mogelijk in te zoomen op de omgevingsdynamiek van de werkprocessen in die organisatie. Ook is gekozen voor een overheidsorganisatie. Zeker binnen een

overheidsorganisatie wordt de omgevingsdynamiek bepaald door een combinatie van

marktonzekerheid en politieke onzekerheid. Er is in deze situatie immers, ook geïnstitutionaliseerd, sprake van politieke afweging en besluitvorming.

In deze case studie is het waterschap Hunze en Aa’s onderwerp van onderzoek. Dit is een

overheidsorganisatie waar sinds 1 januari 2007 een proces van “permanent verbeteren” is ingezet. Het waterschap heeft hierbij gekozen voor een Lean aanpak, soms ook gecombineerd met

elementen van Six Sigma. Hierbij hebben veel verschillende processen een verbeterslag ondergaan, welke tot een wisselend resultaat hebben geleid. Binnen de organisatie is dit proces bekend onder het begrip “procesverbetering”.

In deze case studie worden de volgende vragen beantwoord:

 Is procesverbetering binnen Hunze en Aa’s te definiëren als TQC of TQL?  Heeft procesverbetering succes gehad? Zo ja, hoe ziet dit succes er uit?  Hoe ziet de omgevingsdynamiek er in de situatie van Hunze en Aa’s er uit?  Is er een directe relatie tussen het succes van procesverbetering, het toegepaste

kwaliteitsperspectief en de mate van omgevingsdynamiek? Deze onderzoeksopzet wordt in dit hoofdstuk verder uitgewerkt. 3.2 Gegevensverzameling

Om antwoord te kunnen geven op de onderzoeksvragen is de volgende aanpak gekozen.

(26)

26 zijn bestudeerd. Er is gebruik gemaakt van opdrachtformulieren, “100-dagen plannen”,

evaluatieverslagen en rapportages.

Meer specifiek is nader onderzoek gedaan naar 7 verschillende werkprocessen. Deze processen zijn zo gekozen dat er sprake is van een te verwachten verschil in omgevingsdynamiek. Ook is gekozen voor processen in zowel de primaire, als de ondersteunende afdelingen. De volgende

werkprocessen, in volgorde van te verwachten omgevingsdynamiek (van hoog naar laag), zijn nader onderzocht:

 Plannen van derden (primair proces)  2015 - 100% (ondersteunend proces)

 Vergunningverlening WVO (primair proces)  Vergunningverlening Keur (primair proces)  Personeelsadministratie (ondersteunend proces)  Beheerregister (ondersteunend proces)

 Onderhoud (primair proces).

Om het verhaal achter de officiële documenten te kunnen begrijpen zijn semigestructureerde interviews gevoerd met de betrokken leidinggevenden die als opdrachtgever voor de

procesverbetering bij de boven genoemde processen hebben gefunctioneerd. Ook is gesproken met één van de procesmedewerkers. In de interviews zijn de doelstelling van de procesverbetering, het karakter en de mate van onzekerheid van het betreffende proces, de gekozen aanpak en methode en de resultaten van de procesverbetering aan de orde gekomen. Tijdens de interviews is gebruik gemaakt van een voice recorder en de interviews zijn woordelijk vastgelegd in een schriftelijk verslag. Na de interviews is er gevraagd naar de behoefte voor terugkoppeling van het verslag. Deze vraag werd door een beperkt aantal geïnterviewden positief beantwoord en die terugkoppeling heeft daarna plaats gevonden. Zie voor een compleet bronnenoverzicht bijlage 6 en 7.

Daarnaast hebben er gesprekken plaats gevonden en zijn er ervaringen uitgewisseld aangaande procesverbetering met medewerkers in de organisatie. Hiervan zijn geen schriftelijke verslagen opgesteld.

Het onderzoek heeft zich met name gericht op drie belangrijke onderwerpen, die aansluiten bij de onderzoeksvragen: de procesverbetering, de omgevingsdynamiek en de mate van succes van de procesverbetering. Hierna wordt dit nog verder uitgewerkt.

3.3 Procesverbetering

Het waterschap claimt op basis van Lean principes te werken aan procesverbetering. Dit is in hoofdstuk 2 van deze studie ondergebracht bij de TQC benadering binnen kwaliteitsmanagement. Om in de situatie van het waterschap hier uitspraken over te kunnen doen is in deze studie

onderzocht of de procesverbetering binnen het waterschap inderdaad als TQC is te definiëren. Hiervoor zijn de kenmerken van TQC en TQL, zoals geformuleerd door Sitkin c.s. (1994) gebruikt. Zie ook bijlage 1.

3.4 Omgevingsdynamiek

Omgevingsdynamiek is in hoofdstuk 2 gedefinieerd als de doorvertaling van

(27)

27 procesniveau in een organisatie. De mate van omgevingsdynamiek bij de verschillende

werkprocessen is nader onderzocht en hierbij is gebruik gemaakt van de typologie van Hofstede (1981).

3.5 Succes

De missie van het waterschap Hunze en Aa’s sluit aan bij de primaire taken van een waterschap, met de toevoeging: tegen lage kosten. Het ligt daarom primair voor de hand het succes van procesverbetering aan dit criterium te toetsen. In het onderzoek is echter aandacht besteed aan zowel kwalitatieve als kwantitatieve baten van de procesverbetering en de manier waarop die door het waterschap worden gemeten.

3.6 Resultaten

(28)
(29)

29

4 RESULTATEN EN ANALYSE

4.1 Waterschap Hunze en Aa’s

Het waterschap Hunze en Aa’s is per 1 januari 2007 gereorganiseerd. Eén van de belangrijkste redenen voor de reorganisatie was dat het bestuur nadrukkelijk kostenbeheersing wilde bij de steeds stijgende waterschapslasten. Deze lasten stijgen sterk door de toenemende veiligheids- en

kwaliteitseisen in het waterbeheer. Dit komt ook tot uitdrukking in de missie van het waterschap: “Waterschap Hunze en Aa’s: verantwoordelijk voor veiligheid, schoon en voldoende water tegen lage kosten.”.

Bij de reorganisatie is gekozen voor het directiemodel, zoals dat is weergegeven in bijlage 4. Direct onder de secretaris-directeur zijn 7 afdelingen gevormd: Veiligheid en Voldoende Water (VVW), Schoon Water (SW), Beleid, Plannen en Projecten (BPP), Bedrijfsinformatie (BI), Financiële en Juridische zaken (FJZ), Personele-, Facilitaire zaken en Communicatie (PFC), Laboratorium (Lab). De directeur wordt ondersteund door een staf, waarin het secretariaat, de bestuursondersteuning, de controller en procesmedewerkers zijn opgenomen.

Eén van de achterliggende motieven voor het directiemodel was dat door het direct bijeenbrengen van beleid en uitvoering in één functionele afdeling, goedkoper gewerkt zou kunnen worden door het terugdringen van het aantal overdrachtsmomenten tussen beleid en uitvoering. Deze combinatie van beleid en uitvoering is vooral belangrijk in de afdelingen Schoon Water, en Veiligheid en Voldoende Water, waar een grote groep uitvoerende buitendienst medewerkers (monteurs en onderhoudsmedewerkers) aanwezig is.

De missie van het waterschap is uitgewerkt in een strategy-map die is gebaseerd op de vier perspectieven van de Balanced Scorecard. De strategy-map is opgenomen in bijlage 5. Het waterschap gaat bij het realiseren van de missie uit van drie pijlers: inrichten, beheren en onderhouden, en uitbreiding van dienstverlening. Deze drie pijlers vormen de basis van de uitwerking van de strategy-map op de onderdelen klanten, financieel, interne organisatie en medewerkers.

Door de secretaris-directeur van het waterschap is begin 2007 ingezet op procesoptimalisatie, dit mede ter ondersteuning van de werkprocessen in de nieuwe samengevoegde functionele afdelingen, met als doel te komen tot kostenbesparingen en daarmee invulling te geven aan de missie. Als methode werd door de secretaris-directeur Lean thinking geïntroduceerd. Twee procesmedewerkers, functioneel behorend tot de staf, zijn vrij gemaakt om afdelingshoofden te helpen bij

(30)

30 uitgevoerd bij het beheer in de buitendienst van de huidige afdeling VVW. De resultaten van dit proces worden in de organisatie als goed voorbeeld voor de buffelprocessen gehanteerd. Het is voor de vergelijking meegenomen in dit onderzoek als 7e proces, hoewel hier niet sprake was van een Lean aanpak. De processen, de afdelingen waarbinnen zij plaats vinden en de datum van de buffelweken zijn te vinden in tabel 2. De processen zijn weergegeven naar de te verwachten afnemende omgevingsdynamiek. Deze volgorde is ook gehanteerd bij de presentatie van de procesresultaten in paragraaf 4.3.3.

Tabel 2: overzicht onderzochte processen.

Proces: Afdeling: Datum buffelweek:

Plannen van derden BPP oktober 2007

2015 - 100% Directie september 2008

Vergunningverlening WVO1 SW mei 2007

Vergunningverlening Keur2 VVW okt. 2007/april 2009

Personeelsadministratie PFC april 2008

Beheerregister3 BI mei 2007

Onderhoud VVW 20054

In het vervolg van dit hoofdstuk wordt achtereenvolgens ingegaan op de resultaten bij de drie onderwerpen van het onderzoek, zoals aangegeven in hoofdstuk 3: het karakter van de

procesverbetering (paragraaf 4.2.), de omgevingsdynamiek van de onderzochte processen en de resultaten van de procesverbetering bij het waterschap Hunze en Aa’s. De onderdelen

omgevingsdynamiek en resultaten van procesverbetering worden gepresenteerd per onderzocht werkproces (paragraaf 4.3.). Daarna wordt een nadere analyse gegeven van de gevonden resultaten (paragraaf 4.4.).

4.2 Procesverbetering bij waterschap Hunze en Aa’s

Procesverbetering bij het waterschap Hunze en Aa’s vindt plaats vanuit buffelweken en is op hoofdlijnen als volgt te omschrijven. De doelstelling van een buffelweek is een proces opnieuw in te richten. De taakopdracht en randvoorwaarden voor de procesverbetering in de buffelweek

worden door het betrokken afdelingshoofd bepaald. In de buffelweken gaan een aantal werknemers direct betrokken bij de uitvoering van de werkzaamheden, samen met een aantal gebruikers van dat proces en een “klant” van het product of de dienst die door het proces geleverd wordt, gedurende een week het proces nader analyseren en herontwerpen. De klant is altijd iemand uit de organisatie die de klantrol op zich neemt. In de buffelweek wordt het proces gedetailleerd in kaart gebracht en geanalyseerd. Stappen die overbodig zijn, vanuit het klantperspectief (verspilling), worden

gemarkeerd. Verspilling is alles wat geen waarde toevoegt aan het product vanuit het

klantperspectief. Hierbij wordt uitgegaan van de 7 verspillingen, zoals gedefinieerd door Womack

1 WVO: Wet verontreiniging Oppervlaktewateren. 2

Keur: regelgeving van het waterschap ten behoeve van de waterhuishoudkundige infrastructuur. 3

Beheerregister: Digitaal kaartregister met exacte beschrijving (kwalitatief en kwantitatief) van de waterhuishoudkundige infrastructuur.

(31)

31 en Jones (2003): overproductie, wachttijd, transport, overprocessing, voorraden, beweging, fouten. Vervolgens wordt het ideale proces op grond van de uitgevoerde analyse ontworpen. Om de nieuwe ideale situatie te kunnen bereiken wordt een 100-dagen plan opgesteld, waarin de acties om tot de gewenste nieuwe procesuitvoering te komen worden vastgelegd. Na de buffelweek pakken de betrokken medewerkers hun reguliere werkzaamheden weer op en hebben daarbij als extra taak de activiteiten en afspraken uit het dagen plan te realiseren. Het is de bedoeling dat na de 100-dagen periode het nieuwe proces het oude werkproces heeft vervangen.

Dit beeld wordt bevestigd in alle interviews. De hier beschreven methode is de basistechniek in alle onderzochte processen. Om te kunnen bepalen of deze uitwerking van de Lean principes door het waterschap ook valt onder de definitie van TQC, zoals beschreven in hoofdstuk 2, is de beschreven procesverbetering van het waterschap nader geanalyseerd. Hierbij is gebruik gemaakt van de kenmerken van TQC en TQL zoals geformuleerd door Sitkin c.s. (1994) en beschreven in hoofdstuk 2. Zie ook bijlage 1.

Op basis van de documenten (opdrachtbrieven, 100-dagen plannen en notulen) en de interviews is de uitvoering van onderdelen van de procesverbetering bij het waterschap nader beschreven. Deze uitvoeringsaspecten zijn zo gepresenteerd dat ze aansluiten bij de verschillende kenmerken van TQC en TQL, zoals geformuleerd door Sitkin c.s. (1994). Sitkin c.s. groeperen de kenmerken van TQC en TQL hierbij in 3 hoofdgroepen, die zij “Capability enhancement”, “Information Collection, Analysis, & Dissemination” en “Incentives for Implementation” noemen. De beschrijving van de situatie bij het waterschap is vervolgens beoordeeld op de kenmerken van TQC en TQL met een + (komt overeen), +/- (ongeveer waar/neutraal) of - (komt niet overeen). De resultaten van deze analyse zijn te vinden in tabel 3 op pagina 32 en 33.

(32)

32

Tabel 3: Analyse procesverbeteringsmethode Hunze en Aa's ten opzichte van TQC en TWL kenmerken (Sitkin. c.s. 1994).

Uitvoering Hunze en Aa’s TQC kenmerk

Sitkin c.s. (1994) oor-deel TQL kenmerk Sitkin c.s. (1994) oor-deel Capability Enhancement

Het nieuwe proces moet met de huidige formatie en personeelsbestand worden uitgevoerd. Er worden geen specifieke trainingen of opleidingen aangeboden. De huidige aanwezige vaardigheden van de medewerkers worden aangesproken. Dit is als randvoorwaarde opgenomen in de opdrachten voor procesverbetering. Enhanced exploitation of existing skills + Enhanced exploitation of new skills -

In alle gevallen wordt als randvoorwaarde voor de procesverbetering opgenomen dat het nieuwe proces dient plaats te vinden met de huidige bezetting, binnen het huidige budget en met de huidige middelen. Dit betekent dus een verdere exploitatie van bestaande resources.

Increased efficiency in use of existing sources

+ Increased

availability of slack resources

-

Procesverbetering is heel direct gericht op eliminatie van alles wat niet direct bijdraagt aan het eindproduct (“eliminatie van verspilling”). Door standaardisatie wordt getracht een efficiënt en beheersbaar (deel)proces te creëren. De focus ligt op handhaving van de standaarden en verbetering hiervan. Zie ook het volgende punt.

Increased effectiveness in control over processes, products, and services

+ Increased effectiveness in learning and capacity enhancement -

Het nieuwe werkproces is gericht op

betrouwbaarheid. Het gaat om het realiseren van standaarduitkomsten in standaard tijdseenheden en is gericht op de voorspelbaarheid van de uitkomst.

Increased performance reliability

+ Increased resilience in the face of new and/or unexpected change or

requirements

-

Procesverbetering wordt sterk bepaald door het elimineren van controlestappen in de

procesvoering. Het motto in de organisatie is “in één keer goed!”

Doing things right the first time

+ Doing things that are likely to provide insight, but only have a moderate probability of succeeding

-

Het trainen van specifieke vaardigheden is niet aan de orde. Er wordt vooral gewerkt met en vanuit de bestaande vaardigheden en kennis van

medewerkers. Medewerkers worden door de processpecialisten wel meegenomen in het herkennen en toepassen van de Lean principes gericht op de 7 verspillingen.

Training for specific skill improvement

- General training and exposure

+/-

Information Collection, Analysis & Dissemination

Omdat een externe klant niet direct wordt

betrokken in de procesverbetering maar een interne medewerker die rol op zich neemt (als zodanig benoemd in de opdrachtbrief), wordt sterk voortgebouwd op de bestaande beelden en

interpretatie binnen de organisatie van klantwensen en klantpercepties. Er wordt geen (extern)

onderzoek gedaan.

Ongoing assessment of customer/supplier perceptions of need and concerns

+ Address previously unrecognized customer groups

(33)

33

Dit sluit aan bij bovenstaande opmerking. In de buffelweek wordt nadrukkelijk gevraagd aan de medewerkers om in de rol van de klant te kruipen.

Fulfill known needs + Identify new needs for current customers

-

Er wordt binnen de waterschappen in Nederland een benchmark onderzoek uitgevoerd. Dit geeft echter onvoldoende informatie om gebruikt te kunnen worden bij procesverbetering. Overigens heeft het Waterschap als overheidsorganisatie binnen haar beheersgebied geen concurrenten.

Benchmarking against satisfaction standards and practices by competitors and in other industries

+/- Test (rather than accept) customer definitions of needs and constraints

-

Binnen het waterschap zijn weinig statistische kengetallen van proceskenmerken beschikbaar. Bij de nieuw ontworpen processen worden wel doorlooptijden geformuleerd, gemeten en bewaakt door m.b.v. een “verbeterbord”, waarop

kengetallen en grafieken worden bijgehouden.

Use of standardized statistical control information +/- Self-designed, changing, non standardized diagnostic information +

Incentives for Implementation

Er wordt in het algemeen niet gewerkt met extra beloningsystemen binnen het waterschap. Wel zijn de medewerkers betrokken bij de

procesverbetering keur na de eerste positieve resultaten van die procesverbetering (snellere doorlooptijden gerealiseerd) gewaardeerd met een incidentele financiële beloning.

Incentives for error reduction

- Incentives for innovation

-

Van medewerkers wordt verwacht dat zij allemaal conform de afspraken en standaarden gaan werken. Hiervoor worden o.a. “Eénpuntslessen (EPL)” opgesteld. Dit zijn korte werkinstructies gericht op standaardisatie van werkmethoden. Wekelijks wordt de voortgang van de productie besproken (verbeterbord sessies) en worden eventueel werkwijzen bijgesteld.

Role models, mentoring, and emphasis on constructive conformity + Leadership support for independent thinking and calculated risks -

Feedback op prestaties vindt plaats middels de verbeterbordsessies, zoals hiervoor beschreven, en vindt plaats op basis van voorafgestelde doelen en prestaties.

Performance feedback + Learning-related feedback

-

De aanpak in de buffelweek is duidelijk een teamgerichte aanpak. Ook in het vervolgtraject (het 100-dagenplan met taakverdeling en

terugkoppeling) en bij de verbeterbord sessies (groepsbespreking) is sprake van een teamgerichte aanpak.

Participation/teamwork emphasis

+ Autonomy -

Er worden o.a. productienormen (“tact tijden”) opgesteld en deze worden geëvalueerd. De manier waarop verschilt per team. Er is geen eenduidige aanpak bij de evaluatie. De verbeterborden worden per team op eigen manier ingevuld.

Evaluation through precise standards

- Evaluation through general values and judgment

+

Afbeelding

Updating...

Referenties

Updating...

Gerelateerde onderwerpen :