Deel V Monitoring en Conclusies
15. Conclusies & Aanbevelingen
Omtrent de oorspronkelijke aanleiding van het onderzoek; de perceptie van de technisch manager dat de toepassing van Systems Engineering in het Integrale ProjectManagement-team achterblijft, kwam geen eenduidig antwoord. Verschillende problemen worden wel breed ervaren (door de geïnterviewde rolhouders) bij de toepassing van SE in IPM-teams. SE kan dus beter toegepast worden door IPM-rolhouders, wat meetbaar is met de KAd95-SE. De verbeterpunten liggen deels bij teamproces, de gevonden en uitgewerkte interventies kunnen hier een bijdragen aan leveren. De interventies zijn op basis van succesvolle projecten tot stand gekomen, waar ze hebben bijgedragen aan zowel een goed teamproces als aan positieve scores voor SE-producttoetsen. De interventies zijn gevonden en ontwikkeld met input vanuit een aantal casestudies. In de cases werd gezocht naar een relatie tussen teamproces en productkwaliteit. Deze relatie is gevonden in de casestudies, maar de relatie is niet goed te onderbouwen. Er spelen meer factoren een rol bij het KAd95-SE-oordeel. Het teamproces kan wel worden gezien als een voorwaarde voor een groene KAd. Dit omdat de teams die goed scoren in de KAd ook goed scoren op het teamproces. Echter hebben verbeteringen aangaande het teamproces waarschijnlijk beperkt effect, omdat IPM-teams in het algemeen goed op het teamproces scoren.
De ontwikkelde interventies zijn geschikt om te gebruiken en zijn individueel doorontwikkeld en geëvalueerd. Een evaluatie van de interventies en het effect op de KAd95-SE heeft niet plaats kunnen vinden. Echter moeten de interventies wel ontsloten worden naar de eindgebruikers (IPM-teams) op een voor hun begrijpelijke manier.
Aanbevelingen
De aanbevelingen zijn gericht op de opdrachtgever: het kennisveld technisch management. Allereerst wordt aangeraden de interventies te valideren voor één of meerdere projecten. Hier is zijn al twee projecten mee aan de slag gegaan, en een ander had verregaande interesse. De interventies moeten niet beschouwd worden als een statisch gegeven. De gevonden interventies zijn opgehaald uit zes projecten, het is dus waarschijnlijk dat er meer geschikte interventies bestaan en toegepast worden. Daarom is het mogelijk dat er in de tijd interventies afvallen of bij komen die IPM-teams helpen bij het toepassen van SE. Een verdere borging van de interventies wordt aangeraden, maar daarbij dient wel rekening te worden gehouden met de aanbevelingen die zijn beschreven in het implementatie voorstel. Zo wordt aangeraden de TeamToolbox bij een afdelingshoofd te borgen. Een andere aanbeveling is het zoeken van aansluiting bij de Systems Engineering Academy om nieuwe SE- adviseurs met de interventies bekend te maken. Ook wordt aanbevolen om de casestudies langer te volgen en te kijken naar andere indicatoren die informatie geven over de kwaliteit van een project bijvoorbeeld het aantal VTW’s, het gebruik van de pot onvoorzien, de inschrijfprijs, etc.
Aanbevelingen die niet specifiek voor het technisch management gelden zijn er ook. In de metingen naar het teamproces is gebleken dat de stabiliteit van IPM-teams is beïnvloed door de plaatsingsrondes. Gemeten projecten die relatief laag scoren op stabiliteit, hebben ook een negatieve beoordeling in de KAd95-SE. Nu zijn slechts en beperkt aantal projecten gemeten dus kan, maar de indicatie is duidelijk. Het is voor IPM-teams en lijnmanagers aan te bevelen om de IPM- teams, stabiel te houden waar dit mogelijk is en geen onnodige wijzigingen door te voeren.
103
Reflectie
In dit gedeelte reflecteer ik op het doorlopen PDEng-traject en neem ik de lezer hier in mee in een aantal ontwikkelingen. De onderstaande punten hebben een belangrijke rol gespeeld binnen dit traject. Ik beschrijf deze punten vanuit mijn eigen perspectief.
Zoektocht
De probleemcontext (het verbeteren van de toepassing van Systems Engineering binnen IPM-teams) was in eerste instantie breed en het heeft meer dan een halfjaar geduurd voordat de probleemcontext scherp was. Interviews en een documentenstudie gaven een goede eerste aanzet, maar de opdrachtgever heeft een cruciale focus gegeven door concrete ontwerpdoelstelling te verwoorden; een 100% groene score voor KAd-SE resultaten. Aanvankelijk zijn we gestart met het beeld de toepassing van SE binnen IPM-teams verbetert dient te worden. Echter gedurende de exploratie ontstond het beeld dat het glas halfvol was, terwijl dit door anderen wordt/werd gezien als halfvol. Verbeterpunten aangaande de toepassing van SE binnen IPM-teams werden echter wel ervaren en daarom werd besloten het team functioneren nader te bekijken. Ook met het team functioneren lijkt het zo slecht nog niet te gaan, maar verbeterpunten en manieren om dit te verbeteren zijn wel gevonden. Deze manieren zijn door ontwikkeld tot interventies die de toepassing van SE binnen IPM-teams verbeteren. Echter zijn dit verbeteringen in de marge, omdat de interventies de toepassing van SE binnen IPM-teams van een goed niveau naar een beter niveau brengen. Uiteindelijk geven de interventies en de TeamToolbox (met een omweg) een invulling aan de oorspronkelijke vraag van het technisch managent. De sturing van de begeleiding naar een uiteindelijk eindproduct of instrument voor de klant heeft gezorgd voor een duidelijke focus op resultaat.
Veranderingen binnen Rijkswaterstaat
Gedurende mijn tijd bij Rijkswaterstaat heb ik mijn werk en de organisatie als zeer dynamisch ervaren. Zo heeft de reorganisatie of het (her)plaatsingsproces zeker zijn weerslag gehad op de werknemers en mij niet onberoerd gelaten. Het effect van de plaatsingsrondes is ook geconstateerd in de casestudies, zo waren contactpersonen niet meer beschikbaar en werden teamprocesscores duidelijk beïnvloed. De ontwikkelingen op SE-gebied hebben ook zeker niet stil gestaan, zo is er een 3de leidraad SE gelanceerd en is Grip een waardevol instrument voor projecten geworden. Zonder de andere initiatieven van projecten en/of afdelingen te vergeten of te kort te willen doen. Kortom, er zijn een hoop verbeteringen in gang gezet om de toepassing van SE en andere processen naar een hoger plan te brengen.
KAd-SE score
De KAd SE score wordt met het advieskader SE gemeten, dit is een waardevol instrument om de toepassing van SE te meten. Ik heb de indruk dat de reviews voor SE goed en zorgvuldig plaatsvinden. Dit maak ik op uit de beschikbaar gestelde reviews die ik van negen projecten heb in gezien. De interne opleiding en certificering van de beoordelaars is hiervoor een goede borging. Uit de jaaranalyse KAd (2014) blijkt dat SE zijn zaken goed op orde heeft in vergelijking met andere disciplines. Het is ook goed dat de ‘lat van de KAd-SE score’ langzaam omhoog gaat, echter moet dit niet te snel gebeuren zodat de projecten dit kunnen behalen.
104
Evaluatie interventies
Het is helaas niet mogelijk gebleken om alle interventies te testen op één project en te meten of het de interventies bijdragen aan een groene KAd-score. Dit traject is wel in gang gezet bij de implementatie casestudie echter is het project nog niet ver genoeg voor een KAd95-meting. De interventies zijn daarom bij diverse experts, projecten en afdelingen gepresenteerd, de feedback op de interventies is vervolgens verwerkt. Er heeft dus meer een ‘in-proces’-evaluatie plaatsgevonden. Het eerder uitvoeren van de implementatie case is was niet mogelijk geweest omdat anders de probleem exploratie en de analyse casestudies niet op een grondige wijze waren ontwikkeld.
105
Referenties
Bahill T.A. and Briggs C.(2001) The Systems Engineering Started in the middle process: A Consensus of Systems Engineers and Project Managers, Systems Engineering 4: 156-167
Beem R., (2011) Kennisplan SE 2009-2012, actualisatie 2011 – 2012, Intern document Rijkswaterstaat, Versie 1.3 dd 29-12-2011, vastgesteld
Blanchard & Fabrycky (2011) Systems Engineering & Analysis
Bree de, S., (2010), Learning an organization new working methods: The system based contract methodcontrol, Thesis TU Delft
Brooks, J. M., Carroll, J. S., & Beard, J. W. (2011). Dueling stakeholders and dual-hatted systems engineers: Engineering challenges, capabilities, and skills in government infrastructure technology projects. Engineering Management, IEEE Transactions on, 58(3), 589-601.
Checkland, P., & Holwell, S. (1998) Action research: its nature and validity. Systemic Practice and Action Research, 11(1), 9-21.
CMMI (2010) CMMI for Development, Version 1.3 Improving processes for developing better products and services, Software Engineering process Management Program
Clegg B. en Birch P. (2007) Instant Creativity: simple techniques to ignite innovation and problem solving, Kogan Page Limited
Coughlan P. en Coghlan D. (2002) Action Research for operations management, International Journal of Operations & Production Management,vol 22, No 2, 2002, pp. 220-240
Denktank SE (2010) De vergeten kant van SE, www.DeNieuwbouw.nl, Donders J, van Leeuwen C, Dietvorst B, Nieuwstad K, Mulyar N., Boersma E., Braakhuis J., Jonker M., Laldjiet V. en Huisman M. Eijnatten van F. M. en Dijkstra L. (2005) Improvement and Transfer of Practice-directed Knowledge, Quality & Quantity 39: 137-154
Eisele P. (2013) Validation of the Team Diagnostic Survey and a Field Experiment to Examine the Effects of an Intervention to Increase Team Effectiveness, Group Facilitation: A Research and Application Journal number 12
Gazelle van de M.A.E.G.H. (2011) Samenwerken: is vertrouwen, is loslaten, is delen en is leren. Master of Science Thesis TUDelft, Commission De Ridder, Nederveen, van Bueren, Kreefft en Staupe. Fairley, R.E. (2009) Managing and Leading Software Projects. Hoboken, NJ, USA: John Wiley & Sons Jassawalla and Sashittal (1999) Building collaborative cross-functional new product teams, Academy of Management Executive 1999, vol 13, no 3. 50-63
Jeffs M. en Hamelin R.D (2011) Systematic Approach to the Development, Evolution, and Effectiveness of Integrated Product Development Teams (IPDTs), INCOSE Symposium Jongkind R. en Sons E. (2006). LPC benchmark top 50
106
Fairly R. (2009) Managing and Leading Software Project, Hoboken, NJ, USA, John Wiley and Sons Hackman J.R. (2005) Leading teams: setting the stage for great performance. Boston MA: Harvard Business School
Hackman J.R. en Oldham G.R. (1976) Motivation through the design of work: Test of a theory. Organizational behavior and human performance, 16(2), 250-279
Hackman en Morris C.G. (1974) Group tasks, group interaction process, and group performance effectivenss: A review and proposed integration. Defence Technical Information Center
Hardjono en Bakker (2006) Management van processen, Indentificeren, Besturen, Beheersen en Vernieuwen, Kluwer Deventer
Heemink M. (2014) Advieskader SE, versie 2.0
Heeren van B.Y.,(2010) Het vijftal van Rijkswatersaat, een onderzoek naar de rol technisch managere binnen het IPM van Rijkswaterstaat. Bachelor Scriptie, begeleid door Heerkens J.M.G, Halman J.I.M., Brei G.F. en Gerrits P.G.M.
Holman T. (2006) Organisatiedynamica, Theorie en praktijk van organisatieverandering. 3eoplage 2006, SduUitgeversbv, Den Haag
Houdt van den S. (2013) Identifying and Managing the Success Factors behind the implementation of Systems Engineering, Master of Science Thesis TUDelft, Commission Verbraeck, Vrancken, Veeneman and de Greef.
INCOSE (2011). INCOSE systems engineering handbook v. 3.2. 2. INCOSE-TP-2003-002-03.2. 2. October.
Jeffs M. en Hamelin R. D. (2011). Systematic Approach to the Development, Evolution, and
Effectiveness of Integrated Product Development Teams (IPDTs). In INCOSE International Symposium 21(1), 395-409).
Keijser M. (2006). Verslag regionaal DT en gezamenlijk DT-RWS.
Kraaij T. (2011) Systems Engineering: van A naar Beter, Afstudeerverslag Hogeschool van Amsterdam. Commissie H.M.T. de Brave en M. Oliedam.
Lamb C. T. en Rhodes D. H. (2008). Systems Thinking as an Emergent Team Property: Ongoing research into the enablers and barriers to team-level systems thinking. In Systems Conference, 2008 2nd Annual IEEE (pp. 1-7). IEEE
Lovell, R. W. (2002) Can NASA's Integrated Product Teams become “Hot Groups “?. In INCOSE International Symposium 12 (1) 604-610
Miles M.B. en Huberman A.M. (1994) Qualitative Data Analysis, 2nd ed. Sage
Oliedam (2010) Improving Integral Project Management by applying Systems Engineering, Master of Engineering Thesis Hogeschool Utrecht, Commission: Kolkman, Nieuwehuijzen en Schimmel.
107
Parnas & Weiss (1985) Active Design Reviews: principles and practices. ICSE ’85 Proceeding of the 8th international conference on Software engineering
Pyster, A. and Olwell D.H. (2013) The Guide to the Systems Engineering Body of Knowledge (SEBoK), v. 1.2. Hoboken, NJ: The Trustees of the Stevens Institute of Technology. Accessed 10-2-2014.
www.sebokwiki.org/
ProRail en Rijkswaterstaat (2009) Leidraad Systems Engineering, Boer de, G., Bruinsma H., Elich E., Luling van B., &Wemeijer G., v2.0, 27 november 2009
Rashford N.S. en Coghlan D. (1994) The Dynamics of Organizational Levels, Addison-Wesley, Reading, MA
Reason P., and Bradbury H. (2006) Handbook of Action Research, Sage publications London Rijkswaterstaat (2010) Implementatieplan Leidraad SE, 28 maart 2010, opgesteld door Bart van Luling, afdeling OI.
Rijkswaterstaat (2011) Ondernemingsplan 2015, Eén Rijkswaterstaat, elke dag beter!. Unpublished document acessed [27-11-2014] Internal CD0611ZH025
Rijkswaterstaat (2011a) Kennis Actieplan SE 2009-2012, Ron Beem Versie 1.3 dd 29-12-2011 Rijkswaterstaat, Regionale Dienst Utrecht (2011b) De Kr8 van Systems Engineering bij de Regionale Dienst, van Zalinge K., van Oostrom M. en M. van Dalfsen 8 november 2011 V10.0
Rijkswaterstaat (2013a) Werkwijzer Aanleg: de organisatie rond de projecten, onderdeel van de WWA-portal. v.d. Linde G., en v. Ark M Versie 2.0, 15 april 2013
Rijkswaterstaat, Dienst Infrastructuur, Kramer V. (2013b) Stappenplan van projectopdracht tot vraagspecificatie, Systems Engineering voor RWS projecten. Versie 1.3.1, 21 januari 2013 Rijkswaterstaat (2014b) Implementatieplan leidraad SE
Rijkswaterstaat (2015) Rapport Jaaranalyse KAd 2014, versie 2.0, 30 maart 2015
Rhodes D., Valerdi R. and Roedler G. (2009) Systems Engineering Leading Indicators for assessing Program and Technical Effectiveness, Systems Engineering vol 12, no 1, 2009
Scheurwater K. (2014) Memo, korte evaluatie KAd-toetsen, 8 augustus 2014 Steiner I. (1972) Group process and productivity, Academic Press, New York
Tepper F. en Mulder H. (2001) Resultaatgerichte bedrijfsvoering/RGB: business performance management
Vanek F., Jackson P. and Grzybowski R. (2007) Systems Engineering Metrics and Applications in Product Development: Critical Literatrue Review and Agenda for further Research, Systems Engineering
108
Wageman R., Hackman J. & Lehman E. (2005) Team Diagnostic Survey development of an
Instrument, THE JOURNAL OF APPLIED BEHAVIORAL SCIENCE, Vol. 41 No. 4, December 2005 373-398 Woolley A. (1998) Effects of intervention content and timing on group task performance. Journal of Applied Behavioral Science, 34: 30-49
Wynn & Novick (1995) Conversational conventions and participation in crossfunctional design teams, COCS ’95 Proceeding of conference on Organizational computing systems 250-257
Yin R.K. (2003) Case Study Research Design and Methods, 3rd ed., INC, Thousand Oaks, CA, USA: Sage Publications
Yin R.K. (2009) Case Study Research: Design and Methods, 4th ed., INC, Thousand Oaks, CA, USA: Sage Publications
Internet / overig
https://www.fhwa.dot.gov/cadiv/segb/views/role/index.cfm en websites van de casestudie projecten
109
Achtergrond ontwerpopdracht
De ontwerpopdracht voor het PDEng-traject is inmiddels drie jaar geleden geïnitieerd waarbij het kennisveld technisch management de opdracht heeft aangeleverd. In mei 2013 is gestart met de uitvoering van het PDEng-traject. In een intake gesprek met twee vertegenwoordigers van het kennisveld technisch management is vrijwel direct besloten om de focus op IPM-teams in de planuitwerkingsfase te plaatsen. Vervolgens is Michiel gekoppeld aan Robin de Graaf als inhoudelijk begeleider van de Universiteit Twente en Cees Orij als begeleider en opdrachtgever vanuit Rijkswaterstaat. De twee vertegenwoordigers van het kennisveld technisch management zijn op de achtergrond betrokken gebleven bij de uitvoering in een klankbord rol. De oorspronkelijke ontwerpopdracht en context beschrijving waren als volgt geformuleerd:
“In de laatste decennia heeft in de GWW sector een verschuiving plaats gevonden van rollen, taken en verantwoordelijkheden. Rijkswaterstaat (RWS) concentreert zich sterker op het formuleren van eisen waaraan infrastructuur moet voldoen, en marktpartijen zijn verantwoordelijk voor ontwerp, realisatie en/of onderhoud van de infrastructuur conform de gestelde eisen. Deze verandering vraagt om een gestructureerde en expliciete werkwijze: Systems Engineering.
Systems Engineering biedt een samenhangende set methodieken om succesvol infrastructuur tot stand te brengen en te gebruiken. Systems Engineering heeft niet alleen betrekking op technische systemen maar gaat ook over mensen en procedures. Sinds 2007 wordt Systems Engineering breed in de GWW sector toegepast. Daarbij zijn diverse successen behaald, maar tevens blijkt het toepassen van Systems Engineering een leerproces voor zowel RWS als marktpartijen. Bij RWS bestaat het beeld dat tot heden Systems Engineering nog op een eenvoudig en sporadisch niveau wordt toegepast. Er wordt onvoldoende gebruik gemaakt van de kansen die de systematiek biedt voor het inzichtelijk maken en oplossen van complexe infrastructurele probleemstellingen. In een project van twee jaar gaat de PDEng kandidaat de knelpunten bij het toepassen van Systems Engineering in de GWW sector onderzoeken en wegen aantonen die het gebruik van Systems Engineering op een hoger niveau brengen. Vragen die erbij spelen zijn:
1) Welk niveau bij het toepassen van Systems Engineering is momenteel in de GWW sector bereikt? 2) Welke barrières bestaan voor een hoger toepassingsniveau in de GWW sector ?
3) Hoe kunnen de barrières verholpen worden om het toepassingsniveau te verhogen?”
De bovenstaande beschrijving heeft dus als vertrekpunt gefungeerd voor de start van het ontwerp.