Inhoudelijk:
• Verbetering ‘goede werkwijzen’ (o.a. rond evenementen)
• Open politiewerk: dat collega’s meekijken wordt vanzelfsprekend
• Leren staat centraal, niet ‘inspecteren’
Methodisch:
• Real time evaluatie
• Intensieve rol van praktijkmensen • Basis voor onderwijsmodule (MCPM)
3.
Peer reviews als leer- en onderzoeksmethode
Real time evaluaties met ervaren politiemensen
Otto Adang
Inleiding
De peer review methode is een intercollegiale leer- en onderzoeks- methode ontwikkeld door het lectoraat Openbare Orde & Gevaarbeheer- sing. Het idee van de peer review methode is om ervaren politiemen- sen uit verschillende teams/districten/eenheden/ landen te betrekken bij het evalueren van een politieaanpak, of het nu om evenementen of om dagelijks politiewerk op een specifiek domein gaat. Niet door ach- teraf terug te kijken, maar door de aanpak daadwerkelijk real time te volgen. En ook niet door te oordelen, te focussen op fouten of schuldigen aan te wijzen, maar door zich te richten op uitwisseling van ervaringen en het leren ervan, om zo een win-winsituatie te bewerkstelligen. Peer reviews worden alleen uitgevoerd op vrijwillige basis. Doel van de peer review evaluatie is uiteindelijk goede werkwijzen en aandachtspunten voor de toekomst te identificeren. Deze hebben vaak ook een bredere relevantie voor de rest van de politie. Een peer review vindt plaats op verzoek van een leidinggevende met als doel om lessen te leren voor soortgelijke activiteiten in de toekomst. De focus van de peer review wordt bepaald door deze aanvragende politiechef. Een peer review pretendeert geen allesomvattend of diepgaand evaluatieonderzoek te zijn, maar is wel het resultaat van een zorgvuldig, gericht en gestructu- reerd proces van gegevensverzameling om een representatief beeld te krijgen van het optreden en om de aanvrager/opdrachtgever een spiegel voor te kunnen houden.
De peer review methode kent drie wortels:
1. Het systematische en gestructureerde vergelijkende observatie onderzoek naar relsituaties van Adang (1998) en de daaruit voortvloeiende ideeën over evaluatieteams (Adang, 1994, 2005, 2006). Directe en gerichte observatie is een krachtige methode om zicht te krijgen op (aspecten van) de politiepraktijk. Het
verrichten van observaties fungeert als een enorme eyeopener, juist voor praktijkmensen. De observaties leveren een schat aan materiaal op, die input kan zijn voor discussies en gedachtewis selingen over politiewerk, vakmanschap en professionaliteit. 2. De systematiek van de INK-audits zoals die ook bij de politie wordt toegepast. INK-auditing is de feedbackvorm waarin de
integrale bedrijfsvoering uitgebreid wordt geëvalueerd aan de hand van het INK-managementmodel. Het doel van een INK- audit is tweeledig: (a) stimuleren van het management en de medewerkers om een gestructureerde dialoog te voeren over de kwaliteit van hun bedrijfsvoering, en (b) een multidisciplinair team van getrainde externe auditors een ‘second opinion’ laten uitbrengen3.
3. Het perspectief van gebruiksgericht evalueren (Patton, 1997). Gebruiksgerichte evaluatie stelt zich vanaf het allereerste begin de vraag: wie moet er wat met de resultaten en aanbevelingen van een evaluatie/onderzoek en wat voor soort gebruik zou er gemaakt moeten worden van de bevindingen en aanbevelingen? De systematiek biedt handvatten voor de manier waarop in elke stap van een evaluatie-/onderzoeksproces beoogde gebruikers effectief betrokken kunnen worden en de kans verhoogd wordt dat er daadwerkelijk wat gebeurt met de resultaten.
De peer review evaluatiemethode is uitgewerkt en geperfectioneerd op basis van deze drie wortels. De methode is bedacht in 1993, de eerste experimenten ermee werden uitgevoerd in 1994 en 1996, maar
3 Zie www.ink.nl/nl/p4cadb482929be/ink-auditing.html en www.ink.nl/nl/p4c0790ce27283/ kwaliteitsbureau-politie.html.
het duurde tot 2005 voor de systematiek daadwerkelijk werd toege- past, eerst in Europees verband en in Argentinië, vanaf 2009 ook in Nederland. Inmiddels is er al in meer dan zeventig gevallen ervaring mee opgedaan. Hieronder geef ik kort de ervaringen weer die tot nog toe met peer review evaluaties zijn opgedaan, ga ik in op de toepassin- gen en effecten en benoem ik de kritische succesfactoren.
Europese peer review evaluatieteams
Het besluit om een pilot te starten met peer review evaluaties van internationale voetbalwedstrijden werd in 2005 genomen in de EU werkgroep politiesamenwerking. Dit is de plaats waar in EU-ver- band ambtenaren uit alle lidstaten zaken in relatie tot internationale politiesamenwerking bespreken en voorbereiden. De pilot werd voor heel Europa gecoördineerd door het lectoraat Openbare Orde & Gevaar- beheersing van de Politieacademie en door het Centraal Informatiepunt Voetbalvandalisme (CIV). Ten behoeve van de pilot werd een pool van 21 ervaren voetbalcommandanten uit dertien verschillende landen samen- gesteld. In totaal zijn veertien verzoeken uit tien verschillende landen ontvangen voor een evaluatie. In zes gevallen ging het om risicowed- strijden in de nationale competitie, bij de rest ging het om wedstrij- den van vertegenwoordigende elftallen of wedstrijden in de Champions League. Politiekorpsen in vijf van de acht speelsteden in Oostenrijk en Zwitserland vroegen in het jaar voorafgaand aan het Euro 2008-toer- nooi om een evaluatie van hun aanpak. Het Europese handboek voor internationale politiesamenwerking bij voetbalwedstrijden vormde een belangrijk referentiepunt, maar de activiteiten van het team richtten zich vooral op die onderwerpen die het vragende korps zelf aandroeg. Zo werd er bijvoorbeeld diverse malen gevraagd om observaties te doen naar de wijze waarop feitelijk uitvoering werd gegeven aan de vooraf bedachte strategie. Als gevolg van deze internationale ervaringen zijn diverse landen (onder andere Denemarken en Zweden) de methodiek ook toe gaan passen rond voetbalwedstrijden en andere evenementen in hun eigen land. In het kader van een vanuit Zweden gecoördineerd internationaal project (Godiac) zijn tien peer reviews gehouden rond demonstraties in negen verschillende landen.4
Toepassing: de politieaanpak bij voetbalwedstrijden in Nederland
Het lectoraat Openbare Orde & Gevaarbeheersing heeft in het seizoen 2009-2010 in zes van de toenmalige korpsen met inzet van in totaal 28 commandanten een peer review rond een voetbalwedstrijd uitgevoerd. Commandanten uit zeven andere korpsen namen ook deel aan de peer review teams. Het ging om een pilot, om te kijken of toepassing van peer reviews binnen Nederland uitvoerbaar was en tot vergelijkbare leereffecten zou leiden als bij de eerder in EU-verband gehouden pilot. Dat bleek het geval te zijn. Sterker nog, de peer review methode bleek unieke kansen en mogelijkheden voor de poli- tie te bieden om gezamenlijk goede werkwijzen te identificeren en te bevorderen, trends te onderkennen en landelijk stappen te maken in de richting van een vergelijkbaar kwaliteitsniveau van de aanpak. Over het praktische nut en de relevantie bestond unanimiteit: ‘veel leermo- menten en collegiale uitwisseling’ en ‘los van het rapport en wat het heeft opgeleverd naar de commandant toe, is de grootste meerwaarde dat je tijdens die dagen van elkaars (ervaringen) leert.’ ‘Het rapport was meteen bruikbaar en kon helpen in de netwerken en de driehoek. De peer review was erg praktijk- en politiegericht.’ ‘Ik dacht van tevoren een collega te gaan helpen met zijn aanpak vanuit mijn ervaring, maar ik ben zelf ook weer met een aantal inzichten naar huis gegaan, waar ik zeker wat mee ga doen.’ ‘Ik heb nog nooit met collega’s alleen maar over het vak gepraat en was blij dat het nu eindelijk eens kon, dankzij een paar dagen peer review!’
In 2011 zijn geanonimiseerde versies van de door de peer review teams opgestelde rapportages gepubliceerd als eerste publicatie in de onderzoeksreeks van de Politieacademie (Adang et al., 2011). De resul- taten zijn ook naar de politiepraktijk gecommuniceerd via een aantal seminars.
Toepassing ‘Monitoring evenementen’
Peer reviews worden ook toegepast in het project ‘Monitoren evenementen’. Bij dit project gaat het er om goede werkwijzen op het gebied van handhaving, opsporing en intelligence, die bijdragen aan
een veiliger verloop van evenementen en een efficiëntere en effectievere politie-inzet, te inventariseren, te ontwikkelen, te implementeren en uit te wisselen. Gedurende drie jaar hebben bij zes grote evenementen verschillende teams van algemeen commandanten en hoofden handha- ving peer reviews uitgevoerd. Daarbij was het expliciet de bedoeling dat kennisuitwisseling plaats zou vinden met betrekking tot de aanpak van de verschillende evenementen en dat de aanpak van de evenementen zich van jaar tot jaar zou ontwikkelen. In het derde en laatste jaar van het project zijn ook hoofden informatie en ambtenaren openbare orde en veiligheid bij de reviews betrokken. Via jaarlijkse seminars wordt de kennisuitwisseling verder bevorderd. Het project wordt eind 2013 afge- rond. In de loop van het project zijn daarnaast spontaan andere vormen van kennisuitwisseling ontstaan tussen wat inmiddels regionale een- heden van de Nationale Politie zijn. Zo is naar aanleiding van de peer review ervaringen bij de voorbereiding van de kroning in Amster- dam gebruik gemaakt van expertise van commandanten uit andere eenheden.
Toepassing: Master Crisis and Public Order Management (MCPM)
De Master Crisis and Public Order Management (MCPM) wordt aan- geboden door de Politieacademie en het Instituut Fysieke Veiligheid (IFV) en levert gevaarkundigen en crisismanagers voor alle partners in de veiligheidsketen. Een belangrijk en hogelijk gewaardeerd onderdeel in deze opleiding is de opdracht om een peer review te verrichten rond een evenement. Vernieuwend bij deze toepassing van de peer review methode is dat zij uitgevoerd wordt door studenten (het betreft steeds mensen met jaren praktijkervaring binnen hun discipline), en dat er sprake is van multidisciplinaire teams van elke keer vijf of zes masters- in-opleiding die zelf op zoek gaan naar opdrachtgevers uit verschillen- de disciplines (niet alleen politie) en met vaak een multidisciplinaire vraagstelling. Jaarlijks worden zo vier peer reviews voor opdrachtgevers uit de praktijk uitgevoerd bij een grote variatie evenementen, zoals voetbalwedstrijden, de kerstmarkt in Dordrecht, de halve marathon in Egmond, Deventer op Stelten, Eurosonic in Groningen, het bloemen- corso in Aalsmeer, Prinsjesdag en een koninklijk bezoek. De studen- ten presenteren de resultaten aan elkaar in de loop van de opleiding. Daarnaast geven in vrijwel alle gevallen de opdrachtgevers aan dat zij
de resultaten van de peer review daadwerkelijk gaan toepassen bij de volgende editie van het evenement.
Toepassing: contextgedreven werken
Op verzoek van het landelijk programma Ontwikkeling Gebiedsge- bonden Politie voerde het lectoraat in de loop van 2012 in vier teams een peer review uit. Bij het bezoek aan een team waren de peer review teams steeds gevormd door teamchefs en wijkagenten uit de andere drie teams. In totaal hebben 21 personen in de teams geparticipeerd, vijftien uit de betrokken teams en zes van de Politieacademie. De be- vindingen van de peer reviews zijn gepresenteerd en besproken op een seminar dat door ruim 250 mensen werd bijgewoond, met als titel: ‘Mijn buurtbewoners bepalen wat ik doe!’ De tijdens de peer reviews geïdentificeerde aandachtspunten en goede werkwijzen zijn neerge- legd in een eindrapport dat gebruikt wordt bij de verdere invoering van contextgedreven werken. Het vernieuwende aan deze peer review toepassing was dat het niet ging om evenementen, maar om de dage- lijkse manier van werken in een politieteam. Met kleine aanpassingen bleek de peer review werkwijze daar ook heel geschikt voor, met leeref- fecten voor zowel de peer reviewers als de deelnemende politieteams.
Toepassing: aanpak geweld
In opdracht van het Landelijk programma Aanpak geweld wordt een onderzoek uitgevoerd om goede werkwijzen op het gebied van de aanpak van geweld in het publieke domein in beeld te brengen met gebruikmaking van de peer review methode. Daarbij werken het Kwaliteitsbureau Politie en het lectoraat Openbare Orde & Gevaarbeheer- sing samen. In november 2012 is een eerste peer review gehouden in Deventer. In 2013 zijn in acht verschillende teams peer reviews uitge- voerd. De ervaringen van de peer review teams zullen tevens worden gebruikt in een breder onderzoek naar de aanpak van geweld in woon- wijken.
De gang van zaken bij peer review evaluaties
Een leidinggevende die een review wil, meldt zich bij het lectoraat dat een team van meestal zes ervaren praktijkmensen samenstelt. Het lectoraat spreekt een aantal weken voor de review gaat plaatsvinden met de aanvrager/ opdrachtgever af waar de review zich precies op gaat richten: in onderling overleg worden maximaal vijf praktijkrelevante vragen geformuleerd. Een dag voor de review plaatsvindt, arriveert het team ter plaatse en wordt het door de aanvragende chef gebriefd over de planning voor de te reviewen activiteit en ontvangt het de beschik- bare informatie. Het team verkent ‘hot spots’ in de stad en de omge- ving en trekt zich vervolgens terug om een evaluatieplan op te stel- len: op welke plaatsen en tijden observeren, wie te interviewen, welke vragen te stellen, en wie doet wat? De dag van de review wordt het evaluatieplan ten uitvoer gebracht en verzamelen de reviewers in koppels gericht gegevens in de vorm van interviews met politiefunctionaris- sen, burgers en andere betrokkenen en via observaties. De reviewers leggen hun bevindingen vast in notities of op memorecorders. Tevens maken ze foto’s van typerende situaties. De derde dag van het bezoek is in zijn geheel gewijd aan uitwisseling van ervaringen tussen de reviewers en onderlinge discussie. Volgens een vaste structuur delen de peer reviewers hun bevindingen met elkaar en discussiëren ze over aandachtspunten en goede werkwijzen. De discussie wordt direct vastgelegd in een conceptrapport. Na deze drie dagen wordt het con- ceptrapport uitgewerkt door een wetenschappelijke assistent die deel uitmaakt van het peer review team, mede aan de hand van de verzamel- de documentatie. Na eindredactie door de lectoraatscoördinator wordt het conceptrapport vervolgens voorgelegd aan de peer reviewers. Het rapport wordt daarna definitief gemaakt.
De peer review evaluaties zijn nadrukkelijk geen inspectie: uitgangs- punt voor de peer reviews is een intercollegiale terugkoppeling, waarbij de aanvrager/ opdrachtgever een spiegel krijgt voorgehouden. De peer reviews vinden daarom alleen op verzoek plaats. Uitwisseling en leren staan voorop bij de peer review evaluaties, het gaat niet om bekritiseren of veroordelen. De focus ligt bij de peer review evaluaties nadrukkelijk op wat de reviewers zien als goede werkwijzen. Daarbij gaat het niet alleen om specifiek aan plaats of tijd gebonden werkwijzen, maar ook
om werkwijzen met een bredere toepassing, die generiek als bruikbaar en professioneel zouden kunnen worden bestempeld. De generaliseer- baarheid van de bevindingen uit de peer reviews wordt sterk bevorderd doordat de reviewers afkomstig zijn uit diverse korpsen/eenheden en landen. De peer reviews leveren ook stof op voor verdere discussie over de gronden waarop een werkwijze als ‘goed’ bestempeld kan worden.
Bruikbaarheid van de peer review evaluaties
Het idee achter de reviews is dat zij nuttig moeten zijn voor zowel de aanvrager/opdrachtgever als de reviewers. In elk project is steeds gecheckt of dat ook daadwerkelijk het geval was. Aanvragers/ op- drachtgevers geven aan dat zij zeer tevreden zijn met het systeem, de rapportage/ terugkoppeling die ze ontvangen en het feit dat betekenis- volle aandachtspunten zijn geïdentificeerd. Ze waarderen de uitwisse- ling van ideeën en ervaringen en de focus op de toekomst. Vooral de door reviewers gesignaleerde discrepanties tussen plan of beleid en feitelijke uitvoering worden gewaardeerd. Diverse aanvragers gaven aan dat de review als katalysator voor concrete veranderingen had ge- functioneerd (waar in het verleden verandering pas plaatsvond na een spraakmakend incident). Meer specifiek gaven aanvragers aan dat ze rapporten op één of meer van de volgende wijzen gebruikt hebben:
• als basis voor gesprekken met bij de inzet/aanpak betrokken functionarissen;
• als basis voor interne reflecties en strategiebepaling;
• als basis voor gesprekken met ketenpartners met als doel het maken van werkafspraken.
Voor sommige aanvragers zijn de rapporten een nuttige, onafhankelijke bevestiging van wat intern al bekend was en aandacht behoeft. In een aantal gevallen wordt een review bewust gebruikt om een onderwerp op de agenda te zetten: het feit dat een onafhankelijk team van prak- tijkexperts bepaalde constateringen doet, maakt ook voor anderen de noodzaak zichtbaar om actie te ondernemen.
Aanvragers geven ook aan dat naast de inhoud van de rapporten, het peer review proces waardevol is door de wijze waarop een spiegel wordt voorgehouden door onafhankelijke experts. Vooral voor de aanvragers
in de speelsteden van Euro 2008 vervulden de rapporten een belang- rijke functie in de beantwoording van de vraag of men op de goede weg was voor het EK. Behalve voor de korpsen zelf was het antwoord op die vraag van belang voor het bevoegd gezag en de lokale bevolking. In Zwitserland leidden de rapportages tot een bijeenkomst waar verte- genwoordigers van de vier betrokken korpsen, de Zwitserse nationale coördinator en het lectoraat de uitkomsten van de reviews gezamenlijk bediscussieerden. De korpsen gaven daarbij expliciet aan hoe ze om zouden willen gaan (of al waren gegaan) met de uitkomsten van de peer reviews.5
Deelnemers aan de peer review evaluaties spreken van een win-win situatie en een excellente gelegenheid om goede werkwijzen te versprei- den:
‘Ik hoop dat ze van mij geleerd hebben, maar ik heb zeker van het vragende korps geleerd. Het was heel belangrijk.’
‘Iedere keer dat ik meega, leer ik iets nieuws dat ik in mijn eigen situatie kan toepassen. De reviews helpen me een netwerk van vrienden te bouwen. Het slecht barrières, maakt het leven makkelijker.’ ‘Het was voor mij een geweldige ervaring en het was heel waardevol voor mijn toekomstig werk rond internationale voetbalwedstrijden. Bedankt voor de gelegenheid mee te doen.’
Reviewers geven aan dat het weliswaar om een grote tijdsinvestering gaat, maar dat het goed is om van achter het bureau te komen en het veld in te gaan om te observeren, te luisteren en met de werkvloer en burgers (bijvoorbeeld supporters) te praten. De gelegenheid om van diverse kanten de feitelijke inzet te zien en iedereen te kunnen benade- ren wordt gewaardeerd: ‘Dit is heel moeilijk in mijn dagelijkse werk.’ Veel reviewers merken dat het lastig is eerst te observeren en gege- vens te verzamelen en pas later conclusies te trekken: ‘Je hebt training nodig om dat te kunnen doen. Je ziet commandanten op een heel andere manier.’
5 Zie www.swissinfo.ch/eng/front/Swiss_pass_Euro_2008_security_audit.html?siteSect= 105&sid=8760711&rss=true&ty=st,
http://football.guardian.co.uk/breakingnews/feedstory/0,,-7321323,00.html en http://football.uk.reuters.com/euro2008/news/L19073341.php
Aanvragers en reviewers zijn het erover eens dat de belangrijkste succesfactor van de peer reviews het ‘peer’-aspect is en de informele, open en gebruiksgerichte wijze waarop de reviews worden uitgevoerd, gericht op leren van onder af en niet op inspectie. Daarnaast worden het uitwisselingsaspect, het voorhouden van een spiegel, het identificeren en promoten van goede werkwijzen en de mix van theorie en praktijk gewaardeerd.
Bij elke peer review toepassing is er in eerste instantie vaak wat schroom: ‘het is niet gebruikelijk om je te laten bekijken door een ander politiekorps’ en ‘er zijn te veel grenzen in de hoofden van politiemen- sen’, maar in de praktijk verdwijnt deze terughoudendheid vaak snel, als duidelijk wordt dat het gaat om collegiaal leren op een zorgvuldige