• Proces- en produktevaluatie
Bij evaluatie wordt onderscheid gemaakt tussen proces- en produkteva-luatie. De laatste beantwoordt de vraag: is datgene (bijvoorbeeld min-der alcohol-ongevallen) tot stand gekomen wat ik tot stand had willen brengen?
Procesevaluatie onderzoekt vooral de wijze waarop het produkt tot stand is gebracht. Bijvoorbeeld: is het opgestelde programma aange-houden, deed iedereen mee die mee moest doen?
• Fasen in de evaluatie
Een veel fijnere indeling is echter mogelijk en vaak ook zinvol; proces-en produktevaluatie latproces-en zich elk weer in vierproces-en verdelproces-en, zoals straks duidelijk zal worden. Elke evaluatiefase zal tot de conclusie "OK" moe-ten leiden wil je met de volgende fase kunnen beginnen. Je gaat pas onderzoeken of er minder slachtoffers vallen als je hebt vastgesteld dat er minder onder invloed gereden wordt.
De doelstelling van een alcoholactie zal meestal zijn dat bijvoorbeeld
Bij een alcoholcampagne zijn vooral de politiecontroles belangrijk; gaat het daar mis dan ziet het er voor het hele project somber uit
het aantal overtreders met 25% wordt teruggebracht en/of dat er min-der slachtoffers vallen door rijden onmin-der invloed. Om te beoordelen of zo'n doel gehaald is zul je ook moeten weten hoe de situatie was vóór het project begon: je moet een nulmeting uitvoeren. Evaluatie moet dus van meet af aan onderdeel vormen van ons projectplan. Sterker nog: als bij enige meting (ongevalsgegevens of bij controles) niet was gebleken dat er in de regio veel onder invloed wordt gereden was waar-schijnlijk nooit het idee ontstaan om er wat aan te doen.
Sommige informatie is belangrijker dan andere, en van sommige infor-matie kost het veel moeite haar te verkrijgen. Diezelfde energie had bij de beperkte beschikbare middelen ook in het project zelf kunnen wor-den gestoken. Om te besluiten of je een bepaalde evaluatiefase wilt uit-voeren zul je dus per fase moeten afwegen hoe belangrijk de informatie is, en hoeveel moeite/geld het kost om haar te verkrijgen.
Het begrip "evaluatie" wekt wel eens de indruk van "soft", "vaag" en
" moeilijk". Dat valt in de praktijk, ook bij het evalueren van een alco-holproject, nogal mee. Als bekend is hoe vaak de politie heeft gecontro-leerd, of de persberichten zijn verstuurd, en of het percentage rijders-onder-invloed bij controles afneemt zijn we al zo'n beetje klaar!
De evaluatiefasen van ons alcoholproject zien er uit als volgt:
Procesevaluatie
Procesevaluatie onderzoekt hoe het alcoholproject is opgezet en verlo-pen.
1 Was de opzet van de actie juist? Als de opzet van het project zorg-vuldig is gebeurd kan deze evaluatiefase in het algemeen achterwe-ge blijven. Blijkt verderop in de evaluatie dat er in de alcoholcampag-ne iets misgaat dan kan de opzet altijd nog onder de loep worden genomen.
2 Was de uitvoering conform de opzet, c.q. volgens afspraak? Geke-ken wordt of de folders en posters tijdig zijn aangeleverd en uitgezet en of de persberichten zijn verzonden, en vooral of de afgesproken politiecontroles inderdaad volgens schema en op de juiste manier (bijvoorbeeld aselect) zijn uitgevoerd. Bij een alcoholcampagne zijn vooral die controles belangrijk: gaat het daar mis dan ziet het er voor het gehele project somber uit. Belangrijk is het in deze fase betrekken van de uitvoerders van de activiteiten.
In het handhavingsplan zal tamelijk gedetailleerd staan wanneer en hoe lang er door hoeveel mensen (minimaal) en op welke wijze zal worden gecontroleerd. Behalve het aantal gecontroleerde voertui-gen moet worden vastgelegd hoeveel er voor een ademanalyse naar het bureau zijn gebracht, en hoeveel er daarvan uiteindelijk bekeurd zijn.
Al deze informatie is van essentieel belang voor de campagne en kost relatief weinig inspanning. Beslist altijd doen dus!
Belangrijk bij deze evaiuatiefase is dat ook wordt gekeken of inder-daad geïntegreerd is gewerkt. Zijn er inderinder-daad berichten naar de krant gestuurd over de alcoholcontroles? Vonden de in de krant aan-gekondigde controles inderdaad plaats?
3 Doordringen tot de doelgroep: hoeveel procent van de doelgroep heeft iets van de (volgens plan uitgevoerde) actie gemerkt? Deze evaluatiefase vergt een behoorlijke investering in tijd en geld. De
be-7 Evaluatie
pak in het betreffende gebied nog niet vaker is toegepast en hij zijn nut nog niet een keer of twee a drie bewezen heeft. Dat zal bij een alcoholproject meestal niet meer het geval zijn; meestal kan deze evaluatiefase bij een alcoholcampagne dus achterwege blijven.
Wel van belang is hoeveel intermediairs aan de actie deelnemen.
Hoeveel procent van de benaderde discotheken, sportclubs etc. doet mee aan de voorlichtingsacties?
4 Aangenomen dat de doelgroep iets van de alcoholcampagne heeft gemerkt: wat vindt die doelgroep van het nut van het project, van de duidelijkheid, presentatie en doordringendheid van de voorlichting, etc? Voor deze vraag geldt hetzelfde als voor de vorige evaluatiefa-se.
Als we iets moeten meten is het wel of de doelgroep inderdaad minder vaak gaan rijden als ze gedronken heeft. Om te beoordelen of we de doelstelling van de campagne hebben gehaald moet die doelstelling al wel aan het begin van het project zijn geformuleerd: bijvoorbeeld een bepaalde verlaging van het percentage mensen dat onder invloed rijdt
Produktevaluatie
Produktevaluatie beantwoordt de vraag: in hoeverre is tot stand geko-men wat ik tot stand had willen brengen? Ook dat valt in vier fasen te verdelen, terwille van de overzichtelijkheid doorgenummerd:
5 Verandering in kennis en houding van de doelgroep: heeft de doel-groep niet alleen iets gemerkt maar ook iets opgestoken van de voorlichting? Is zij zich nu bewust van de gevaren van rijden onder invloed, en van de politiecontroles? Bij een reeds beproefde aanpak kan ook deze fase achterwege blijven.
Worden de fasen 3 t/m 5 wel onderzocht dan moeten terwille van de efficiëntie het bereiken van de doelgroep, de mening van de doel-groep, en de kennis/attitudenverandering van de doelgroep wel in één vragenlijst worden onderzocht: Die lijst wordt dan wel zo lang dat die niet op lokatie mondeling kan worden afgenomen.
6 Verandering gedrag van de doelgroep: is de doelgroep als gevolg van de vorige stappen inderdaad minder vaak gaan rijden als ze gedron-ken heeft? Als iets gemeten moet worden is het dit wel. Om die in-formatie te verkrijgen zijn weer blaastests noodzakelijk. Die kunnen worden afgenomen door onderzoekers, maar het tot stilstand bren-gen van de "blazers" moet wel door de politie gebeuren. Eenvoudi-ger is het daarom, om de resultaten van de gewone controles als evaluatiemateriaal te nemen. Ontwikkelingen in percentages rijders-onder-invloed blijken uit de resultaten van controles die ongeveer op dezelfde plaats en op hetzelfde tijdstip zijn uitgevoerd.
Natuurlijk moet er een nulmeting zijn als vergelijkingsmateriaal: het percentage overtreders vóór het project begon, juister gezegd: vóór bekend werd dat er een project zou komen.
Om te beoordelen of de doelstelling van de campagne is gehaald moet die doelstelling al wel aan het begin van het project zijn gefor-muleerd: bijvoorbeeld het verlagen van het percentage mensen dat onder invloed rijdt van 6 naar 4 % .
7 Gevolgen van het veranderd gedrag voor de doelgroep. Doelstelling van ons project is het voorkómen van slachtoffers, als gevolg van de nagestreefde verlaging van het aantal mensen die onder invloed rij-den. De wenselijkheid van deze evaluatiefase is duidelijk.
De maatstaf is het aantal en percentage ongevallen als gevolg van rijden onder invloed. Dat vereist wel dat van de nulmeting af aan bij
elk ongeval wordt nagegaan of er alcohol in het spel was! In hoofd-stuk 2 Probleembeschrijving kwam naar voren dat het daar nog wel eens aan mankeert.
8 Consequenties voor de maatschappij: wat levert de verbetering van de verkeersveiligheid de maatschappij op? Het is nog niet erg gebrui-kelijk om de ellende van verkeersongevallen in financiële waarden uit te drukken, laat staan om dat te doen met het "rendement" van ver-keersveiligheidsmaatregelen zoals een alcoholproject. Natuurlijk gaat het dan om zeer ruwe indicaties maar het is een erg dankbare exerci-tie. Uit diverse onderzoeken komen ruwe indicaties voor de gemid-delde maatschappelijke kosten van een ongeval met materiële scha-de (fl 4.000,-), voor een gewonscha-de (fl 40.000,-) en voor een doscha-de (al-les bij elkaar, dus bijvoorbeeld inclusief de kosten van zijn educatie en zijn gederfde arbeidsproduktiviteit fl 1.000.000,-). Gebeuren er in de regio minder ongevallen dan voorheen en vallen er minder doden en gewonden, spaar je dus doden en gewonden uit, dan kan dat dus miljoenen "winst" opleveren! Dat is een goed argument om het pro-ject te continueren en andere op te starten.
Op overeenkomstige wijze kunnen ook bedrijven en overheidsdien-sten worden ge-enthousiasmeerd om het rijden onder invloed van hun personeel tegen te gaan.
In elk geval moet bij de evaluatie van een alcoholcampagne dus worden meegenomen:
- Uitvoering van controles en voorlichting conform de afspraak?
- Veranderingen in percentage rijders onder invloed, en - Veranderingen in slachtofferaantallen.