Kwaliteit kwantitatieve data

Volledigheid

Vóór de start van de dataverzameling is de pilotdeelnemers gevraagd in hoeveel procent van de gevallen zij een overtreding van een kernbepaling verwachtten. Deze inschattingen liepen uiteen van tien tot honderd procent van de

23. Dit had de volgende reden. De standaard werkwijze was dat het RMT in Friesland een afschrift kreeg van een brief die door het bevoegd gezag wordt gestuurd naar aanleiding van een controle waarbij overtredingen van kernbepalingen zijn geconstateerd. Er gaat vaak veel tijd overheen voordat een bestuur naar aanleiding van een controle de brief daadwerkelijk verstuurt; vaak enkele weken soms zelfs meer als een maand. Wan-neer de brief bij het RMT is ingeschreven wordt deze als zaak uitgezet bij een teamlid van het RMT. Er wordt dan een afspraak gemaakt met de toezichthouder om de hercontrole in gezamenlijkheid uit te voeren. Bij urgente overtredingen kan dit binnen veertien dagen zijn maar meestal wordt de termijn op twee maan-den of meer gesteld. Na verstrijken van de termijn vindt de gezamenlijke hercontrole plaats en wordt proces-verbaal opgemaakt indien kernbepalingovertredingen nog niet zijn verholpen. Op het moment dat het RMT de vragenlijst onder ogen krijg, heeft men nog niet de brief. Wil het RMT voldoende informatie hebben om de zaak daadwerkelijk in behandeling te nemen, dan heeft men de brief nodig. Hoewel het technisch moge-lijk was de tekst van de brief in de melding van het registratiesysteem te plakken, gebeurde dat niet. Het RMT heeft dus altijd op de brief moeten wachten. Er zat dus (te) veel tijd tussen het invoeren van de mel-dingen in het systeem en het uitvoeren van de gezamenlijke hercontrole met de toezichthouder. De meldin-gen waarvoor nog geen vrameldin-genlijsten waren ingevuld waren nog in behandeling op het moment dat de pilot afliep.

teerde overtredingen. Over het geheel genomen verwachtten instanties dat in on-geveer de helft van de controles wel één of meerdere overtredingen van kernbepa-lingen zouden worden geconstateerd. Aan het eind van het project is gebleken dat in drie van de vier pilotgebieden in 40-50% van de controles overtreding van één of meer kernbepalingen geregistreerd is. In het pilotgebied Noord-Limburg ligt dit percentage de helft lager. Een eenduidige verklaring voor deze verschillen kan op grond van de registratie niet worden gegeven. Alhoewel het percentage in Noord-Limburg duidelijk lager ligt dan in de andere pilotgebieden, is het aantal overtre-dingen van kernbepalingen dat feitelijk is gemeld, beduidend hoger dan gebruike-lijk was buiten de pilot. Voor drie van de vier pilotgebieden gebruike-lijkt de conclusie ge-rechtvaardigd dat de meeste geconstateerde overtredingen van kernbepalingen daadwerkelijk geregistreerd zijn. Door DHV/Arena Consulting is veel tijd en energie gestoken in het aansporen van de deelnemers tot het registreren van de meldingen en het invullen van de vragenlijsten.

Uit de interviews is gebleken dat niet alle deelnemers elke overtreding van een kernbepaling daadwerkelijk hebben ingevoerd in het systeem omdat men de over-treding te licht vond of weinig tijd, capaciteit of prioriteit had voor de registratie.

Kwaliteit data

Hierbij gaat het om de vraag of datgene wat wordt gemeten wordt, eenduidig is. Een belangrijk aspect daarbij is of vragen eenduidig worden geïnterpreteerd. Via diverse kanalen (intervisiebijeenkomsten, interviews) is gebleken dat dat niet al-tijd het geval is. Bepaalde vragen en antwoordcategorieën bleken door verschil-lende respondenten verschillend te worden geïnterpreteerd. Daarbij gaat het om onderwerpen als ‘opzet’, ‘recidive’ en ‘malafide’. Deze begrippen zijn in de vra-gen- en antwoordenlijst niet gedefinieerd. In paragraaf 7.5 wordt inhoudelijk in-gegaan op de verschillende interpretaties die hieraan gegeven zijn.

In de vragenlijst is er bewust voor gekozen deze en andere begrippen niet te defi-niëren, omdat deze begrippen in de landelijke strategie (waar ze aan ontleend zijn) ook niet gedefinieerd zijn. Het gaat dus zowel in de landelijke strategie als in de vragenlijst om een subjectieve interpretatie van een aantal begrippen. Dat houdt in dat als een respondent bijvoorbeeld aangeeft dat een overtreding opzettelijk ge-pleegd is, dat niet betekent dat er objectief sprake is van opzet volgens de gelden-de gelden-definities. Het betekent wel dat er in dat geval naar het oorgelden-deel van gelden-de res-pondent sprake is van opzet, hetgeen implicaties heeft voor de wijze van handha-ven.

Uit de interviews is gebleken dat de personen die de online-vragenlijst hebben in-gevuld, niet bij elke pilotdeelnemer degene was die verantwoordelijk was voor de feitelijke handhaving. Hoewel daarbij meestal werd aangegeven dat men ingeval van twijfel navraag deed bij de handhaver, kan dit de betrouwbaarheid van de ge-gevens in negatief opzicht hebben beïnvloed.

Anders dan aanvankelijk de bedoeling was, is met het meldingen- en registratie-systeem niet eerst in een beperkte kring van gebruikers proefgedraaid. In verband met de strakke planning was hiervoor geen tijd beschikbaar. Dit heeft ertoe geleid dat de vragenlijst gedurende de pilotperiode nog enkele (beperkte) wijzigingen heeft ondergaan in formuleringen van enkele vragen en/of antwoorden. Het is niet waarschijnlijk dat dit van invloed is op de kwaliteit van de data.