Deze paragraaf is gewijd aan het toetsen van de effectiviteit van doorloop-tijdverkortende maatregelen. Eerst wordt een algemeen kader voor die toetsing geschetst, waarbij aandacht wordt geschonken aan causaliteit, neveneffecten en verstorende invloeden. Vervolgens wordt er ingegaan op de niveaus van analyse: het gebruik van gegevens op zaaksniveau en gege-vens op rechtbankniveau. In het laatste deel van de paragraaf komen de statistische aspecten van de toetsing aan de orde.
5.3.1 Vier vragen over effectiviteit
We onderzoeken de effectiviteit van maatregelen of interventies: wat werkt, wat niet? We dienen conceptueel een duidelijk onderscheid te maken tussen vragen met betrekking tot de effectiviteit van rechtspraak en vragen over de effectiviteit van doorlooptijdverkortende maatregelen. Het is dat laatste punt dat in deze studie, en ook in deze paragraaf, centraal staat.
Wanneer kun je zeggen dat een maatregel die beoogt doorlooptijden te verkorten effectief is? Het eenvoudige antwoord op die vraag luidt ‘als de maatregel de doorlooptijd doet dalen’. Wanneer we de effectiviteitsvraag meer nauwkeurig in beschouwing nemen, kunnen vier subvragen worden onderscheiden.
– Effectiviteit 1: Wordt het doel bereikt? Komt dat werkelijk door de maat-regel?
– Effectiviteit 2: Wegen de negatieve bijwerkingen van de maatregel op tegen positieve – bedoelde en onbedoelde – effecten?
– Effectiviteit 3: Wegen de kosten van de maatregel (implementatie, ver-anderingskosten) op tegen opbrengsten?
– Effectiviteit 4: Ten aanzien van punt 1/m 3: ‘scoort’ de maatregel beter dan andere denkbare maatregelen?
Ad 1: Naarmate het doel van een maatregel eenduidiger is en het aantal verstorende invloeden minder, kan vraag 1 gemakkelijker worden beant-woord. In deze studie wordt over een termijn van zeven jaar gekeken, waarin vele ontwikkelingen in de rechtspleging plaatsvonden. De vraag of de gemeten veranderingen in de doorlooptijd (volledig) op het conto van de doorlooptijdverkortende maatregelen kunnen worden geschreven, behoeft dus serieuze aandacht.
Ad 2: Het scala van mogelijk negatieve bijwerkingen is groot. Het is niet mogelijk alle denkbare effecten tot onderwerp van onderzoek te maken. In het onderzoek wordt specifiek gelet op ‘bijwerkingen’ op het terrein van kwaliteit en efficiency (binnen de rechtspraak).
Ad 3: Als heel veel inspanning nodig is voor een heel klein beetje resultaat, kan er beter van zo’n maatregel worden afgezien. Dat een maatregel effec-tief is in de zin van 1 en 2, betekent dus nog niet dat het invoeren ervan verstandig is.
Ad 4: Een maatregel die op alle fronten positief scoort, is nog niet noodza-kelijkerwijs de beste maatregel om te nemen. De maatregel moet ook beter werken dan andere (denkbare) maatregelen.
De nadruk in het onderzoek zal liggen op het eerste type effectiviteit. Het toetsen op neveneffecten (het tweede type effectiviteit) behoeft een kader. Er wordt een ‘klassiek’ referentiekader gebruikt, waarin naast door-looptijd gelet wordt op kwaliteits- en efficiencyeffecten. Dit wordt nader toegelicht in paragraaf 5.4. Hierbij geldt het uitgangspunt dat het te onder-zoeken systeem zich niet tot de grenzen van de gerechtelijke organisatie beperkt; en de prestatie van het systeem dient te worden gezien in het licht van de (maatschappelijke) functie die het systeem vervult. Ten aanzien van ‘effectiviteit 3’ zijn de ambities beperkt. Er wordt niet naar gestreefd om veranderingskosten te kwantificeren, noch de verhou-ding tussen kosten en opbrengsten te kwantificeren. De relatie tussen inspanning en resultaat is wel onderwerp in de interviews.
Uitspraken met betrekking tot ‘effectiviteit 4’ worden niet gedaan. Wel wordt er in het slothoofdstuk ingegaan op mogelijke ‘alternatieve wegen’ om de duur van procedures te verkorten.
5.3.2 Het niveau van analyse
In het onderzoek vinden analyses plaats op het niveau van zaken (het vergelijken van de doorlooptijd in verschillende zaken) en op het niveau van rechtbanken (het vergelijken van de doorlooptijd bij verschillende rechtbanken). Variabelen op zaaksniveau worden in eerste instantie op zaaksniveau geanalyseerd waarbij er, dankzij de ruime steekproef, zeer nauwkeurig kan worden getoetst. Er zijn echter ook variabelen waarover we slechts op rechtbankniveau informatie hebben (bijvoorbeeld de groot-te van rechtbank, beleid inzake instructie en substantiëring). De moge-lijkheid tot het (statistisch) toetsen van verschillen op rechtbankniveau zijn begrensd, doordat het aantal ‘gevallen’ (rechtbanken, N=19) klein is. Praktisch gezien betekent het dat slechts enkele variabelen tegelijk kun-nen worden getoetst. Men kan zich daarbij op het standpunt stellen dat de complete populatie (de 19 rechtbanken) wordt onderzocht en daarom ieder waargenomen verschil een ‘echt’ verschil is.81 Het feit dat het onder-liggend materiaal goeddeels uit steekproeven afkomstig is, levert echter een sterk argument om toch significantietoetsen uit te voeren.
De beperkte mogelijkheden tot het toetsen op het niveau van rechtbanken kunnen deels worden ondervangen door gebruik te maken van ‘rijkdom’ die de gegevens op zaaksniveau bieden. Waar mogelijk worden hypothe-ses getoetst door het zaaksverloop bij groepen rechtbanken te vergelijken; bijvoorbeeld bij rechtbanken waar wel of niet gecontroleerd wordt op het voldoen aan de substantiëringsplicht.
Vergelijkende toetsen – waarbij wordt onderzocht welke van de eerder als van invloed zijnde factoren de meeste impact hebben gehad op het verkor-ten van doorlooptijden – kunnen slechts geschieden op rechtbankniveau. In dit geval is de effectvariabele ‘de mate waarin doorlooptijdverkorting is opgetreden’ op rechtbankniveau. Bij deze toets worden gegevens op zaaksniveau naar rechtbankniveau geaggregeerd.
5.3.3 Statistische methoden
Het vergelijken van (groepen) zaken via de gemiddelde logaritme
Een belangrijke methodologische kwestie bij onderzoek naar doorlooptijd is hoe met de scheef verdeelde variabele doorlooptijd wordt omgegaan. Het leeuwendeel van statistische theorievorming is gebaseerd op vari-abelen met een (min of meer) ‘normale’ verdeling (de ‘bell-curve’). De meeste gangbare methoden inzake toetsing, betrouwbaarheidintervallen, et cetera, zijn niet geldig wanneer een verdeling sterk van een ‘normale’ verdeling afwijkt, zoals hier het geval is.
81 Het toetsen van de statistische significantie van verschillen is slechts geboden wanneer sprake is van steekproeven.
De oplossing is de toetsing op zaaksniveau niet uit te voeren op de door-looptijd zelf, maar op de natuurlijke logaritme van de doordoor-looptijd. De logaritme is, anders dan de doorlooptijd zelf, wel (redelijk) normaal verdeeld. Daarbij geldt de premisse dat indien er een significant verschil bestaat in de doorlooptijd van twee groepen zaken, er ook sprake is van een significant verschil in de logaritme van de doorlooptijd (en vice versa). Met een toets van de gemiddelde waarde van de natuurlijke logaritme kan worden vastgesteld of er significante verschillen bestaan tussen groepen zaken. Figuur 24 toont de verdeling van feitelijke doorlooptijden en figuur 25 de verdeling van de logaritme (voor afdoeningen uit 2003). Voor zaken met een doorlooptijd van nul dagen kan geen logaritme worden berekend. Dit is van toepassing op zaken die vóór de eerste rolzitting worden inge-trokken. Bij significantietoetsen op zaaksniveau blijven deze zaken dus buiten beschouwing.
Figuur 24 Verdeling van de doorlooptijd in contradictoire zaken (afgedaan in 2003) 8.000 6.000 4.000 2.000 0 1.400 1.200 1.000 800 600 400 200 0
Figuur 25 Verdeling van de logaritme van de doorlooptijd in contra-dictoire zaken (afgedaan in 2003)
8,00 6,00 4,00 2,00 400 300 200 100 0
Het vergelijken van (groepen) rechtbanken op basis van de mediaan Bij het toetsen van verschillen op rechtbankniveau wordt in de meeste onderzoeken gebruik gemaakt van geaggregeerde gegevens, zoals een mediaan of een gemiddelde. Over het algemeen – en ook in deze studie – wordt de voorkeur gegeven aan de mediaan die, bij de scheef verdeelde doorlooptijden, de beste indicatie geeft van hoe lang een ‘doorsnee’-zaak er bij de verschillende rechtbanken over doet.
Omdat de verdeling van mediane doorlooptijd van rechtbanken redelijk ‘normaal’ is, kan bij het toetsen van verschillen op rechtbankniveau van de gangbare statistische methoden gebruik worden gemaakt.
Goerdt (1987) toetst zowel effecten op de mediaan als op het 90ste percen-tiel. Ook in dit onderzoek kan het 90ste percentiel in sommige gevallen een interessant ijkpunt vormen; zo kan van de regeling met betrekking tot de parkeerrol een specifiek effect op het percentage zeer langdurige zaken te verwachten. Anderzijds geldt dat juist voor die maat dat het jaren kan duren voor effecten van (herzien) beleid zichtbaar worden.82 Bij de toetsing van doorlooptijdverschillen in deze studie zal het 90ste percentiel daarom niet standaard worden gebruikt.
Het toetsen van verschillen en het bepalen van de invloed van factoren In het onderzoek komen twee typen statistische ‘problemen’ voor: – het toetsen van verschillen in doorlooptijd in groepen zaken
(bijvoor-beeld onder verschillende organisatorische condities, of verschillen tussen voor- en nameting);
– het bepalen van de relatieve invloed van afzonderlijke factoren (uit een aantal mogelijke factoren) op de doorlooptijd.
Voor het eerste type problemen worden vergelijkende toetsen gebruikt die verwant zijn aan de standaardtoetsen voor vergelijking van gemiddelden. Zoals in de vorige paragraaf werd vermeldt, vindt er in dit onderzoek een vergelijking plaats van de (gemiddelde) natuurlijk logaritme uit de door-looptijd (wanneer groepen zaken worden vergeleken) en een vergelijking van medianen (wanneer op rechtbankniveau wordt vergeleken). Voor het tweede type problemen worden regressiemethoden gebruikt. Daarbij kan uit verschillende varianten worden gekozen, afhankelijk van het speci-fieke doel en de aard en de hoeveelheid van beschikbare data.
Gegevenstypen
De belangrijkste typen data zijn continue gegevens (bijvoorbeeld door-looptijd; in dit geval er is sprake van variabelen die tal van waarden kunnen aannemen en de waarde een onderlinge hiërarchie in de waarnemingen bepaalt), categorieën (bijvoorbeeld arrondissement; 19 verschillende waar-den, maar geen onderlinge hiërarchie) en dichotome variabelen (die slechts de waarde nul of één aannemen, al naar gelang er wel of niet aan een bepaalde eigenschap is voldaan). Om verschillende typen data in een model te kunnen gebruiken moet er soms een conversie naar een standaardformat plaatsvinden (bijvoorbeeld van continu naar categoriaal).