De maatregelen om de betrouwbaarheid te verhogen hebben geleid tot bij-stelling van de informatie die in eerste instantie was aangeleverd. In samen-spraak met de contactpersonen in de inrichtingen is uitgezocht wat de oor-zaak is van inconsistenties. Na het ophelderen van de verschillen kon in alle gevallen de informatie worden bijgesteld. De informatie die ontleend is aan de planning- en controlcyclus kent beperkingen, ondanks de maatregelen die zijn genomen om de betrouwbaarheid te verhogen. De betrouwbaarheid wis-selt per inrichting en per indicator. In een bijeenkomst met de businesscon-trollers van het Nederlandse gevangeniswezen is gevraagd naar de oorzaken van de tekortkomingen in het cijfermateriaal. Een van de grootste veroorza-kers van registratiefouten is, zo werd aangegeven, onverschilligheid van die-genen die zouden moeten registreren.60 Er bestaat aanzienlijke onwil om te registreren, omdat men de meerwaarde voor de uitvoeringspraktijk niet inziet. Sommige registratiesystemen61 zijn niet voldoende werkbaar en
60 Het kan per indicator verschillen welke functionaris binnen de inrichting wordt geacht de registratie te voeren.
61 In de P&C-cyclus komen meerdere registratiesystemen bijeen. Oorspronkelijk kunnen alle registraties worden
ingevoerd in een overkoepelend systeem. In de praktijk blijkt dat niet het geval en houdt men op andere wij-zen registraties bij, bijvoorbeeld in Word- en Excel-documenten.
gebruiksvriendelijk, waardoor de weerzin om gegevens in te voeren wordt vergroot. Ook wordt tijdgebrek als oorzaak van verminderde betrouwbaar-heid genoemd en schiet de sturing en controle op de registratie tekort. Een nadeel van officiële registraties in het gevangeniswezen is gelijk aan de problemen die ook spelen bij politiedata en andere criminaliteitscijfers. De data kennen een dark number en ook kunnen vraagtekens worden gesteld bij de registratie-integriteit. Een dark number vertegenwoordigt incidenten en omstandigheden die in werkelijkheid bestaan of hebben plaatsgevonden, maar niet in metingen zijn gevat of te vatten zijn. Registratie-integriteit ver-wijst naar fouten in het cijfermateriaal, veroorzaakt doordat er verschillen bestaan in de bereidheid en accuratesse van personen die zaken dienen te registreren volgens een vaste definitie en procedure.
Om een beeld te verschaffen van de betrouwbaarheid van de verzamelde data is aan de businesscontrollers gevraagd62 voor elke penitentiaire inrich-ting, en bij elke aangeleverde registratie, een waardering van de betrouw-baarheid te geven. Zij droegen zorg voor de verzameling van de gegevens en stonden in direct contact met de functionarissen die de data moeten aanleve-ren. Doordat zij de betrouwbaarheid van de informatie beoordeelden, is enigszins inzichtelijk wat de kwaliteit is van de data en welke voorzichtigheid er dient te worden betracht bij het interpreteren van analyses op het cijfer-materiaal. De businesscontrollers konden voor het beoordelen van de betrouwbaarheid per registratie een waardering tussen de 1 (betrouwbaar) en 4 (onbetrouwbaar) geven. In tabel 1 is een overzicht te vinden van de sco-res per geregistreerde indicator.
Wanneer met deze cijfers de prestaties in beeld worden gebracht, moet grote voorzichtigheid worden betracht met de waarde die wordt gehecht aan regis-traties waaraan de leveranciers (in casu de businesscontrollers) twijfels heb-ben (betrouwbaarheidswaardering 3 of 4). Bij drie metingen (doorgeleiding naar hulpverlening, doorgeleiding naar baan/opleiding en verloop perso-neel) was dit het geval, en deze zijn uitgesloten van analyse. De overige regis-traties worden tenminste enigszins betrouwbaar ingeschat, en voor het grootste deel betrouwbaar of zelfs zeer betrouwbaar. Wanneer dergelijke registraties als performance-indicatoren moeten dienen, is het van groot belang dat de inrichtingen tenminste betrouwbare registraties aanleveren.
62 In een voorbereidende bijeenkomst met de businesscontrollers van het gevangeniswezen is in kaart gebracht
welke indicatoren konden worden aangeleverd. De betrouwbaarheid nog buiten beschouwing gelaten vielen daarbij al enkele indicatoren af omdat er vooraf reeds gesteld werd dat deze niet of nauwelijks geregistreerd worden. Het gaat om: aantal gedetineerden dat bij vrijlating over een dagbesteding beschikt, aantal gegeven vakopleidingen en aantal gegeven sociale reactiverings- en motivatietrainingen.
Tabel 1 Betrouwbaarheidsscores van de inrichtingen behorende bij de P&C-metingen
P&C-metingen* Zeer
betrouw-baar Betrouwbaar Enigszins betrouwbaar Onbetrouw-baar Onbekend Ontvluchtingen 34 9 1 0 0 Instromers PP 22 15 17 0 0 Verlof gedetineerden 19 16 8 0 1
Geweld tussen gedetineerden 8 19 16 1 0
Afzonderingen 5 20 18 1 0
Disciplinaire straffen 5 20 18 1 0
Geweld tegen personeel 6 21 16 1 0
Doorgeleiding gedetineerden naar hulpverlening* 4 13 9 12 6 Doorgeleiding gedetineerden naar baan/opleiding* 4 16 1 9 14 Urinecontroles 12 15 13 0 4 Verzuim personeel 11 25 7 0 1
Snel verloop personeel* 0 17 18 3 6
Afwijking normbudget 25 17 0 0 2
Verlofoverschot personeel 13 24 4 1 2
Gegronde klachten gedetineer-den
11 17 15 0 1
* Indicatoren waarvan landelijk geen betrouwbaar beeld is te genereren (N=44 PI’s)
3.4 Beschikbare metingen voor performancevergelijking
In deze paragraaf volgt de opsomming van taken uit paragraaf 3.3. In tabel 2 is bij elk performancegebied (geselecteerd in paragraaf 3.1 en terug te vinden in de linkerkolom) inzichtelijk gemaakt of, en zo ja, welke metingen een beeld van performance verschaffen. De indicatoren komen voort uit metin-gen die in 2007 landelijk beschikbaar waren in de planning- en controlcyclus (P&C), de personeelsenquête (BASAM-DJI (B)) en de gedetineerdensurvey (G). Wanneer er een plusteken voor de meting staat, wordt de variabele als betrouwbaar en bruikbaar beschouwd, een meting die met een asterisk is gemarkeerd, voorafgegaan door een minteken, duidt op een onbetrouwbare en onbruikbare meting.
Tabel 2 Overzicht van de beschikbare metingen voor performancemeting
Performancethema Taken Beschikbare (+) en onbruikbare (-) metingen
Veiligheid Ontvluchtingen + Ontvluchtingen (P&C)
Gevallen van aangetroffen contrabande afkomstig van buiten de inrichting
Gevallen van ontoelaatbare communicatie betreffende crimi-nele activiteiten
Veiligheidsincidenten tussen gedetineerden + Geweldsincidenten tussen gedetineerden (P&C)
+ Veiligheid (G)
Veiligheidsincidenten tussen personeelsleden + Ongewenste seksuele aandacht, intimidatie en lichamelijk geweld tussen personeel (B) + Conflict op de afdeling (B) Veiligheidsincidenten tussen gedetineerden (zijnde daders) en
personeel
+ Geweldsincidenten richting personeel (P&C) + Veiligheid (B)
+ Agressie (B) Veiligheidsincidenten tussen personeel (zijnde daders) en
gedetineerden
+ Discriminatie van gedetineerden door PIW’ers (G)
Gevallen van ongeoorloofde bewegingen van gedetineerden binnen de inrichting
Gevallen van ontoelaatbare communicatie tussen gedetineer-den
Gevallen van contrabande binnen de inrichting + Urinecontroles (P&C) + Aanwezigheid drugs (G) Kosten ten aanzien van veiligheid
Personeelsverzuimpercentage + Arbeidsverzuim (P&C)
Het percentage verminderd functionerende personeelsleden
Signalen voorafgaand aan verzuim - Aantal personeelsleden dat de dienst heeft
ver-laten (P&C) * Menswaardigheid De realisatie van minimaal 18 uur ontsluiten van gedetineerden
per week ten behoeve van activiteiten en bezoek
+ Activiteiten van het dagprogramma (G) De deelname aan arbeid (mits beschikbaar) + Activiteiten van het dagprogramma (G) De beschikbaarheid en toegankelijkheid van radio, televisie en
kranten (voor eigen rekening)
+ Dagbesteding (G) De beschikbaarheid, toegankelijkheid en kwaliteit van de
bibli-otheek (minimaal eens per week)
+ Activiteiten van het dagprogramma (G) De beschikbaarheid, toegankelijkheid en kwaliteit van
sport-voorzieningen (ten minste tweemaal drie kwartier per week)
+ Activiteiten van het dagprogramma (G) De beschikbaarheid, toegankelijkheid en kwaliteit van
onder-wijs en educatieve activiteiten
+ Activiteiten van het dagprogramma (G) De beschikbaarheid, toegankelijkheid en kwaliteit van
lucht-mogelijkheden (min. 1 uur per dag)
+ Activiteiten van het dagprogramma (G) De beschikbaarheid, toegankelijkheid en kwaliteit van recreatie
(min. 6 uur per week)
+ Activiteiten van het dagprogramma (G) De beschikbaarheid van medische en sociale zorg en
voorge-schreven medicijnen
+ Gezondheidszorg (G) Het aantal ziektedagen van gedetineerden
Het aantal suïcides en suïcidepogingen onder gedetineerden De beschikbaarheid van geestelijke verzorging voor de uitoefe-ning van religie of levensbeschouwing
+ Tevredenheid over de geestelijke verzorging (G)
De beschikbaarheid van kleding en schoeisel
* Met een asterisk gemarkeerde metingen zijn nauwelijks geregistreerd of zeer onbetrouwbaar en aldus onbruikbaar. Achter elke meting staat tussen haakjes de bron vermeld, te weten (B) voor BASAM-DJI, (G) voor de gedetineerdensurvey en (P&C) voor cij-fers ontleend aan de planning- en controlcyclus.
Tabel 2 (vervolg)
Performancethema Taken Beschikbare (+) en onbruikbare (-) metingen
Voldoende en kwalitatief behoorlijk voedsel + Oordeel over eten (G) De beschikbaarheid, toegankelijkheid en kwaliteit van de
facili-teiten voor lichamelijke hygiëne
+ Hygiëne (G)
De mogelijkheden om de eigen rechtsgang bij te wonen + Contact met de buitenwereld (G) De mogelijkheden om bezoek te ontvangen (minstens 1 uur
per week)
+ Contact met de buitenwereld (G) De mogelijkheden om te telefoneren (minstens 10 minuten per
week)
+ Contact met de buitenwereld (G) De mogelijkheden om onbeperkt post te verzenden en te
ont-vangen
+ Contact met de buitenwereld (G) De mate van rechtvaardige bejegening door personeel + Structuur bieden aan ingeslotenen (B) De bekendheid bij gedetineerden van hun rechten en plichten + Rechten en regels (G)
De mate van hulpvaardige bejegening door personeel + Omgang met ingeslotenen (B)
Gegrond verklaarde beklagzaken + Aantal klachten (P&C)
+ Aantal gegronde klachten (P&C) Kosten ten aanzien van menswaardigheid
Resocialisatie Het percentage gedetineerden dat zonder identiteitsbewijs bin-nenkwam, maar met identiteitsbewijs de inrichting verliet Het percentage gedetineerden dat zonder woonruimte binnen-kwam, maar met woonruimte de inrichting verliet
Het percentage gedetineerden dat zonder werk of uitkering binnenkwam, maar met werk of uitkering de inrichting verliet
- Aantal vrijgekomen gedetineerden dat een baan of opleiding heeft (P&C)*
Het percentage gedetineerden dat zonder zorgvoorzieningen binnenkwam, maar met zorgvoorzieningen de inrichting verliet
- Aantal vrijgekomen gedetineerden dat in con-tact is gebracht met hulporganisaties (P&C)* Het percentage gedetineerden dat zonder dagbesteding
bin-nenkwam, maar met dagbesteding de inrichting verliet Het percentage gedetineerden dat met schulden binnenkwam en met een schuldensaneringsprogramma de inrichting verliet Het percentage gedetineerden dat tijdens zijn verblijf heeft deelgenomen aan arbeid en geld gespaard heeft Het percentage gedetineerden dat het identiteitsbewijs, de woonruimte, het werk of de uitkering, de dagbesteding en het ‘schuldenvrij zijn’ behouden heeft tijdens de duur van de detentie
De deelname aan en de waardering voor arbeid in de inrich-ting ter voorbereiding op werk na detentie
+ Maatschappelijke re-integratie (G) De deelname aan en de waardering voor opleidingen en
edu-catieve activiteiten
+ Deelname aan Penitentiair Programma (P&C) + Aantal malen verlof verleend (P&C) Het percentage van de gedetineerden met een strafduur van
minimaal 4 maanden dat deelgenomen heeft aan gedragsinter-venties en trainingsprogramma’s gericht op criminogene facto-ren, geaccrediteerd door de Erkenningscommissie Gedrags-interventie Justitie
De mate waarin het contact tussen gedetineerden en perso-neel verloopt via maatschappelijk geaccepteerde normen en waarden
+ Omgang met ingeslotenen (B) + Omgang met PIW’ers (G) De mate van actieve betrokkenheid van gedetineerden bij de
resocialisatieactiviteiten
+ Autonomie (G) De mate waarin gedetineerden bij de resocialisatieactiviteiten
zelf verantwoordelijkheid hebben genomen
+ Autonomie (G) Kosten ten aanzien van resocialisatie
* Met een asterisk gemarkeerde metingen zijn nauwelijks geregistreerd of zeer onbetrouwbaar en aldus onbruikbaar. Achter elke meting staat tussen haakjes de bron vermeld, te weten (B) voor BASAM-DJI, (G) voor de gedetineerdensurvey en (P&C) voor cij-fers ontleend aan de planning- en controlcyclus.
Uit de tabel blijkt dat er ten aanzien van enkele taken geen metingen voor-handen zijn. Voorts zijn er enkele metingen niet betrouwbaar of nauwelijks geregistreerd. Slechts op een enkel taakgebied zijn meerdere metingen beschikbaar. Het gebruik van meerdere meetmethoden (multimethod) om performance in beeld te brengen is wenselijk om de performance van het penitentiair proces op een bepaalde taak niet eenzijdig te belichten. Hoe meer informatiebronnen betreffende een taakgebied, des te betrouwbaarder het beeld dat ontstaat (Camp, 1999; Daggett & Camp, 2010). Er kan worden gesteld dat er hiaten bestaan in de beschikbaarheid van metingen die de belangrijkste doelstellingen van het penitentiair proces in beeld brengen. Het performancethema veiligheid kent, zo blijkt uit tabel 2, de meeste metin-gen op meerdere taken en is gebaseerd op de meest diverse bronnen. In de navolgende hoofdstukken wordt dit thema dan ook verder geanalyseerd op mogelijkheden voor performancemeting en benchmarking.
In paragraaf 2.3 van dit rapport werd uiteengezet dat het meten van perfor-mance bestaat uit drie hoofdactiviteiten:
– het opstellen van een meetplan; – de verzameling van informatie; – het analyseren van de gegevens.
De eerste twee activiteiten zijn behandeld in hoofdstuk 3. De derde activiteit van het meten van performance is de analyse van de geschikt bevonden data. Hierbij staat het probleem van vergelijkbaarheid van penitentiaire inrichtin-gen centraal. Sommige performance-indicatoren zijn gerelateerd aan omstandigheden die voor een organisatie een gegeven zijn. Deze omstandig-heden, ook wel restrictieve factoren genoemd, zijn niet het resultaat van de activiteiten en prestaties van het management van inrichtingen en hun per-soneel, maar vormen de omstandigheden waarbinnen en waarmee gewerkt moet worden (Nyhan & Martin, 1999; Gaes et al., 2004). Ze bepalen echter wel mede de scores op de prestatie-indicatoren. Er moet dus een onderscheid worden gemaakt tussen factoren die wel en factoren die niet kunnen worden beïnvloed door een inrichtingsmanagement. Ellemers (1987) wees er om die reden op dat factoren die een bepaald prestatieniveau kunnen verklaren, lang niet altijd de variabelen zijn die voor een organisatie ‘veranderbaar’, ‘stuurbaar’ of, zoals Ellemers het noemde, ‘manipuleerbaar’ zijn.63 In hoofdstuk 2 is beargumenteerd dat voor een vergelijking van de perfor-mance tussen inrichtingen rekenschap moet worden gegeven van deze facto-ren, opdat zinvolle vergelijkingen te maken zijn. Zoals gesteld in hoofdstuk 3 wordt de analyse beperkt tot het performancethema veiligheid.
Wanneer voor restrictieve factoren moet worden gecontroleerd, dienen zich vier vragen aan:
– Welke factoren zijn van invloed op prestatie-indicatoren betreffende vei-ligheid, en in welke mate zijn deze beïnvloedbaar door het management en het personeel van een penitentiaire inrichting?
– Welke data zijn er beschikbaar ten aanzien van deze factoren en hangen ze samen met de prestatie-indicatoren?
– Hoe moet er met deze factoren rekening worden gehouden bij de vergelij-king van de performance?
– Op welke manier kan de performance van inrichtingen (uiteindelijk) wor-den vergeleken?
63 Ellemers (1987, p. 230): ‘Heel cru gesteld is het dilemma: wil men onderzoek dat veel verklaart maar nagenoeg
geen aangrijpingspunten biedt tot verandering en beleid, of wil men onderzoek dat enige aanwijzingen geeft over eventuele mogelijkheden om iets te veranderen maar dat misschien maar betrekkelijk weinig kan verkla-ren.’
De vragen bepalen de indeling van hoofdstuk 4, 5 en 6. Om te analyseren welke factoren restrictief zijn, is de criminologische en penologische litera-tuur geraadpleegd ten behoeve van een overzicht van relevante factoren betreffende de veiligheid in het penitentiair primair proces (paragraaf 4.1). Het overzicht is vervolgens door de experts beoordeeld op (a) de relevantie van de factoren voor de veiligheid in een penitentiaire inrichting en (b) de mate van beïnvloedbaarheid (paragraaf 4.2). Daaropvolgend zijn de veron-derstelde verbanden tussen de prestatie-indicatoren en de restrictieve en beïnvloedbare factoren empirisch tegelijk (multivariaat) getoetst (hoofdstuk 5). De vragen 3 en 4 worden behandeld in hoofdstuk 6.
4.1 Literatuurraadpleging: factoren relevant voor de veiligheid in een penitentiaire inrichting
In deze paragraaf wordt de literatuur besproken ten aanzien van factoren die verondersteld worden samen te hangen met de veiligheid in penitentiaire inrichtingen. De factoren die van invloed zijn op de veiligheid kennen ver-schillende achtergronden. Ten eerste worden individuele factoren beschre-ven die gerelateerd zijn aan de individuele karakteristieken van de gedeti-neerden en het personeel. Vervolgens worden situationele factoren beschre-ven die voortvloeien uit verschillende (beleids)theorieën die trachten de vei-ligheid en deviant gedrag in penitentiaire inrichtingen te verklaren. Wanneer voorspellers ook empirisch steun hebben gevonden, zal dit worden vermeld. De empirische onderzoekingen waarnaar wordt verwezen, zijn bijna uitslui-tend correlationeel en toetsen dus geen (richting van) verbanden. De statisti-sche samenhang (dus geen causale relatie) wordt hier echter ook van waarde geacht.