Arbeidsvoorzieningsmaatregelen; van evaluatie naar ontwikkeling - Downloaden Download PDF

G.L.M. van Egmond*

Arbeidsvo orzieningsmaatregelen;

van evaluatie naar ontwikkeling

1. Evaluatie van overheidsbeleid

Evaluatie van overheidsbeleid, opgevat als evalua­ tie van bestaand beleid ofwel ex-post evaluatie, is nauwelijks ontwikkeld.1 Deze constatering is o.a. te vinden in het in 1980 verschenen rapport Elk

kent de laan, die derwaart gaat van de Nederland­

se Commissie Hoofdstructuur Rijksdienst. Eva­ luatie als vierde schakel in het beleidsproces (na beleidsvoorbereiding, -bepaling en -uitvoering) wordt in dit rapport één van de zwakke punten in de overheidsorganisatie genoemd (Commissie Hoofdstructuur Rijksdienst, 1980).

Dat voldoende inzichten in de uitkomsten van beleidsprogramma’s ontbreken is zowel terug te voeren op politiek-bestuurlijke weerstanden als op methodisch-technische complicaties. Overi­ gens zijn beide soms moeilijk te onderscheiden, vooral daar waar problemen in het tweede vlak als verpakking worden gebruikt voor barrières op het eerste niveau.

Een aantal belangen op politiek-bestuurlijk ni­ veau staat tenminste op gespannen voet met een evaluatie van het gevoerde beleid. Aan beleids­ vorming worden niet alleen normen van ‘maat­ schappelijke effectiviteit’ gesteld, maar evenzeer criteria van politieke en ambtelijke rationaliteit. Beleid is politiek effectief wanneer de kans op (her-)verkiezing toeneemt, en ambtelijk effectief wanneer het takenpakket/budget/personeelsbe­ * Drs. G.LM . van Egmond is als beleidsmedewerker

toegepast (extern) arbeidsonderzoek werkzaam bij het Directoraat-Generaai voor de Arbeidsvoorziening van het Ministerie van Sociale zaken en Werkgelegen­ heid. Het artikel is op persoonlijke titel geschreven.

stand van een dienst groeit (Van Houten en Si- monis, 1984, blz. 296). Politieke desinteresse voor evaluatie wordt versterkt door een gebrek aan belangstelling op ambtelijk niveau, met als re­ sultaat het ontbreken van een evaluatiecultuur (Commissie Hoofdstructuur Rijksdienst, 1980, blz. 222).

Een tweede belemmering in het politiek-bestuur­ lijke vlak ligt in de aard van het beleidsvormings- proces. Beleid is te zien als resultaat van onder- handelingen tussen (politieke, ambtelijke en maatschappelijke) partijen die onderling (ten dele) conflicterende belangen hebben. Beleids­ vorming is m.a.w. niet primair de uitkomst van een analytisch-rationeel proces, maar van sociale interactie (Hupe, 1984; Van Houten enSimonis, 1984, blz. 294-301). Beleidsdoelstellingen komen tot stand door het verwerven van steun en het opbouwen van coalities, en hebben daardoor een compromis-karakter. Gevolg hiervan is dat doel­ stellingen van overheidsprogramma’s in diffuse termen worden geformuleerd: breed en vaag, meerduidig, intern tegenstrijdig enz. (Afdeling Beleidsanalyse, 1984, blz. 33 e.v.; Herweyer, 1981, blz. 350 e.v.: Kraan, 1982, blz. 17 e.v.: Scholten, 1980, blz. 7 e.v.). Het ontbreken van expliciteringen is overigens niet alleen van toepas­ sing op doelstellingen van overheidsbeleid (priori­ teiten en posterioriteiten), maar ook op de rand­ voorwaarden (te vermijden neveneffecten) waar­ onder deze gerealiseerd moeten worden In een dergelijke context zal evaluatie van beleid verme­ den worden, omdat hierdoor het gevonden (machts)evenwicht kan worden verstoord. Deze

verstoring kan niet alleen plaatsvinden vanwege de uitkomsten van de evaluatie, maar ook omdat een discussie over te evalueren items via een om­ weg de onderhandelingen over de doelstellingen weer op gang kan brengen.2

Met het laatste wordt het eerste knelpunt op me­ thodisch-technisch vlak geraakt. De beschreven beleidspraktijk staat namelijk de vervulling van een cruciale voorwaarde voor evaluatie, t.w. specificatie van beleidsdoelstellingen en/of rand­ voorwaarden, in de weg. Als een dergelijke opera- tionalisatie ontbreekt, wat in veel gevallen waar­ schijnlijk is, wordt gerichte evaluatie onuitvoer­ baar (Van Giessen, 1980, blz. 8 e.v.; Maessen en Warffemius, 1982, blz. 7 e.v.).

Voor de meest gangbare vorm van evaluatie, waarbij de vraag wordt gesteld naar de mate waarin het beleid de beoogde effecten bereikt heeft, is explicitering van een doel-middelensche- ma noodzakelijk. Echter ook wanneer aan deze voorwaarde voldaan is, blijft evaluatie van over­ heidsbeleid methodisch-technisch een gecompli­ ceerde aangelegenheid. Evenals bij een oorzaak- gevolgschema is het probleem in een ex-post eva­ luatie om de invloed van één onafhankelijke va­ riabele (de instrumentvariabele) op de afhanke­ lijke variabele (de doelvariabele) te isoleren van andere determinerende factoren (veldvariabelen) (Van Giessen, 1980, blz. 9 e.v.; Warffemius, 1983). De onderzoeksmethode die hiervoor een oplossing zou kunnen bieden, het zgn. klassieke experiment, is in de sociale werkelijkheid om technische redenen en ethische motieven veelal niet toepasbaar (Afd. Beleidsanalyse, 1984, blz. 43 e.v.; Van Vucht en Van Doorn, 1980, blz. 17 e.v.). Evaluatie van de mate waarin het beleid tot bepaalde (ongewenste) neveneffecten leidt, is op identieke wijze problematisch.

De aard van bestaande belemmeringen voor eva­ luatie van overheidsbeleid biedt geen aanleiding voor optimisme over de mogelijkheden om deze op te ruimen. Niettemin zijn er ontwikkelingen gaande waardoor de belangstelling voor ex-post evaluatie toegenomen is en nog aanwezige weer­ standen zullen verminderen (Maessen en Warffe­ mius, 1982, blz. 5; Stappen op de weg, 1983; Hovinga, 1983; Maessen, 1983; Warffemius, 1983). De belangrijkste impuls vormt ongetwij­ feld de toegenomen druk op de overheidsfinan­ ciën: de Heroverwegingsoperatie is het voorbeeld bij uitstek (Kraan, 1982). Maar ook - al of niet afhankelijk hiervan — in het ‘bedrijfsklimaat’ binnen de overheidsorganisatie en in maatschap­ pelijke opvattingen over overheidsinterventies lijken barrières te verdwijnen.

Dat evaluatie ‘moet’, lijkt buiten discussie. Als al­ gemeen uitgangspunt zal dit ook door alle be­ trokken partijen onderschreven worden. Het is als een democratische stelregel te beschouwen dat inzicht wordt geboden in de uitkomsten van aanwendingen van publieke middelen. Echter niet alleen de legitimiteit van het overheidsbeleid is gediend met evaluatie. Door de Commissie Hoofdstructuur Rijksdienst wordt ook gepleit voor een hogere prioriteit voor evaluatie, omdat de doelmatigheid van het beleid ermee wordt be­ vorderd, evenals het leergedrag van de overheids­ organisatie zélf waardoor de kans op aanpassing toeneemt (Commissie Hoofdstructuur Rijks­ dienst, 1980, blz. 220). Om tot verbetering van de situatie te komen, zullen zowel op politiek- bestuurlijk niveau als op methodisch-technisch vlak voorwaarden moeten worden vervuld. Open­ baarmaking van resultaten en uitwisseling van er­ varingen op het terrein van beleidsevaluatie is hierbij een conditio sine qua non.

2. Evaluatie van arbeidsvoorzienmgsmaatregelen; afbakening en omschrijving

Gezien de hoeveelheid titels van publikaties over evaluatie van arbeidsvoorzienmgsmaatregelen lijkt dit beleidsveld in Nederland een gunstige uitzondering te zijn op de hiervoor beschreven praktijk. In het kader van dit artikel zijn alleen de evaluaties van belang die uitgevoerd zijn op initiatief van de beleidsvoerende instantie, het Ministerie van Sociale Zaken en Werkgelegenheid. Ook binnen deze meer beperkte categorie lijkt er evenwel sprake te zijn van een aanzienlijke in­ spanning op het vlak van evaluatie. In de litera­ tuur over beleidsanalyse wordt evaluatie van ar- beidsvoorzieningsmaatregelen genoemd als voor­ beeld van schaarse door de rijksoverheid geënta­ meerde evaluaties (Maessen en Warffemius, 1982, blz. 5 (noot 4); Afd. Beleidsanalyse, 1984, blz. 2; Stappen op de weg, 1983). Daarbij kunnen niet alleen de intern (binnen het Directoraat-Generaal voor de Arbeidsvoorziening) verrichte evaluatie- activiteiten, maar ok de extern (door onderzoeks­ instituten in opdracht van het ministerie) uitge­ voerde onderzoeken worden geteld.

Alvorens een meer gedetailleerde beschrijving en beoordeling te geven van verrichte evaluatie- activiteiten op landelijk niveau, worden in het kort het beleidsveld omschreven en een aantal mogelijke vraagstellingen voor ex-post evaluaties op dit terrein afgebakend.

Als hoofddoelstelling van het arbeidsvoorzie- ningsbeleid geldt het bevorderen van een

doelma-Arbeidsmarkt

tige en rechtvaardige afstemming van vraag en aanbod op de arbeids(deel)markt, zowel in kwan­ titatief als in kwalitatief opzicht (Heroverweging Gericht Arbeidsvoorzieningsbeleid, 1980-1981, blz. 5). Om dit doel te bereiken worden verschil­ lende instrumenten gebruikt, waarvan bemidde­ ling de belangrijkste is. In het geval deze vorm van dienstverlening sec niet tot het gewenste re­ sultaat leidt, kunnen bemiddelingsondersteunen- de instrumenten worden ingezet, waarmee altijd financiële kosten gepaard gaan, hetzij via beschik­ baarstelling van (scholings)faciliteiten, hetzij via toekenning van subsidies. Deze financieel-gebon- den instrumenten worden naar hun specifieke doel onderscheiden in scholingsmaatregelen, plaatsingsbevorderende maatregelen en werkgele- genheidsverruimende maatregelen. Schema 1 be­ vat een totaaloverzicht van arbeidsvoorzienings- instrum enten.

Schema 1. Overzicht van arbeidsvoorzienings- instrumenten N ie t-fin a n c ie e l g e b o n d e n in s tru m e n te n — bemiddeling — beroepenvoor- lichting — beroepskeuze- advisering F in a n cieel g e b o n d e n — scholing in s tru m e n te n — plaatsings-(m aatregelen) bevordering — werkgelegen-heidsverruiming Een deel van de scholingsmaatregelen en alle loonkostensubsidies in de sfeer van plaatsingsbe- vordering en werkgelegenheidsverruiming hebben een tijdelijk karakter. Financiering hiervan vindt aanvullend, buiten de structurele begroting plaats (Sociaal-Economische Raad, 1980, blz. 8; Maar- se, 1984, blz. 104 e.v.). Hieraan ligt de veronder­ stelling ten grondslag dat de problematiek op de arbeidsmarkt een conjunctureel karakter heeft. Buiten een aantal scholingsmaatregelen worden derhalve geen blijvende voorzieningen noodzake­ lijk geacht.

Bij ex-post evaluatie van arbeidsvoorzienings- maatregelen kan een aantal vraagstellingen onder­ scheiden worden. De verschillende aspecten waarop evaluatie betrekking kan hebben, zijn te typeren als: bereik, effecten, neveneffecten en uitvoeringspraktijk. In schema 2 zijn deze evalu- atie-items nader omschreven en met een voor­ beeld toegelicht.

-De onderscheiden vraagstellingen voor evaluatie vertonen een zekere hiërarchische samenhang. De registratie van kenmerken van gerealiseerde toepassingen (ad 1) vormt een op zichzelf staan­ de, en tegelijk een vanuit beleidsoogpunt mini­ maal noodzakelijke invulling en evaluatie.3 In aanvulling hierop kan evaluatie van effecten (ad 2) en/of neveneffecten (ad 3) plaatsvinden, afhankelijk van het doel en karakter van de maatregel (bijv. scholingsfaciliteiten of loonkos­ tensubsidies). Een beschrijving van het toepas- singsproces lijkt beleidsmatig pas zinvol in het geval uitkomsten van evaluaties van item 1, 2 en/of 3 als onvoldoende of ongewenst worden beoordeeld. Tegelijk dienen er aanwijzingen te zijn dat verandering in de uitvoering van de maat­ regel hierin verbetering kan brengen.

Bij de vier genoemde invalshoeken van evaluatie gaat het steeds om instrumentevaluatie, waar­ voor de doelstellingen van beleid althans op korte termijn gegeven zijn. Hiertegenover staat evalua­ tie van doelstellingen van beleid, waarbij een herwaardering van doelstellingen plaatsvindt, bijv. in verband met veranderingen in omgevingsvaria­ belen. Bij het als tweede genoemde item gaat het om de meest gangbare opvatting van instrument­ evaluatie, gericht op de vraag naar de mate waar­ in beoogde effecten worden bereikt. Deze bena­ dering wordt in de literatuur aangeduid als ‘goal- attainment-evaluation’.5 Evaluatie onder deze noemer kan ook worden getypeerd als program- ma-evaluatie, terwijl bij het vierde item kan wor­ den gesproken van procesevaluatie (Beleidsnota Gedrags- en Maatschappijwetenschappen, 1983- 1984, blz. 23 e.v.; Warffemius, 1983, blz. 25 e.v.).

3. Verrichte evaluaties; beschrijving en beoorde­ ling

De uitgevoerde instrumentevaluaties op arbeids- voorzieningsterrein worden behandeld tegen de achtergrond van de ontwikkeling van de arbeids­ markt en het maatregelenpakket. Het startpunt wordt hier gelegd in 1974; uit de periode hier­ vóór zijn geen evaluatiestudies bekend. De gerin­ ge kwantitatieve en kwalitatieve betekenis van de arbeidsvoorzieningsmaatregelen in relatie tot de betrekkelijk gunstige situatie op de arbeids­ markt is hier ongetwijfeld debet aan. Voor een schets van de rondom arbeidsvoorzieningsmaatre­ gelen uitgevoerde evaluaties wordt een tweetal perioden onderscheiden: van 1974 tot 1979 en van 1979 tot 1984 (Maarse, 1984, blz. 96-120; Van Bekkum en Van Egmond, 1983). De meest recente ontwikkelingen inclusief de

verwachtin-Schema 2. Evaluatie-items arbeidsvoorzieningsmaatregelen4

Item Vraagstelling Voorbeeld

1. Bereik Bij wie of wat worden de maat­ regelen toegepast (in een bepaal­ de periode)?

Volume van toepassing van loon­ kostensubsidies in een bepaald jaar en verdeling naar leeftijd deelne­ mers, regio, bedrijfsklasse enz. 2. Effecten In hoeverre worden de beoogde

resultaten van de toepassing (op korte of langere) termijn ge­ realiseerd?

Gevolgen voor deelname aan scho- lingsmaatregelen voor arbeids­ marktpositie na afloop

3. Neveneffecten In welke mate heeft toepassing een niet-beoogde uitwerking gehad?

Verdringing, substitutie, concur­ rentievervalsing t.g.v. loonkosten­ subsidies in de marktsector 4. Uitvoerings­

praktijk

Op welke wijze is het proces van toepassing van maatregelen verlopen?

Recrutering en selectie van deelne­ mers, samenwerkingspatronen tussen betrokken partijen enz.

gen voor de komende jaren worden in een aparte paragraaf beschreven.

3.1. De periode 1974 tot 1979

In deze jaren is er een sterke groei van het maat­ regelenpakket geweest. Niet alleen nemen de be­ schikbare financiële middelen toe, zodat bestaan­ de maatregelen kunnen worden uitgebreid, maar ook worden talrijke nieuwe maatregelen geïntro­ duceerd (Maarse, 1984, blz. 101 e.v.). Binnen de categorieën scholing, paatsingsbevordering en werkgelegenheidsverruiming ontstaat er een grote variëteit aan instrumenten, in het algmeen toege­ spitst op specifieke doelgroepen. Met deze varian­ ten gaan evenzovele verschillen in toepassings- of subsidievoorwaarden gepaard. Sommige van deze maatregelen zijn enkele jaren gecontinueerd; andere hebben een kortstondig bestaan gehad. Achtergrond van de uitbreiding en differentiatie van het maatregelenpakket vormt de (in de per­ ceptie van destijds) sterk toegenomen problema­ tiek op de arbeidsmarkt. Niet alleen zouden ar­ beidsvoorzieningsmaatregelen een bijdrage kun­ nen leveren aan de oplossing van deze problema­ tiek gedefinieerd als volumekwestie (werkloos­ heid), maar ook als kwaliteitsvraagstuk (discre­ panties, knelpunten, risicogroepen enz.).

Het merendeel van de in deze periode door de rijksoverheid geëntameerde evaluaties van ar­ beidsvoorzieningsmaatregelen is door externe onderzoeksinstituten uitgevoerd. Interne evalua­ ties werden slechts incidenteel verricht. Voorzo­ ver uitgevoerd hadden deze interne activiteiten voornamelijk betrekking op het bereik van maat­

regelen. De hiervoor benodigde gegevens werden ad hoe verzameld via interne informatiesystemen, waarbij verwerking vaak handmatig plaatsvond.6 Voor de externe onderzoeken is in schema 3 aan­ gegeven op welke maatregel de evaluatie betrek­ king had en waar het zwaartepunt qua vraagstel­ ling lag.

Een beoordeling van de tussen 1974 en 1979 uit­ gevoerde evaluaties levert de voigende conclusies op.

De arbeidsvoorzieningsmaatregelen in deze perio­ de zijn niet integraal geëvalueerd. Een aantal re­ gelingen is noch intern, noch extern onderwerp van evaluatie geweest.7 Een voorbeeld van bete­ kenis is het geheel van subsidiemaatregelen ter bevordering van scholing in het kader van het leerlingwezen, in deze periode nog Stimulerings­ regeling Vakopleiding Schoolverlaters geheten. De intern uitgevoerde evaluaties van het bereik van maatregelen hebben beperkte resultaten op­ geleverd. Van een systematische beschrijving van beleidsrelevante kenmerken van toepassingen van maatregelen is geen sprake, hetzij omdat ge­ gevens niet beschikbaar zijn, hetzij omdat de kwaliteit ervan onvoldoende is.8 Ook in een SER-nota uit januari 1980 over de evaluatie van arbeidsvoorzieningsmaatregelen vindt men een conclusie van een dergelijke strekking (Sociaal- Economische Raad, 1980, blz. 32 e.v.). Ontbre­ kende of tekortschietende interne registratie- voorzieningen zijn hiervan de oorzaak.

De externe evaluatie-onderzoeken waren uitslui­ tend gericht op effecten en/of de

toepassings-A r b e id s m a r k t Schema 3. Externe evaluatie-onderzoeken arbeidsvoorzieningsmaatregelen 1974-1979

(Diederen en Koekenbier, 1978a en 1978b; Verijdt en Koekenbier, 1978; Koekenbier en Van Rossum, 1978; Diederen e.a., 1979; Schepense.a., 1977; Elling e.a., 1979)

Categorie Regeling Evaluatie-item

Scholing — Centrum voor Vakopleiding

Volwassenen Effecten

— Studiekostenregeling

— Scholing in samenwerking tussen

Effecten

overheid en bedrijfsleven Uitvoeringspraktijk Plaatsingsbevordering — Loonsuppletieregeling U itvoeringsprak tü k

— 30%-loonkostenregeling Effecten/uitvoeringspraktijk Werkgelegenheids- — Regeling Tijdelijke

Arbeids-verruiming plaatsen

— Interimmaatregel Jeugdige

Effecten/uitvoeringspraktijk

Werklozen Uitvoeringspraktijk

praktijk van de maatregelen. Optredende neven­ effecten zijn hierin niet aan de orde gekomen, wat overigens een algemeen tekort van evaluatie­ onderzoek lijkt te zijn (Warffemius, 1983, blz. 28). De effectmeting is voor de verschillende soorten maatregelen (scholing, plaatsingsbevorde- ring en werkgelegenheidsverruiming) op uniforme wijze geoperationaliseerd als plaatsingseffecten. Voorzover gericht op (plaatsings)effecten, bieden deze externe onderzoeken een geringe graad van methodische ontwikkeling (Van Miltenburg, 1984, blz. 15). Effectmetingen waarbij een verge­ lijking met een controlegroep plaatsvindt in een longitudinale opzet zijn schaars. Slechts bij de evaluatie van de Interimmaatregel Jeugdige Werklozen is, althans voor een deel van de popu­ latie, sprake van een quasi-experimentele onder­ zoeksopzet (Elling e.a., 1979, blz. 12). Voorliet overige worden slechts de problemen bij het vin­ den van controlegroepen beschreven (Diederen e.a., 1979, blz. 24 e.v.).

De zinvolheid van een beschrijving van het uit­ voeringsproces is kwestieus bij ontbreken van voldoende zicht op het bereik en/of de (neven­ effecten. Vraag is wat de beleidsmatige ratio is van een belangstelling in het evaluatie-onderzoek voor de wijze waarop maatregelen worden toege­ past, zonder dat is vastgesteld dat het beoogde bereik en/of effect in onvoldoende mate gerea­ liseerd worden, dan wel de niet-beoogde neven­ effecten op onacceptabele schaal voorkomen. Bij herlezen van de onderzoeksrapporten kan men zich niet aan de indruk onttrekken, dat de sterke gerichtheid op de toepassingspraktijk voortkomt uit methodisch-technische belemme­ ringen voor evaluatie van andere items. Voor een effectmeting ontbreken bijv. noodzakelijke

inter-ne gegevens of duidelijk omschreven doelstellin­ gen van maatregelen (Maarse, 1984, blz. 107; Schepens e.a., 1977, blz. 71; Diederen e.a., 1979, blz. 70). In het laatste geval is feitelijk sprake van een ‘goal-free-evaluation’, waarin gegevens over een breed scala van opgetreden effecten worden verzameld.9 Samenvattend kunnen de in de pe­ riode 1974-1979 verrichte evaluaties als volgt ge­ typeerd worden. Voorzover de maatregelen ge­ ëvalueerd zijn heeft dit voornamelijk extern plaatsgevonden. Rondom een aantal maatregelen is extern evaluatie-onderzoek verricht. De onder­ bouwing van de probleemstelling van deze onder­ zoeken, c.q. de (noodzakelijke) selectie van te evalueren aspecten, is onvoldoende, terwijl ge­ hanteerde onderzoeksmethodieken weinig ont­ wikkeld zijn. Het bereik van de maatregelen, mi­ nimaal noodzakelijke invulling van evaluatie, is slechts incidenteel geëvalueerd. Waar dit heeft plaatsgevonden zijn de resultaten ervan kwalita­ tief beperkt.

3.2. De periode 1979 tot 1984

Na de schaalvergroting en differentiatie van het maatregelenpakket in de voorgaande jaren begint in 1979 een ontwikkeling in de richting van stabi­ lisatie en integratie. Het totaal van de beschikba­ re (structurele en conjuncturele) middelen neemt nauwelijks meer toe, en de creatie van nieuwe va­ rianten van maatregelen staat nagenoeg stil.10 Uitzondering hierop vormt alleen een aantal kleinschalige beleidsexperimenten met nieuwe of bestaande maatregelen.

Een tweetal zaken verdient hier nadere aandacht, nl. de invoering van het zgn. taakstellend beleid, leidend tot een systematisering van maatregelen,

en het streven om tot samenvoeging van rege­ lingen te komen.

In het kader van het taakstellend beleid is een tweedeling in het maatregelenpakket aange­ bracht, nl. scholing en plaatsingsbevordering, in hoofdzaak gericht op werklozen die 3 tot 6 maanden ingeschreven zijn bij het arbeidsbureau, en werkgelegenheidsverruimende maatregelen die in principe toepasbaar zijn bij een werkloosheids­ periode langer dan 6 maanden. Bovendien zijn voor de werkgelegenheidsverruimende maatrege­ len categoriale taakstellingen ingevoerd, d.w.z. gekwantificeerde normen voor toepassing op spe­ cifieke doelgroepen waaraan beleidsmatig priori­ teit wordt toegekend, bijv. jongeren.11

Door de invoering van het taakstellend beleid hebben de afzonderlijke, op specifieke categorie­ ën toegespitste maatregelen zoals bijv. de ln- terimmaatregel Jeugdige Werklozen hun bestaans­ grond verloren. Daarnaast is het streven naar inte­ gratie ingegeven door motieven van beheersmati­ ge en uitvoeringstechnische aard. Samenvoeging van maatregelen vindt plaats binnen de categorie­ ën plaatsingsbevorderende en werkgelegenheids­ verruimende maatregelen; de afzonderlijke scho- lingsmaatregelen zijn gehandhaafd. De diverse loonkostensubsidies gericht op blijvende inpas­ sing in de marktsector worden geïntegreerd in de Plaatsingsbevorderende Maatregel, en de subsidies t.b.v. tijdelijke arbeidsplaatsen in de kwartaire sector in de Werkgelegenheidsverruimende Maat­ regel.

Deze ontwikkelingen doen zich voor tegen de achtergrond van een arbeidsmarkt die aanvanke­ lijk in kwantitatief opzicht een redelijk stabiele situatie te zien geeft. Optredende discrepanties en knelpunten lijken te verminderen met de ex­ plosieve stijging van de werkloosheid eind 1981. De werkloosheidstoename heeft niet geleid tot een evenredige vermeerdering van de voor ar- beidsvoorzieningsbeleid beschikbare financiële middelen. Dit is allereerst terug te voeren op ver­ anderingen in de (politieke) definitie van de (arbeidsmarkt)situatie, waarin het macro-karak- ter van de problematiek (werkgelegenheidstekor- ten) steeds meer nadruk krijgt (Maarse, 1984, blz. 99 e.v., 107). Oplossingen voor het werkloos­ heidsvraagstuk worden primair gezocht in het al­ gemeen financieel-economisch beleid of in her­ verdeling van werk, en niet (meer) in uitbreiding van arbeidsvoorzieningsmaatregelen. Bovendien worden voor arbeidsvoorzieningsmaatregelen al­ ternatieven ontwikkeld die minder beslag leggen op steeds schaarser wordende financiële midde­

len, nl. scholen en werken met behoud van uit­ kering.

In 1979 worden de interne evaluatie-activiteiten sterk geïntensiveerd. In aanvulling op het externe onderzoek zou intern een ‘proces van gestructu­ reerde en permanente evaluatie’ van arbeidsvoor­ zieningsmaatregelen worden ontwikkeld (Eva­ luatie van Maatregelen, 1980, blz. 1). Voor deze koerswijziging kunnen verschillende redenen worden gegeven. In het eerst gepubliceerde evalu­ atierapport over 1979 wordt als motief genoemd, dat de externe onderzoeken vanwege de veelal longitudinale opzet te tijdrovend zijn, zodat terugkoppeling naar het beleid problematisch is (Evaluatie van Maatregelen, 1980, blz. 1). De be­ trokkenheid van het Ministerie van Financiën bij de ontwikkeling van het evaluatieproces duidt evenwel ook op andere factoren (Evaluatie van Maatregelen, 1980, blz. 1). De nadruk op interne informatievoorzieningen kan bijv. ook gezien worden als een antwoord op de manco’s in de destijds verrichte evaluaties. Verder is te verwach­ ten dat de invoering van het taakstellend beleid een rol heeft gespeeld. Hieruit vloeit immers de noodzaak voort om de gekwantificeerde normen voor het bereik van maatregelen naar de onder­ scheiden categorieën te toetsen op realisatie (So- ciaal-Economische Raad, 1980, blz. 6, 10 e.v., 21 e.v.). De ontwikkeling van interne registratiesy­ stemen lijkt hiervoor het meest geëigende middel. Tenslotte kunnen de kritische beoordeling van de interne registraties en het pleidooi voor verbete­ ring in de SER-nota van januari 1980 hun scha­ duw vooruitgeworpen hebben (Sociaal-Econo- mische Raad, 1980, blz. 31).

Vanaf 1979 is elk jaar een rapport samengesteld en gepubliceerd van de interne evaluatie-activi­ teiten (Evaluatie van Maatregelen, 1980, 1981; Rapportage Arbeidsvoorzieningsmaatregelen, 1983; Jaarinformatie Overzicht, 1984, 1985). In het eerste verslag worden de contouren van de in­ tern te ontwikkelen evaluatie-systematiek ge­ schetst (Evaluatie van Maatregelen, 1980, blz. 1 e.v.). Vanwege de hoge eisen aan de ontwikkeling van know-how, organisatie en informatievoor­ zieningen zou de uitvoering gefaseerd worden aangepakt. Gestart is met een beperkt aantal maatregelen; het streven was evenwel om te zij­ ner tijd alle maatregelen in dit proces te betrek­ ken. Een bijgevoegde checklist voor evaluatie- activiteiten laat zien dat verdergaande resultaten werden beoogd dan een beschrijving van het be­ reik, hoewel hierop wel het accent zou liggen.

A r b e id s m a r k t

Met name (plaatsings)effecten op korte en lange­ re termijn zouden in de interne evaluaties moeten worden meegenomen (Evaluatie van Maatregelen,

1980, bijl.II).

Het externe evaluatie-onderzoek in de periode 1979-1984 heeft nagenoeg uitsluitend betrekking gehad op beleidsexperimenten. Omdat een be- leidsexperiment feitelijk een planning van een leerproces is, vormt evaluatie hiervan als methode van kennisverwerving een logisch uitvloeisel (Van Vught en Van Doorn, 1980, blz. 15 e.v.). Enige uitzondering op dit patroon vormt een studie naar de uitwerking van (11) arbeidsvoorzieningsmaat- regelen voor een aantal categorieën op de groot­ stedelijke arbeidsmarkt. Het gaat hier m.a.w. om een onderzoek met een specifieke invalshoek, en niet om een landelijk gerichte instrumenteva- luatie. In schema 4 zijn de externe evaluatieon­ derzoeken opgesomd.

Schema 4. Externe evaluatieonderzoeken ar-beidsvoorzieningsmaatregelen 1979-1984 — Arbeidsvoorzieningsmaatregelen in de grote

steden (Van der Vegt e.a, 1983)

— Experiment Werkgelegenheidsverruimende Maatregel in de marktsector (De Koning en Stolk, 1984)

— Experimentele arbeidsprojecten voor jeug­ dige werklozen (Dijkhuis-Potgieser e-.a., 1981,1984; Kroft e.a., 1984)

— Experimentele regeling bevordering deel­ tijdarbeid (Crone, 1982) * 1

In het eerste onderzoek waren het relatieve be­ reik (toepassingen t.o.v. doelgroep) en de plaat - singseffecten items van evaluatie; in het tweede de optredende neveneffecten.12 Bij het derde en vierde onderzoek gaat het om nieuwe maatrege­ len die buiten de bestaande instrumentele kaders vallen. De vraagstellingen voor deze evaluaties waren sterk eigensoortig van karakter.

De beoordeling van de in de jaren 1979-1984 ver­ richte evaluaties leidt tot de volgende conclusies. 1. Ook voor deze periode zijn er lacunes te signa­ leren wat betreft de in de evaluatie-activiteiten betrokken maatregelen. Naast de subsidieregelin­ gen gericht op de bevordering van de instroom in het leerlingwezen, na 1982 Bijdrageregeling Vak­ opleiding Jeugdigen getiteld, kunnen bijv. nog de Centra voor Beroepsoriëntatie en Beroepsoefe­ ning worden genoemd.

2. Ondanks de overeenstemming tussen betrok­ ken ministeries en de ondersteuning door sociale partners heeft de ontwikkeling van de interne in­ formatievoorziening niet het gewenste resultaat opgeleverd. In de verschillende publikaties is weinig méér te vinden dan een statistische be­ schrijving van de in de betreffende beleidsperiode gerealiseerde toepassingen (plaatsingen, toetre­ dingen enz.), ofwel het bereik van de maatrege­ len. Voorzover uitgevoerd laat de kwaliteit van deze beschrijving bovendien te wensen over van­ wege ontbrekende of onbetrouwbare gegevens. Het streven om verdergaande items dan het be­ reik (m.n. effecten) via interne data-bestanden te achterhalen is geleidelijk losgelaten. Illustratief hiervoor zijn de titels van de in de loop van de jaren gepubliceerde verslagen. De beoogde jaar­ lijkse evaluatie (’79-’80) is via een voortgangs­ rapportage (’81-’82) tot een informatie-overzicht ( ’83-’84) geworden. Oorzaken hiervan liggen al­ lereerst in belemmeringen van methodische en (informatie-)technische aard. De interne registra­ tiesystemen voldoen niet aan de (hoge) eisen om een verdergaande evaluatie te verrichten dan een beschrijving van het bereik, en zelfs dat laatste is problematisch gebleken. Daarnaast waren er uit­ voeringsproblemen vanwege het beslag van om vangrijke administraties op de personele capaci­ teit.

3. Extern is de afgelopen jaren geen landelijk evaluatie-onderzoek rondom reguliere maatrege­ len verricht. Dit is waarschijnlijk vooral terug te voeren op de ambitie om (plaatsings)effecten via interne data-bestanden te meten. Externe evalua- tie-onderzoeken zijn tussen 1979 en 1984 voor­ namelijk beperkt gebleven tot kleinschalige be­ leidsexperimenten, en hadden m.a.w. een speci­ fiek en incidenteel karakter. Overigens lijken deze onderzoeken an sich voldoende materiaal te hebben opgeleverd voor beleidsvorming: in een tweetal gevallen is afgezien van generieke invoe­ ring, en in het derde geval werd de regeling bijge­ steld.

Al met al heeft dit betekend, dat na 1979 geen meting van (plaatsings)effecten van maatregelen heeft plaatsgevonden. Dit impliceert, dat er geen herhaling is geweest van voorheen uitgevoerde effectmetingen, waarvan het belang bijv. is gele­ gen in de veranderde situatie op de arbeids(deel)- markt. Ook neveneffecten en toepassingspraktij- ken zijn niet resp. niet meer in kaart gebracht. Het achterwege blijven van externe evaluaties van reguliere maatregelen heeft de ontwikkeling van adequate en hanteerbare

onderzoeksmetho-dieken geremd. Vermeldenswaard zijn alleen de longitudinale opzet in het onderzoek naar de grootstedelijke werkloosheid, en de methodische aanzet voor onderzoek naar neveneffecten als substitutie en concurrentievervalsing in de evalu­ atie van het experiment met de Werkgelegen- heidsverruimende Maatregel in de marktsector.13 De evaluatie van arbeidsvoorzieningsmaatregelen tussen 1979 en 1984 kan samenvattend als volgt worden gekarakteriseerd. Voorzover de reguliere maatregelen geëvalueerd zijn, heeft dit bijna uit­ sluitend intern plaatsgevonden. De resultaten hiervan zijn echter weinig meer dan een beperkte en gebrekkige statistische beschrijving van het bereik van een aantal maatregelen (Van Milten­ burg, 1984, blz. 13). Externe onderzoeken zijn alleen incidenteel uitgevoerd, met name bij de evaluatie van specifieke beleidsexperimenten. 4 . Een nieuwe start van de evaluatie

De kritische beoordeling van de in het verleden verrichte evaluaties laat onverlet dat er sprake is van een aanzienlijke activiteit op dit vlak. Het laatste is niet alleen te begrijpen vanuit een ver­ sterkte interne behoefte aan evaluatie (bijv. taakstellend beleid, experimentele maatregelen) of vanuit een toegenomen externe druk (o.a. Tweede Kamer, SER).14 Ook de conjuncturele financieringsbasis van een groot deel van de ar­ beidsvoorzieningsmaatregelen lijkt hier een rol te hebben gespeeld. Te verwachten gevolg hiervan is dat door het betrokken vakdepartement evalua­ tiegegevens worden verzameld ter onderbouwing van voorstellen voor continuering van tijdelijke middelen of voor omzetting in structurele bud­ getten. En omgekeerd zal het Ministerie van Financiën eerder geneigd zijn te vragen naar de uitkomsten van het gerealiseerde beleid.

4.1. Naar een evaluatieprogramrm

Het is dan ook niet geheel toevallig dat begin 1984 een nieuwe start is gemaakt met de evalua­ tie van arbeidsvoorzieningsmaatregelen. Een rol hierbij speelt het feit dat met het aflopen van de huidige regeringsperiode de discussie over conti­ nuering van de financiering van arbeidsvoorzie­ ningsmaatregelen weer actueel wordt. Aan de hernieuwde evaluatie-activiteiten gaat dan ook een overeenstemming tussen betrokken bewinds­ lieden vooraf. Met het oog op de bij de kabinets­ formatie 1986 te maken afspraken over financie­ ring van het arbeidsvoorzieningsbeleid wordt eva­ luatie noodzakelijk geacht. De werking van deze politieke impuls doet geen afbreuk aan de bete­

kenis van andere motieven om tot vernieuwing en intensivering van evaluatie-inspanningen te komen.

De beleidsmatige overwegingen om een nieuwe start te maken met de evaluatie kunnen in ter­ men van de voorgaande beschrijving als volgt worden samengevat. De resultaten van tot nog toe verrichte evaluaties worden vanuit beleids- oogpunt als onvoldoende beoordeeld, omdat:

a. een aantal maatregelen hierin niet betrokken

is;

b. de interne evaluaties van maatregelen uitslui­

tend een gebrekkige descriptie van het gereali­ seerde bereik hebben opgeleverd;

c. de externe evaluatie-onderzoeken rondom re­

guliere maatregelen sterk gedateerd zijn, inci­ denteel worden uitgevoerd, niet gericht waren op neveneffecten, en voorzover gericht op (plaatsings)effecten geen vergelijking met een nul-situatie mogelijk maken.

Het streven naar verbetering van deze situatie kan worden aangeduid met de term evaluatieprogram- ma, dat de volgende karakteristieken heeft.

Integraal. In het programma van evaluatie-activi­

teiten worden in beginsel alle (bestaande en nieuwe, reguliere en experimentele, generieke en selectieve) maatregelen betrokken. Prioriteiten daarbinnen worden bepaald op beleidsmatige gronden, bijv. voorrang voor de huidige structu­ reel gefinancierde scholingsmaatregelen.

Continu. In principe wordt de evaluatie intern en/of extern uitgevoerd - in de tijd herhaald. Frequentie van uitvoering is afhankelijk van de beleidsmatige prioriteit die aan bepaalde evalu- atie-items wordt toegekend. Herhaling op jaarba­ sis lijkt bijv. eerder voor de hand te liggen voor het item bereik dan bij (neven)effecten of toepas- singspraktijk. Bepalend voor de noodzaak van actualisering van evaluatieresultaten is verder een inschatting van de invloed van externe factoren (arbeidsmarktontwikkelingen) op de uitkomsten van maatregelen.

Systematisch. Voor elke specifieke arbeidsvoor-

zieningsmaatregel wordt geëxpliciteerd welke in­ formatiebehoefte verbonden is aan evaluatie, en via welk(e) kana(a)l(en) de gewenste informatie verkregen kan worden. Dit betekent dat per maatregel bepaald wordt op welk(e) item(s) de evaluatie wordt gericht. In het verlengde hiervan wordt bezien of creatie c.q. herziening van inter­ ne informatievoorzieningen noodzakelijk is, dan

Arbeidsmarkt

wel uitvoering van een onderzoek door een ex­ tern instituut. Voorwaarde voor de vaststelling van beleidsmatige prioriteiten wat betreft te evalueren items is, dat per maatregel een speci­ ficatie van taakstellingen (bereik), doelstellingen (effecten) en randvoorwaarden (neveneffecten) plaatsvindt (Herweyer, 1981, blz. 349 e.v.; Van Giessen, 1980, blz. 8 e.v.; Afd. Beleidsanalyse, 1984, blz. 63; Dijkhuis-Potgieser, 1985, blz. 48).

De gesystematiseerde aanpak leidt m.a.w. niet per definitie tot een evaluatie waarin alle theore­ tisch te onderscheiden aspecten van maatregelen tegelijk worden betrokken. Partiële evaluaties, beperkt tot een aantal op strategische gronden geselecteerde items, zullen vanuit beleidsoogpunt voorkeur hebben boven breedvoerige en tijdro­ vende totaalevaluaties (Afd. Beleidsanalyse,

1984, blz. 7; Dijkhuis-Potgieser, 1985, blz. 49). In de tweede plaats betekent deze aanpak niet noodzakelijk dat de verschillende soorten maat­ regelen (scholing, plaatsingsbevordering en werk- gelegenheidsverruiming) langs eenzelfde evalua- tiemeetlat zullen worden gelegd.15 Te verwach­ ten is dat de registratie van het bereik voor alle maatregelen van belang wordt geacht. Hiervoor dienen intern structurele informatievoorzienin­ gen beschikbaar te zijn. Gegeven de noodzaak van integrale registratie, zal de statistische be­ schrijving van gerealiseerde toepassingen een glo­ baal karakter hebben. Grenzen zijn hier met na­ me gelegen in de personele belasting van admini­ stratie voor het uitvoerend apparaat. Een beper­ king tot karakteristieken die vanuit beleidsoog­ punt strikt noodzakelijk zijn, ligt derhalve voor de hand. Voor het overige zullen afhankelijk van het doel en de aard van de maatregel op beleids­ matige gronden prioriteiten worden gesteld. Bij een scholingsmaatregel zal het accent eerder ge­ legd worden op (plaatsings)effecten. Voor een loonkostensubsidie, waarmee creatie van addi­ tionele arbeidsplaatsen in de marktsector beoogd wordt, zal daarentegen prioriteit worden toege­ kend aan het voorkomen van ongewenste neven­ effecten, zoals concurrentievervalsing, substitutie en verdringing. Alleen al vanwege de complexi­ teit van deze evaluaties is uitvoering door een extern onderzoeksinstituut onontkoombaar. Voorzover evaluatie gericht wordt op (plaat- sings)effecten, zal een vergelijking met controle­ groepen plaatsvinden. Het laatste vereist explora­ tie op methodisch-technisch vlak (bijv. prospec­ tieve versus retrospectieve opzet, criteria van matching enz.). Voorzover evaluatie betrekking zal hebben op neveneffecten is evenzeer een ver­

kenning noodzakelijk vanwege ontbrekende on- derzoeksmethodieken. Voor evaluatie van (ne­ veneffecten is een steekproefsgewijze aanpak toereikend. Ten slotte is te verwachten dat bij ontbreken van voldoende inzicht in bereik, effec­ ten en/of neveneffecten voorlopig afgezien zal worden van een beschrijving van kwaliteiten van uitvoeringsprocessen.

Vastgesteld kan worden dat met deze nieuwe start de in de eerste paragraaf beschreven belem­ meringen voor evaluatie op politiek-bestuurlijk niveau althans voorlopig opgeruimd zijn. Consen­ sus bestaat over de noodzaak van evaluatie en over de wens tot verbetering van de situatie. Voorts is er bereidheid op beleidsniveau om tot heroverweging c.q. herformulering van beleidspri­ oriteiten en -posterioriteiten te komen. Het laat­ ste is noodzakelijk met het oog op de specificatie van taak- en doelstellingen en randvoorwaarden van maatregelen. En dit is weer een voorwaarde voor evaluatie van bereik, effecten en neveneffec­ ten. Ten slotte is er bereidheid om methodische en technische aspecten van evaluatie in een nade­ re exploratie te betrekken.

Te verwachten is dat de geschetste programmati­ sche aanpak de beleidsmatig gewenste evaluatiere- sultaten oplevert. De voorwaarden lijken vervuld om gebreken van in het verleden verrichte evalua­ ties op te heffen. Ervan uitgaande dat de bereid­ heid tot evaluatie op politiek-bestuurlijk niveau gehandhaafd blijft, liggen resterende barrières in de onderzoekbaarheid van bepaalde aspecten. Dat methodisch-technische complicaties rondom evaluatie-onderzoek niet onderschat moeten wor­ den, is in het voorgaande reeds uiteengezet. Zo zullen bijv. deficiënties van het instrument en manco’s in de uitvoeringspraktijk moeilijk te on­ derscheiden zijn.

4.2. De evaluatie van het CVV

De invulling van het evaluatieprogramma wordt hieronder geconcretiseerd aan de hand van het Centrum voor Vakopleiding van Volwassenen. Het CVV, kortweg Centrum genoemd, is als eerste maatregel betrokken in het evaluatiepro­ gramma. Behalve beleidsmatige motieven is een reden om met het CVV te starten dat het te doorlopen leerproces gebaat is met een maatregel waarvoor de noodzakelijke interne registratie - voorzieningen relatief sterk uitgebouwd zijn. De resultaten van de voorbereiding van de evaluatie van het Centrum kunnen onder een tweetal noe­ mers worden samengevat: de evaluatie-opzet en de ontwikkeling van het instrument zelf.

Evaluatie-opzet. De evaluatie van het CVV zal

worden gericht op bereik en (plaatsings)effecten. Het bereik wordt integraal geregistreerd via be­ schikbare interne informatiesystemen. Hiermee is het mogelijk een continu beeld te geven van de in-, door- en uitstroom van cursisten. De meting van (plaatsings)effecten zal door een extern on­ derzoeksinstituut worden uitgevoerd. Binnen dit item is een aantal deelaspecten onderscheiden: — plaatsing: leidt de scholing tot arbeidsinpas-

sing binnen een zekere periode?

— aansluiting: is er kwalitatief een verband tus­ sen de gevolgde opleiding en verkregen func­ tie?

— continuering: heeft de inpassing een min of meer duurzaam karakter?

De effectmeting vindt plaats volgens het ‘with- without’-model, d.w.z. dat de groep van ex-Cen- trum-deelnemers wordt vergeleken met een con­ trolegroep.16 De controlegroep zal worden sa­ mengesteld via matching op individueel niveau m.b.v. (interne) data-bestanden van CVV-cursis- ten en ingeschrevenen bij gewestelijke arbeidsbu­ reaus. Dit deel van de evaluatie vindt steekproefs­ gewijze plaats en heeft een longitudinale opzet. Zowel deelnemers als controlepersonen zullen worden geënquêteerd. Tussentijdse resultaten van het onderzoek zullen op een termijn van ca. 1 jaar beschikbaar zijn; eindresultaten een jaar

later.

Instrumentontwikkeling. Behalve een evaluatie-

opzet hebben de voorbereidende werkzaamheden nu reeds resultaten opgeleverd voor het CVV-in- strument zelf. Vanuit de evaluatievoorbereiding heeft een terugkoppeling plaatsgevonden naar doelstelling, taakstelling en uitvoering van de maatregel. De evaluatie-activiteiten hebben m.a.w. reeds geleid tot een bijstelling van het in­ strument voordat enig empirisch resultaat be­ schikbaar is.

Allereerst zijn met het oog op de evaluatie van de Cenfrumscholing de doelstellingen van de maatre­ gel gespecificeerd. De beschikbare omschrijvingen van CVV-doelstellingen bleken onvoldoende een­ duidig voor een gerichte effectmeting. De nood­ zakelijke herformulering heeft geleid tot een tweevoudige doelstelling: scholing t.b.v. vervul­ ling van actuele of te verwachten vraag, en scho­ ling ter verbetering van de concurrentiepositie van aanbodcategorieën op de arbeidsmarkt. Deze doelstellingen vloeien voort uit het streven naar doelmatige resp. rechtvaardige afstemming van vraag en aanbod. Verdergaande operationalisering

van doelstellingen van het CVV heeft plaatsge­ vonden via kwantificering van beoogde effecten (Van Giessen, 1980, blz. 9; Afd. Beleidsanalyse, 1984, blz. 33 e.v.). Per doelstelling is aangegeven welke ondergrenzen worden nagestreefd voor de deelaspecten plaatsing, aansluiting en continue­ ring. Voorzover relevant zijn hierbij termijnen be­ paald. Aan de realisatie van de onderscheiden effecten worden onder de eerste vraaggerichte doelstelling hogere eisen gesteld dan onder de tweede aanbodgerichte doelstelling.

In tweede instantie zijn taakstellingen voor het Centrum gekwantificeerd, een voorwaarde voor evaluatie van het bereik van de maatregel. Kwan­ tificering heeft zowel plaatsgevonden voor het totale volume van opleiding als voor de toedeling ervan naar de beide doelstellingen. Het eerste is ingevuld door benedengrenzen te stellen aan de reële benutting van de opleidingscapaciteit (on­ derbenutting wordt veroorzaakt door verzuim, leegloop enz.). Het tweede is geoperationaliseerd via een verhoudingsgetal waarin de gewenste verdeling van het opleidingsvolume naar de on­ derscheiden doelstellingen is aangegeven. Er zijn m.a.w. streefcijfers vastgesteld voor de mate waarin de beschikbare capaciteit voor beide doel­ stellingen wordt ingezet.

Ten slotte heeft de voorbereiding van de evalua­ tie van het CVV, via de specificatie en kwantifi­ cering van taak- en doelstellingen, doorwerking gehad naar het proces van toepassing van het in­ strument. Een evaluatie van de mate waarin de beoogde effecten binnen de onderscheiden doel­ stellingen gerealiseerd worden, brengt namelijk de noodzaak met zich mee om bij de instroom van cursisten de twee groepen expliciet te onder­ scheiden. De eerste categorie wordt op het CVV geschoold in verband met vervulling van vraagbe- hoeften; de tweede om individuele kwalificatie- tekorten weg te nemen. Voor elke deelnemer zal derhalve bij verwijzing naar het Centrum worden aangegeven in het kader van welke doelstelling scholing plaatsvindt. In het verlengde hiervan is voorts op regionaal niveau aan planmatige inzet van de beschikbare scholingscapaciteit op het Centrum naar de onderscheiden doelstellingen mogelijk.

De vervulling van een aantal noodzakelijke voor­ waarden voor evaluatie van bereik en effecten, t.w. specificatie en kwantificering van taakstel­ lingen resp. doelstellingen, heeft aldus geleid tot een bijstelling van het instrument. En deze her­ ziening maakt op haar beurt een planmatige uit­ voering mogelijk. De voorbereiding van de

evalu-Arbeidsmarkt

atie van het CVV is aldus uitgemond in een pro­ ces van ontwikkeling van het instrument.

Een beleidsmatige bijstelling is overigens niet een noodzakelijk resultaat van de evaluatievoorberei- dende activiteiten. Denkbaar gevolg is bijv. ook een wijziging van de regelgeving (bijv. subsidie­ voorwaarden) of verbetering van interne informa­ tievoorzieningen onder handhaving van doelstel­ lingen en taakstellingen van de maatregel.

5. Evaluatie(-onderzoek) als ‘rationalization to o i’ Nog afgezien van de doorwerking van evaluatiere- sultaten naar beleid, kan systematische voorberei­ ding van ex-post evaluatie van instrumenten lei­ den tot ex-ante bijstelling van doelstellingen, uit­ voering en/of registratievoorzieningen. Vanwege de (mogelijke) repercussies voor het instrument zelf — vooraf of achteraf — bevordert evaluatie m.a.w. een ‘instrumentele rationaliteit’ (Wentink, 1976, blz. 111 e.v.). Evaluatie wordt op deze wijze een ‘rationalization tooi’ voor het beleid. Dit betekent niet dat (voorbereiding van) evalua­ tie een louter analytisch-rationeel proces vomt. Selectie van evaluatie-items is bijv. evenzeer als de formulering van doelstellingen van instrumen­ ten een resultaat van onderhandelingsprocessen tussen de verschillende bij het beleid betrokken partijen. Niet alleen de beoordeling van evaluatie- uitkomsten is een verantwoordelijkheid voor de beleidsvoerders, maar ook de (noodzakelijke) prioriteitsstelling wat betreft te evalueren aspec­ ten. Wél betekent het dat de ‘handelingsrationali- teit’ van het beleid versterkt wordt, met name omdat bij de formulering van doelstellingen ex­ pliciet rekening wordt gehouden met de evaluatie van de uitkomsten (Hupe, 1984, blz. 284 e.v.). Dat evaluatie méér is dan puur cognitieve actie kan worden geïllustreerd aan de hand van de ei­ sen die aan (de relatie tussen) betrokken partijen moeten worden gesteld wil het proces bijdragen tot ‘handelingsrationaliteit’. Daarbij wordt uitge­ gaan van het (gecompliceerder) geval dat de eva­ luatie door een extern onderzoeksinstituut wordt uitgevoerd. Deze eisen kunnen worden toegelicht door in het evaluatieproces een drietal fasen te onderscheiden: bepaling van informatiebehoef­ ten, beschrijving van empirie en beoordeling van resultaten.17 Eerste en laatste vormen de verant­ woordelijkheid van de beleidsinstantie; het twee­ de van het onderzoeksinstituut.

Om tot overeenstemming te komen over infor­ matiebehoeften is een grote mate van openheid tussen de verschillende partijen op beleidsniveau noodzakelijk. De hieruit resulterende prioriteits­ stelling wat betreft te evalueren items dient te

voldoen aan eisen van eenduidigheid en operatio- naliseerbaarheid. De uitkomst van de onderhan- delingen tussen actoren in het beleidsveld moet voor het onderzoeksinstituut vertaalbaar zijn in een probleemstelling en een onderzoeksopzet. Alleen dan kunnen evaluatieresultaten worden opgeleverd die basis vormen voor verdere beleids­ vorming. Dit betekent dat het onderzoeksinsti­ tuut in een vroegtijdig stadium als methodisch­ technisch adviseur betrokken dient te zijn bij de voorbereiding van evaluatie. Omgekeerd zullen de onderzoekers zich ervan rekenschap moeten geven, dat partiële evaluaties in de beleidspraktijk veelal toereikend zijn. De stelling dat selectieve kennis van beleidsuitkomsten voldoende basis kan vormen voor beleidsvorming staat op gespan­ nen voet met de beroepshabitus van de onder­ zoeker (Hupe, 1984, blz. 283).

De uitvoering van het evaluatie-onderzoek stelt hoge eisen aan de intensiteit en kwaliteit van begeleiding. Niet alleen zal de opdrachtgever moeten bewaken dat de uitvoering van het onder­ zoek binnen de overeengekomen kaders blijft wat betreft verwachte resultaten, termijn van afron­ ding enz. Ook dient de beleidsvoerende instantie alle technische en organisatorische voorwaarden te scheppen om tot een voldoende uitvoering van het onderzoek te komen, bijv. door de beschik­ baarstelling van interne gegevens met een ver­ trouwelijk of problematisch karakter.

De fase van beoordeling van resultaten van eva­ luatie-onderzoek stelt vooral eisen aan de onder­ linge verhoudingen tussen partijen die (m edever­ antwoordelijk zijn voor beleidsvorming (bijv. het beleidsdepartement en het Ministerie van Finan­ ciën). Het onderzoeksinstituut heeft hoogstens een adviserende rol bij de beleidsmatige follow- up. Onderzoekers dienen zich tevens ervan be­ wust te zijn dat beleidsvorming nooit uitsluitend op resultaten van instrumentevaluatie wordt ge­ baseerd. Ook andere elementen, bijv. kostencal- culatie of personeelscapaciteit, spelen hierin mee (Van Houten en Simonis, 1984, blz. 295; Dijk- huis-Potgieser, 1985, blz. 46 e.v.). Optimale con­ ditie is dat voorafgaande aan de rapportage van onderzoeksresultaten afspraken zijn gemaakt over de aanvaardbaarheid van mogelijke uit­ komsten en over modaliteiten van beleidsvorming bij verschillende varianten van evaluatie-uitkom- sten (if-then-schema’s). A priori dienen betrok­ ken partijen echter overeenstemming te hebben over het feit dat evaluatie in principe kan leiden tot wijziging, vermindering of zelfs afschaffing van maatregelen, maar evenzeer tot handhaving of uitbreiding. Evaluatie van instrumenten dient

m.a.w. niet uitsluitend plaats te vinden vanuit de optiek van bezuiniging.18 Tegelijk dienen beleids- adviserende partijen te onderkennen dat op ver­ dere beleidsvorming ook factoren van andere aard van invloed zijn, zoals bijv. politieke evalua­ tie van doelstellingen van beleid.

Gelijk beleidsvorming kan gesystematiseerde aan­ pak van evaluatie behalve als analytisch-rationeel proces ook als sociale interactie beschreven wor­ den, waarbij verschillende posities, belangen en opvattingen een rol spelen (Hupe, 1984, blz. 284 e.v.; Van Houten en Simonis, 1984, blz. 298 e.v.). In het geval een extern onderzoeksinstituut deel uitmaakt van dit interactieproces vormen een open communicatie tussen onderzoekers en beleidsverantwoordelijke actoren en een intensie­ ve betrokkenheid bij het evaluatieproces voor­ waarden om tot resultaten te komen die bijdra­ gen tot ‘instrumentele rationaliteit’.

Voor beleidsonderzoek in het algemeen levert het voorgaande de conclusie op, dat dit meer dan tot nu toe het geval is gericht zou moeten worden op evaluatie, en minder op voorbereiding van beleid. Evaluatie-onderzoek leidt (noodzakelijkerwijs) eerder tot een versterking van de relatie tussen beleid en onderzoek. Hiermee wordt bevorderd dat beleidsonderzoek resultaten oplevert die als beleidsmatig relevant worden beoordeeld. En omgekeerd kan door evaluatie-onderzoek de ‘handelingsrationaliteit’ van het beleid worden vergroot. Op deze wijze wordt voorkomen dat beleidsrelevant onderzoek definitief een mythe wordt, waaruit slechts het pleidooi voor volledige distantie tussen beleid en onderzoek kan voort­ vloeien.19 Het voorstel uit de Nota Gedrags- en

Maatschappijwetenschappen van de Minister van

Onderwijs en Wetenschappen uit 1983 om aan evaluatie-onderzoek een grotere plaats toe te kennen in de departementale onderzoekspro­ gramma’s verdient dan ook ondersteuning (Beleidsnota Gedrags- en Maatschappijweten­ schappen, 1983-1984, blz. 23-25). Dit voorstel kan nog worden aangescherpt door een pleidooi om een bepaald percentage van de onderzoeks­ budgetten van de departementen te bestemmen voor evaluatie-onderzoek. De financiële ruimte in deze budgetten lijkt evenwel niet toereikend voor een evaluatieprogramma rondom het totale pakket van overheidsinstrumenten (subsidies, wetgeving, dienstverlening). Daarom verdient het aanbeveling voor evaluatie van financieel-gebon- den instrumenten uit de middelen voor het betreffende beleid een fractie te reserveren voor evaluatie-onderzoek. Zo wordt niet alleen bevor­

derd dat onderzoek bruikbare resultaten oplevert voor beleid, maar ook dat evaluatie binnen de overheid de aandacht krijgt die het behoeft. □ Noten

1. Ex-post evaluatie wordt onderscheiden van ex-ante evaluatie, die erop gericht is alternatieve beleidspro­ gramma’s voorafgaande aan besluitvorming over uit­ voering te beoordelen naar te verwachten effecten (Van Doorn en Van Vught, 1978; Klaassen en Wee- huizen, 1981). Een bekend voorbeeld van een ex- ante evaluatiemethodiek is de kosten-batenanalyse. 2. Het begrip evaluatie-items wordt hier gehanteerd in

plaats van evaluatiecriteria. Van het gebruik van de laatste term is afgezien omdat deze in het algemeen wordt verstaan als toetsingsnormen in het kader van effect-evaluatie.

3 . De registratie van toepassingen, in dit artikel bereik genoemd, wordt door Maarse getypeerd met de term volume-effect (Maarse, 1984, blz. 107).

4 . Zie noot 2.

5 . Deze benadering staat tegenover de zgn. goal-free- evaluation, waarin gegevens over een breed scala van werkelijk opgetreden effecten worden verzameld (Herweyer, 1981, blz. 348-366).

6 . Dit was bijv. het geval voor de Voorlopige Regeüng Plaatsing Langdurig Werklozen en voor het Besluit Stimuleringspremie Partiële Leerplicht.

7. Vergelijk hiervoor bijv. de opsomming van maatrege­ len en het overzicht van beschikbare evaluatiegege­ vens in de nota van de Sociaal-Economische Raad (1980, blz. 17 e.v.).

8. Voor een illustratie hiervan zie bijv. de gegevens in de Nota Jeugdwerkloosheid (par. III.2 en Bijlage

14-21). 9 . Zie noot 4.

10. Voor een aantal berekeningen van de uitgaven voor arbeidsvoorziening over de jaren 1979-1981 zie Maarse (1984, blz. 103 e.v.).

11. Dat het taakstellend beleid meer omvatte dan een systematisering van maatregelen en kwantificering van taakstellingen zie bijv. Nota Jeugdwerkloosheid (1978-1979: par. II1.4.1); Sociaal-Economische Raad (1980, blz. 10 e.v.) en Maarse (1984, blz. 106). 12. Het relatieve bereik wordt in het onderzoek naar de

toepassing van arbeidsvoorzieningsmaatregelen op de grootstedelijke arbeidsmarkt reikwijdte genoemd (Van der Vegt, 1983).

13. De longitudinale opzet in het onderzoek naar de grootstedelijke werkloosheid bestaat uit een vergelij­ king van de werkloosheid van deelnemers voor en na toepassing van de maatregel (Van der Vegt, 1983). 14. Dit blijkt bijv. uit de nota van de SER uit 1980 over

de evaluatie van arbeidsvoorzieningsmaatregelen. De belangstelling van de sociale partners voor dit pro­ bleemveld komt eveneens to t uitdrukking in het in COB-kader lopende onderzoeksproject naar de eva­ luatie van arbeidsvoorzieningsmaatregelen in het buitenland.

15. Dit in tegenstelling tot de werkwijze in het onder­ zoek naar de toepassing van arbeidsvoorzienings­ maatregelen op de grootstedelijke arbeidsmarkt (Van der Vegt, 1983) en het pleidooi in de SER-nota over de evaluatie van arbeidsvoorzieningsmaatregelen waarin doorstroming centraal gesteld wordt.

Arbeidsmarkt

16.In de publikatie van de Afdeling beleidsanalyse van het Ministerie van Financiën wordt deze benadering als effectenonderzoek getypeerd (Afdeling Beleids­ analyse, 1984, blz. 38 e.v.).

17. Dit onderscheid is verdergaand dan dat van Van Doorn en Van Vught die de eerste fase achterwege laten en zich beperken to t objectivering en waarde­ ring van uitkomsten van een programma (Van Doorn & Van Vught, 1978, blz. 222).

18. Hier zou een oorzaak kunnen worden gevonden van het geringe succes van COBA die was ondergebracht bij het Ministerie van Financiën (Scholten, 1980, blz. 8). Ook de Heroverwegingsoperatie is eenzijdig ge­ richt op uitgaven beheersing (Kraan, 1982). Het ver­ dient aanbeveling dergelijke activiteiten organisato­ risch onder te brengen bij het Ministerie van Algeme­ ne Zaken.

19. Voor een dergelijk pleidooi zie Hupe (1984, blz. 289). Deze auteur definieert beleidsonderzoek impli­ ciet als beleidsvoorbereidend onderzoek. In de be­ schouwing van Van Houten en Simonis over de in­ vloed van onderzoek op beleid vindt deze beperking expliciet plaats (Van Houten en Simonis, 1984, blz. 295).

Literatuur

- Afdeling Beleidsanalyse van het Ministerie van Finan­ ciën, H eeft beleid effect? Vier benaderingen voor

evaluatie van bestaand beleid, ’s-Gravenhage, 1984.

- Van Bekkum, R. en G. van Egmond, ‘Jeugdwerkloos- heidsbeleid, wat deed de overheid en wat zou ze kun­ nen?’, in: Jeugd en Samenleving, 1983, nr. 5/6, blz. 31 1-328.

Beleidsnota Gedrags- en Maatschappijwetenschappen van de Minister van Onderwijs en Wetenschappen.

Tweede kamer, vergaderjaar 1983-1984, 18 161, nr.

1-2.

- Commissie Hoofdstructuur Rijksdienst, Elk kent de

laan, die derwaart gaat, ’s-Gravenhage, 1980.

- Crone, F.J.M., e . a Experim ent bevordering deeltijd­

arbeid, Deel 2: Onderzoek, ’s-Gravenhage, 1982.

- Diederen, J.H.I.W. en H.A.J. Koekenbier, Werkloos­

heid en de Toepassing van Scholingsmaatregelen, Evaluatie Scholingsmaatregelen, deelonderzoek 1,

ITS, Nijmegen, 1978ö.

Diederen, J.H.I.W. en H.A.J. Koekenbier, Effecten

van Scholing via een Centrum voor Vakopleiding van Volwassenen, Evaluatie Scholingsmaatregelen, deel­ onderzoek 2, ITS, Nijmegen, 19786.

- Diederen, J.H.I.W. e.a., Effecten van Scholingsmaat­

regelen. Een samenvatting van vier evaluatie-onder- zoeken, ’s-Gravenhage, 1979.

- Doorn, J.W.M. van en F.A. van Vught, Planning; me­

thoden en technieken voor toekom st onderzoek, As­

sen, 1978, hoofdstuk 11.

- Dijkhuis-Potgieser, H.l.E. e.a., Evaluatie Experimen­

tele Arbeidsprojecten voor Jeugdige Werklozen,

’s-Gravenhage, 1981.

- Dijkhuis-Potgieser, H.l.E. e.a., Evaluatie Experim ente­

le Arbeidsprojecten van Jeugdige Werklozen, Voorlo­ pig eindrapport, ’s-Gravenhage, 1984.

- Dijkhuis-Potgieser, H.l.E. e.a., ‘Experimentele Ar­ beidsprojecten voor Jeugdige Werklozen’, in: Tijd­

schrift voor Arbeidsvraagstukken, 1985, nr. 1. blz.

39-50.

- Elling, M.W., e.a., De Jnterimmaatregel Jeugdige

Werklozen, Belangrijkste resultaten van verricht on­ derzoek en aanbevelingen voor verder beleid, ’s-Gra-

venhage, 1979.

- Evaluatie van Maatregelen 1979, Directoraat-Gene- raal van de Arbeidsvoorziening, Rijswijk, 1980. - Evaluatie van Maatregelen 1980, Directoraat-Gene-

raal van de Arbeidsvoorziening, Rijswijk, 1981. - Giessen, M. van, ‘Effectiviteitsonderzoek’, in: Be­

leidsanalyse, 1980, nr. 2, blz. 5-13.

- Heroverweging Gericht Arbeidsvoorzieningsbeleid,

Deelrapport 28 van Heroverweging Collectieve Uitga­ ven, Tweede Kamerzitting 1980-1981, 16 625, nr.

33.

- Herweyer, M., ‘De dynamiek van doelstellend gedrag een struikelblok bij evaluatie’, in: Bestuursweten­

schappen, sept./okt., 1981, nr. 5, blz. 25-29.

- Houten, D.J. van en J.B.D. Simonis, Tegen beter weten in’; de spanning tussen beleid en onderzoek, in: Beleid en Maatschappij, okt. 1984, blz. 294-301. - Hovinga, A., ‘De wet Agrarisch Grondverkeer ge­ wogen’, in Beleidsanalyse, 1983, nr. 3, blz. 18-20. - Hupe, P.L., ‘De m ythe van de beleidsrelevantie’, in:

Beleid en Maatschappij, okt. 1984, blz. 278-293.

- Jaarinformatie overzicht 1983, Directoraat-Generaal voor de Arbeidsvoorziening, Rijswijk, 1984.

- Jaarinformatie overzicht 1984, Directoraat-Generaal voor de Arbeidsvoorziening, Rijswijk, 1985.

- Klaassen, H.L. en J.W. Weehuizen, ‘Een denkkader voor beleidsonderzoek’, in: Beleidsanalyse, 1981, nr. 3-4, blz. 5-15.

Koekenbier, H.A.J. en G.M.J.M. van Rossum, Bijdra­

geregeling Scholing in Samenwerking tussen Over­ heid en Bedrijfsleven, Evaluatie Scholingsmaatrege­ len, deelonderzoek 4, ITS, Nijmegen, 1978.

- Koning, J. de en H. Stolk, Evaluatie van de Werkge-

legenheidsverruimende Maatregel in de marktsector,

’s-Gravenhage, 1984.

- Kraan, D.J., ‘Beleidsanalyse ten dienste van uitgaven­ beheersing’, in: Beleidsanalyse, 1982, nr. 2, blz. 13- 21.

- Kroft, H.P.A. e.a., Evaluatie Experimentele Arbeids-

projekten voor Jeugdige Werklozen, Tussenrapport 2a en 2b, ’s-Gravenhage, 1983.

- Maarse, J.A.M., ‘Arbeidsmarktbeleid: enkele trends en effecten’, in: Sociologische Gids, jan./febr. 1984, blz. 96-120.

- Maessen, F.C.M.M., ‘Methodische analyse van J.Th.A. Bressers: Beleidseffektiviteit en waterkwali- teitsbeleid’, in: Beleidsanalyse, 1983, nr. 3, blz. 21-24.

- Maessen, F.C.M.M. en A.J.F.M. Warffemius, ‘Instru­ menteel onderzoek; een benadering voor ex-post ana­ lyse en evaluatie’, in: Beleidsanalyse, 1982, nr. 3, blz. 5-11.

- Miltenburg, A.J.M. van, Evaluatie-onderzock van het Arbeidsvoorzienigheidsbeleid’, in: Beleidsanalyse, 1984, nr. 2, blz. 11-16.

- Nota Jeugdwerkloosheid over het bereik van de af­

zonderlijke jeugdmaatregelen, Tweede Kamerzitting

1978-1979, 15 421, nr. 2.

- Rapportage arbeidsvoorzieningsmaatregelen 1981/

1982, Directoraat-Generaal voor de Arbeidsvoorzie­

ning, Rijswijk, 1983.

- Schepens, Th. e.a., Onderzoek onder werklozen

maatrege-len (loonsuppletieregeling, 30 procent-loonkostenre- geling en T.A.P.-regeling), IVA, Tilburg, 1977.

- Scholten, G.H., ‘Beleid versus analyse: enkele kantte­ keningen bij theorie en praktijk’, in: Beleidsanalyse, 1980, nr. 3,blz. 5-9.

- Sociaal-Economische Raad, Interim-nota Effectivi­

teit van arbeidsvoorzieningsmaatregelen, 1980.

- ‘Stappen op de weg naar een evaluatiecultuur?’, in:

Beleidsanalyse, 1983 nr. 3, blz. 17.

- Vegt, C. van der e.a., De toepassing van arbeidsvoor­

zieningsmaatregelen op de grootstedelijke arbeids­ markt, SEO, Amsterdam, 1983.

- Verijdt, H.J.P.M. en H.A.J. Koekenbier, E ffekten

van Scholing via de Studiekostenregeling Werkzoe­ kenden, Evaluatie Scholingsmaatregelen, deelonder­ zoek 3, 1TS, Nijmegen, 1978.

- Vught, F.A. van en J.W.M. van Doorn, ‘Beleidsexpe- rim enten’, in: Beleidsanalyse, 1980, nr. 2, blz. 14-22. - Warffemius, A.J.F.M., ‘Boekbespreking J.A.M. Maar-

se: Uitvoering en effecten van arbeidsmarktbeleid; een bestuurskundig onderzoek naar het Aanvullende Werkgelegenheidsbeleid’, in: Beleidsanalyse, 1983, nr. 3, blz. 25-29.

- Wentink, A.A., Sociale planning in de verzorgings­

staat: mogelijkheden en beperkingen, ’s-Gravenhage,