Voor het evalueren van de doeltreffendheid en doelmatigheid van een beleidsinstrument is het noodzakelijk om zicht te hebben op minimaal drie elementen: 1) de menskracht en mid-delen die aangewend worden voor het beleidsinstrument (input), 2) de activiteiten en processen die met deze menskracht en middelen in gang gezet worden (throughput), en 3) de (eerste-orde) effecten van deze activiteiten en processen (output). Vervolgens kan aan-vullend gekeken worden naar effecten die deze gegenereerde output op haar beurt teweegbrengt met betrekking tot hoger gelegen doelen, zogenaamde tweede-orde- of zelfs derde-orde-effecten.
Het evalueren van het programma Smart Industry is niet eenvoudig, omdat de logische sa-menhang tussen inputs, throughputs, outputs en outcomes niet scherp beschreven is.
Specifiek constateren wij de volgende uitdagingen met betrekking tot de beleidsrationale en de basis voor het beoordelen van de doeltreffendheid en doelmatigheid van het programma:
A. Het programma kent geen duidelijke en meetbare outputdoelen. De door het programma opgestelde doelenboom (zie Bijlage 5) beschrijft de outputdoelen aan de hand van throughput (procesdoelen). Ter illustratie: het oprichten van vijf Smart Industry hubs is een middel tot een doel, en geen doel op zichzelf. Het simpelweg beschikken over deze hubs in Nederland zegt nog niets over de bijdrage die zij leve-ren aan de transformaties van bedrijven op het gebied van Smart Industry. De KPI’s die gekoppeld zijn aan het programma hebben derhalve ook betrekking op de imple-mentatie van de activiteiten: zijn bepaalde zaken opgericht of in gang gezet? Deze KPI’s zeggen echter niets over eventuele effecten, die door de activiteiten gecreëerd zijn. De outcomes die vervolgens in de doelenboom gedefinieerd zijn hebben geen heldere relatie met de Smart Industry transformaties die binnen het programma ge-definieerd zijn, en kennen tevens geen meetbare doelen. Ook de relatie tussen benoemde outcomes en de uiteindelijke impacts is onduidelijk. Belangrijk voor de evaluatie is dat er geen duidelijke maatstaven zijn voor het beoordelen van doeltref-fendheid (en hieruit voortvloeiend ook de doelmatigheid). Een indicatie dat de overall doelstellingen niet helder zijn en de verwachtingen ten aanzien van dit netwerkpro-gramma is het feit dat zowel uit de interviews als de groepsgesprekken is gebleken dat verschillende beelden en verwachtingen bestaan wat het programma nu precies beoogt en vooral hoe de activiteiten in de regio en op landelijk niveau elkaar al dan niet versterken en de mate waarin dit vooropgezet is. Ook bestaat geen eenduidig beeld hoe de doelgroep exact is afgebakend. Het is niet klip en klaar bij alle betrok-kenen of het programma aanvankelijk vooral gericht was op koplopers of ook al meteen of de groep hieronder. Evenmin of de doelgroep beperkt is tot strikt de
hightech maakindustrie of ook andere sectoren in de industrie. In de praktijk wordt aan beide verschillend invulling gegeven in de regionale Smart Industry inspannin-gen.
B. Het is niet voor de hand liggend welke (deel)activiteiten en bijbehorende resultaten aan het landelijke programma Smart Industry te attribueren zijn.
Er gebeurt veel op het gebied van Smart Industry. Verschillende bedrijven zijn al geruime tijd met het thema bezig, en er zijn diverse lokale/regionale initiatieven, zoals fieldlabs en ook hub-achtige structuren avant la lettre, om bedrijven te onder-steunen bij het toepassen van Smart Industry. Los van het (landelijke) programma Smart Industry zijn er ook ‘autonome ontwikkelingen’ op het thema. Het is echter niet geheel duidelijk wat exact het aandeel is van het programma Smart Industry in bepaalde activiteiten en bijbehorende resultaten. Ter illustratie: de fieldlabs worden als onderdeel van het programma gezien, maar een (groot) deel van deze inspan-ningen hebben zich autonoom voltrokken en waren hoogstwaarschijnlijk ook ingezet zonder het bestaan van het programma (wellicht met een lagere intensiteit). Het is bijvoorbeeld ten aanzien van de fieldlabs niet reëel om alle opbrengsten van de field-labs aan het programma toe te schrijven, maar het is ook niet reëel om geen opbrengsten van de fieldlabs aan het programma toe te schrijven. De vraag is dus welke (delen van) activiteiten en bijbehorende resultaten wél aan het landelijk pro-gramma toegeschreven zouden moeten worden; wat is de additionele bijdrage van het programma geweest voor alle relevante activiteiten en opbrengsten? Hier bestaat geen eenduidig kader voor. Ons is opgevallen dat daar waar op het centrale niveau een programma wordt gezien waar nagenoeg alle initiatieven in de regio deel van uitmaken van een beweging, veel regionale initiatieven in de praktijk veel losser staan en opereren ten opzichte van dit nationale programma. Ze zijn vaak regionaal geïnitieerd en gefinancierd en moeten ook bijdragen aan het realiseren aan andere beleidsagenda’s dan die van het programma Smart Industry.
C. Het is onduidelijk wat de precieze rollen en exact beoogde impacts zijn van respectievelijk het landelijk programma, hubs, en fieldlabs in de context van de gehele Smart Industry transformatie van bedrijven. Deze onduidelijkheid hebben wij binnen deze evaluatie continu teruggezien in het grote aantal gesprekken dat gevoerd is; er bestaat geen eenduidig beeld over waar ‘de landelijke laag’ exact (mede)eigenaar en/of verantwoordelijk voor is. Het is hiermee ook niet volledig hel-der wat er exact van wie verwacht mag of moet worden. Dit lijkt in de praktijk ook tot bepaalde verwachtingen vanuit de regio’s richting het landelijke programma (pri-mair EZK) te leiden, bijvoorbeeld ten aanzien van wie wat zou moeten financieren.
D. De attributie van effecten aan het programma Smart Industry wordt verder bemoeilijkt door overlap met andere beleidsinitiatieven en -instrumenten.
Het programma Smart Industry maakt enerzijds onderdeel uit van andere overkoe-pelende beleidsprogramma’s (zoals het MKB-Actieplan, de Nederlandse Digitaliseringsstrategie en het missiegedreven topsectoren en innovatiebeleid), en maakt zelf op haar beurt ook gebruik van andere instrumenten en initiatieven om haar doelstellingen te realiseren (bijv. EFRO, MIT, regionale en lokale instrumenten).
Het programma kent - op een bescheiden budget voor het programmabureau en incidentele impulsen (waaronder de oprichting van de hubs) na - geen substantieel eigen uitvoeringsbudget. Het programma is daarmee als netwerkprogramma voor de financiering en uitvoering van activiteiten afhankelijk van initiatieven, instrumenten en budgetten van derden. Het programma moet in belangrijke mate anderen inspi-reren en overtuigen, zodat allerhande spelers overgaan tot (financiering van) acties gericht op digitalisering van de maakindustrie of het mede richten van een
instrument op de doelstellingen van het programma Smart Industry. Deze initiatie-ven en instrumenten zijn veelal niet exclusief ontworpen voor het stimuleren van Smart Industry, maar kennen vaak ook heel andere doelstellingen en doelgroepen.
De resulterende stapeling van beleidsinitiatieven en-instrumenten maakt het pro-gramma diffuus in zijn doelstellingen en maakt het moeilijk vast te stellen in welke mate effecten zijn te relateren aan het programma Smart Industry.
E. Over een aantal voorgenomen activiteiten is weinig (publiek) gedocumen-teerd. Hierdoor is er in specifieke gevallen weinig basis om het programma te kunnen beoordelen.
Voor het goed kunnen beoordelen van de doeltreffendheid en doelmatigheid van het pro-gramma nu en in de toekomst is in de eerste plaats een heldere interventielogica vereist. In de volgende sectie wordt een reconstructie van deze interventielogica gepresenteerd.
3.2 Interventielogica
Toepassingen op het gebied van Smart Industry kunnen ondernemingen (in de industrie) vooruithelpen in termen van productiviteit, werkgelegenheid en het bijdragen aan maat-schappelijke uitdagingen. Het lukt echter niet alle ondernemingen om optimaal om te gaan met de kansen (en risico’s) van Smart Industry. Ondernemers zijn bijvoorbeeld vaak nog niet helemaal bekend met de mogelijkheden, zien nog geen duidelijke gunstige business case, of hebben niet genoeg kennis en kunde in huis om de mogelijkheden adequaat te integreren in de bedrijfsvoering.
Vanuit de ondernemer geredeneerd zijn drie categorieën (deel)problemen te onderscheiden:
1. Niet weten: de ondernemer is onbewust van de kansen en risico’s van Smart Indu-stry
2. Niet willen: de ondernemer is mogelijk wel bewust van de kansen en risico’s van Smart Industry, maar is niet bereid/gemotiveerd om aan de slag te gaan met deze kansen en risico’s van Smart Industry
3. Niet kunnen: de ondernemer is mogelijk bewust van de mogelijkheden van Smart Industry en is mogelijk bereid om ermee aan de slag te gaan, maar de ondernemer is niet in staat om er (optimaal) mee aan de slag te gaan.
Deze drie categorieën deelproblemen zijn op hun beurt weer verder onder te verdelen naar deel-deelproblemen. In Figuur 9 is de logische samenhang tussen problemen en deelproble-men visueel weergegeven.
Uiteindelijk dient het programma eraan bij te dragen dat de knelpunten voor de onderne-mingen worden opgelost, waardoor de onderneonderne-mingen wél optimaal om kunnen gaan met de kansen en risico’s van Smart Industry. Binnen het programma is hiervoor een variëteit aan activiteiten opgesteld en uitgevoerd, zie Figuur 10. Deze activiteiten dienen uiteindelijk een bijdrage te leveren aan het oplossen van knelpunten bij de ondernemingen; in Figuur 11 zijn de activiteiten binnen het programma gekoppeld aan knelpunten van ondernemingen die ze (potentieel) adresseren.
Het programma Smart Industry is een voorbeeld van thematisch ‘systeembeleid’; beoogd wordt om een palet van stimulerende impulsen te initiëren en te mobiliseren, om zo condities te scheppen die ondernemingen helpen om van Smart Industry toepassingen gebruik te ma-ken. Een complexiteit van het programma Smart Industry is dat niet alle activiteiten direct aangrijpen op de ondernemingen; een groot deel van de activiteiten kent een indirecte rela-tie, bijvoorbeeld via de hubs of fieldlabs. In paragraaf 5.1 wordt nader ingegaan op de directe en indirecte effectrelaties die het programma kan hebben.
Tot slot: het feit dat ondernemingen (mogelijk) met bepaalde knelpunten kampen, wil nog niet direct zeggen dat overheidsinterventie gelegitimeerd is. Sommige problemen zouden immers door de markt opgelost kunnen of zelfs moeten worden. In paragraaf 3.3 wordt daarom nader ingegaan op de legitimiteit van het programma.
Maatschappelijke
Waarom is dit probleem er?
Waarvoor is dit een probleem?
Programma SI
Figuur 10: Activiteiten binnen het programma Smart Industry
Maatschappelijke
Waarom is dit probleem er?
Waarvoor is dit een probleem?
Figuur 11: Relatie activiteiten en knelpunten