European Innovation Scoreboard: een (in)effectieve tool voor beleidsvoering

Hele tekst

(1)

European Innovation Scoreboard: een

(in)effectieve tool voor beleidsvoering

Aantal woorden <14.368>

Steffen De Moerloose

Stamnummer : 01502916

Promotor: Prof. Dr. André Spithoven

Masterproef voorgedragen tot het bekomen van de graad van : Master of Science in de Bestuurskunde en Publiek Management

(2)

I

Vertrouwelijkheidsclausule

De auteur geeft de toelating deze masterproef voor consultatie beschikbaar te stellen en delen van de masterproef te kopiëren voor persoonlijk gebruik. Elk ander gebruik valt onder de beperkingen van het auteursrecht, in het bijzonder met betrekking tot de verplichting de bron uitdrukkelijk te vermelden bij het aanhalen van resultaten uit deze masterproef.

Steffen De Moerloose, Juni 2020

(3)

II Woord vooraf

Deze masterproef is het sluitstuk van de opleiding Bestuurskunde en Publiek Management. Ik koos oorspronkelijk voor deze richting vanuit mijn interesse voor zowel het functioneren van de Belgische overheid en het politieke systeem. Mijn grootste interesse gaat evenwel naar het functioneren van de Europese Unie.

Wanneer de mogelijkheid zich aanbood om een masterproef te schrijven over een onderwerp waar zowel de Europese Unie als beleid van de Belgische overheid aan bod kwam, was ik onmiddellijk overtuigd om deze kans met twee handen te grijpen. Desondanks mijn beperkte voorkennis van het European Innovation Scoreboard, was het zeer boeiend om de kennis vanuit de opleiding Bestuurskunde te koppelen aan deze masterproef. Door het gebrek aan onderzoek naar de invloed van het European Innovation Scoreboard op het innovatiebeleid in België, kan deze masterproef nieuwe inzichten aanreiken en de aanzet geven tot verder onderzoek.

Graag wend ik dit woord vooraf ook aan om mijn promotor professor André Spithoven te bedanken. Zijn goede opvolging, gerichte feedback evenals zijn grote kennis en

enthousiasme over het onderwerp, waren een zeer grote meerwaarde om mijn masterproef tot een goed einde te brengen.

Preambule: Invloed Covid-19 op masterproef

De Covid-19 epidemie met bijhorende lockdown heeft geen invloed gehad op de geplande aanpak en werkwijze van deze thesis. Er zijn geen problemen ontstaan omdat dit onderzoek bestaat uit een literatuurstudie met een bijkomend empirisch onderzoek waar gebruik

gemaakt wordt van online databanken. De corona-epidemie heeft dus geen invloed gehad op het afwerken van de thesis.

(4)

Inhoudstafel

I Vertrouwelijkheidsclausule ... 2

II Woord vooraf ... 3

III Lijst met afkortingen ... 6

IV Lijst met figuren ... 7

1 Inleiding en probleemstelling ... 8 1.1 Inleiding ... 8 1.2 Probleemstelling ... 10 1.3 Onderzoeksvraag ... 10 1.3.1 Deelvragen ... 10 1.4 Wetenschappelijke relevantie ... 11 1.5 Maatschappelijke relevantie ... 11 1.6 Structuur masterproef ... 12 2 Theoretisch kader ... 13

2.1 European Innovation Scoreboard ... 13

2.1.1 Regional European Innovation Scoreboard ... 14

2.2 De noodzaak en het belang van rangschikkingen ... 15

2.2.1 Rangschikkingen als deel van de menselijke natuur? ... 15

2.2.2 Invloed van rangschikkingen op beleid ... 15

2.3 Kritiek op internationale rangschikkingen ... 17

2.3.1 Rangschikkingen zijn relatief ... 17

2.3.2 Dataverzameling bij rangschikkingen ... 17

2.3.3 Mogelijke neveneffecten van rangschikkingen ... 18

2.4 Ontstaansreden EIS: Lissabon strategie ... 19

2.5 Innovatie: definitie ... 21

2.6 Summary Innovation Index ... 22

2.6.1 Kadervoorwaarden ... 24

2.6.2 Investeringen ... 24

2.6.3 Innovatie-activiteiten ... 25

2.6.4 Innovatie-impact ... 25

2.7 Composietindicatoren en beleid ... 27

2.8 Kritiek op European Innovation Scoreboard ... 29

2.8.1 Defecten van de Summary Innovation Index ... 29

2.8.2 Keuzes en gewicht van indicatoren ... 30

2.8.3 European Innovation Scoreboard handig voor beleid? ... 31

2.9 EIS: Soorten innovators ... 32

(5)

2.10.1 Het begin van innovatiemetingen ... 33

2.10.2 Global Innovation Index (GII) ... 34

2.10.3 The Innovation Output Indicator (IOI) ... 34

2.11 European Innovation Scoreboard en België ... 36

2.11.1 Innovatie: een gewestelijke bevoegdheid ... 36

2.11.2 Prestaties België volgens het EIS ... 36

2.11.3 Waar komen de gegevens uit het EIS vandaan? ... 37

2.12 Evidence-based Beleid ... 38

2.12.1 Wat is evidence-based beleid? ... 38

2.12.2 Evidence-based beleid in België ... 39

2.13 Invloed van media op beleid ... 40

2.13.1 Media als vierde macht ... 40

2.13.2 Media bepaalt de beleidsagenda ... 40

3 Empirisch onderzoek ... 42 3.1 Methode ... 42 3.1.1 Onderzoekdesign ... 42 3.1.2 Dataverzameling ... 42 3.1.3 Selectiecriteria ... 43 3.1.4 Referenties ... 44 3.2 Resultaten ... 45 3.2.1 Inleiding ... 45

3.2.2 European Innovation Scoreboard: Resultaten Vlaams beleidsniveau ... 46

3.2.3 European Innovation Scoreboard: Resultaten federaal beleidsniveau ... 53

3.2.4 Resultaten media-onderzoek Gopress ... 57

3.2.5 Algemene resultaten en verklaringen ... 58

4 Conclusie ... 62

5 Bibliografie ... 64

6 Bijlagen ... 70

6.1 Resultaten “European Innovation Scoreboard” in Databank Vlaams parlement ... 70

6.2 Bijlage resultaten “Innovation Union Scoreboard” in databank Vlaams parlement ... 70

6.3 Resultaten “Regional Innovation Scoreboard” in databank Vlaams parlement ... 71

6.4 Resultaten “Global Innovation Index” in databank Vlaams parlement ... 72

6.5 Resultaten “Innovation Output Indicator” in databank Vlaams Parlement ... 73

6.6 Resultaten “European Innovation Scoreboard” in federale databanken ... 73

6.7 Resultaten “Innovation Union Scoreboard” in federale databanken ... 73

6.8 Resultaten “Global Innovation Index” in federale databanken ... 74

6.9 Resultaten “Innovation Output Indicator” in federale databanken ... 74

(6)

III Lijst met afkortingen

Afkorting Volledige benaming

EC Europese Commissie

EIS European Innovation Scoreboard

EWI Departement Energie, Wetenschap en Innovatie Vlaanderen

GII Global Innovation Index

HLN Het Laatste Nieuws

IOI Innovation Output Indicator

KMO Klein- en middelgrote onderneming

MERIT Maastricht Economic and Social Research Institute for Innovation and Technology

O&O Onderzoek & Ontwikkeling

OECD Organization for Economic Coordination and Development OESO Organisatie voor Economische Samenwerking en

Ontwikkeling

RIS Regional Innovation Scoreboard

R&D Research & Development

SII Summary Innovation Index

(7)

IV Lijst met figuren

Figuur 1 4 hoofdcategorieën met 10 innovatiedimensies p. 22 Figuur 2 10 innovatiedimensies met bijhorende indicatoren p. 23 Tabel 1 Resultaten “EIS” in databank Vlaams parlement p. 46 Tabel 2 Resultaten “IUS” in databank Vlaams parlement p. 47 Tabel 3 Resultaten “RIS” in databank Vlaams parlement p. 48 Tabel 4 Vergelijking resultaten “EIS” en “RIS” p. 49 Tabel 5 Resultaten “GII” in databank Vlaams parlement p. 50 Tabel 6 Resultaten “IOI” in databank Vlaams parlement p. 50 Tabel 7 Vergelijking resultaten EIS, IUS, GGI en IOI in databank Vlaams parlement p. 51 Tabel 8 Resultaten “PISA” in databank Vlaams parlement p. 52 Tabel 9 Resultaten “EIS” en “IUS” in databanken federale overheid p. 53 Tabel 10 Resultaten “RIS” in databanken federale overheid p. 54 Tabel 11 Resultaten “GII” in databanken federale overheid p. 54 Tabel 12 Resultaten “IOI” in databanken federale overheid p. 54 Tabel 13 Zoekresultaten PISA in federale databanken p. 55 Tabel 14 Gebruik EIS en RIS in Belgische Regio’s p. 56 Tabel 15 Vermeldingen EIS, IUS, RIS, GII en PISA in Vlaamse media p. 57

(8)

Inleiding en probleemstelling 8

1

Inleiding en probleemstelling

1.1

Inleiding

Innovatie is één van de belangrijkste drijfveren die economische groei en competitie stimuleren (Grupp & Mogee, 2004). “Innovatie is een nieuw product of proces dat significant verschilt met het vorige proces of product van een bepaalde entiteit en is beschikbaar gesteld aan meerdere gebruikers of bedrijfsentiteiten” (OECD, 2018 p. 20). Vanuit de nood aan economische groei in Europa besloot de Europese Commissie in het begin van het jaar 2000, als onderdeel van de Lissabonstrategie, om in te spelen op het innovatiebeleid van de lidstaten. Met de publicatie van het European Innovation Scoreboard (EIS) was het startschot gegeven om de Europese Unie naar een nieuw niveau te tillen op vlak van innovatie.

Het European Innovation Scoreboard (EIS) is een jaarlijks rapport dat wordt gepubliceerd op initiatief van de Europese Commissie, in samenwerking met MERIT (Hollanders, Es-Sadki & Merkelbach, 2019a). Het rapport vergelijkt de Europese lidstaten op vlak van innovatie en plaatst die aan de hand van een resem aan indicatoren op een rangschikking. Op deze manier worden de Europese lidstaten ingedeeld in vier verschillende klassen naarmate de inspanningen die op vlak van innovatie-activiteiten worden geleverd: modest, moderate, strong of leading innovators. Verder biedt het European Innovation Scoreboard ook de mogelijkheid om Europa als geheel te vergelijken met andere wereldspelers zoals de Verenigde Staten en China (Hollanders et al., 2019a).

Het European Innovation Scoreboard is gecreëerd met de bedoeling dat regeringsleiders, staatshoofden of beleidsmakers van Europese lidstaten zicht krijgen op de nationale sterktes en zwaktes op gebied van het beleidsdomein innovatie, opdat deze lidstaten hun nationaal beleid kunnen aanpassen om in te spelen op deze sterktes of zwaktes (Europese Commissie, z.d.). Deze thesis tracht een antwoord te geven in welke mate het European Innovation Scoreboard wordt opgepikt door het innovatiebeleid in België. Wordt er in de beleidsvoering effectief rekening gehouden met de resultaten van het European Innovation Scoreboard om bestaand beleid aan te passen of is het EIS eerder een hol instrument is die beleidsmakers links laten liggen?

(9)

Inleiding en probleemstelling 9

In deze thesis ligt de focus op het gebruik van het European Innovation Scoreboard op Belgisch federaal en Vlaams regionaal beleidsniveau. Verder tracht de masterproef eveneens mogelijke verklaringen aan te reiken over welke factoren potentieel een invloed hebben in de mate dat bepaalde instrumenten zoals het EIS worden opgepikt in de beleidsvoering.

(10)

Inleiding en probleemstelling 10

1.2

Probleemstelling

Zoals in de inleiding vermeld, wil de Europese Commissie het innovatiebeleid van de lidstaten verbeteren door het publiceren van een uitgebreid rapport over de nationale innovatie-inspanningen en activiteiten. De vraag stelt zich of regeringsleiders, politici en beleidsmakers in België gebruik maken van de publicatie van het European Innovation Scoreboard om innovatiebeleid te evalueren en bijgevolg aan te passen.

Belgisch beleid, zowel op federaal als Vlaams niveau is voornamelijk gebaseerd op wetenschappelijk onderbouwde studies, ook wel evidence-based beleid genoemd. Deze masterproef tracht aan te tonen in welke mate de aangebrachte evidence uit het European Innovation Scoreboard wordt gebruikt voor de beleidsvoering in België. Op die manier wordt het al dan niet duidelijk of het EIS in de werkelijkheid wordt opgepikt door beleid en zodoende mogelijks sturend is voor beleid.

1.3

Onderzoeksvraag

In welke mate wordt het European Innovation Scoreboard opgepikt door beleid in België?

Deze masterproef tracht te ontdekken in welke mate het European Innovation Scoreboard gebruikt of opgepikt wordt door regeringsleiders, politici en beleidsmakers bij het voeren van innovatiebeleid in België. Er wordt hierbij gefocust op het Belgisch federaal beleidsniveau en het Vlaams beleidsniveau.

1.3.1 Deelvragen

 In welke mate wordt het European Innovation Scoreboard opgepikt door federale beleidsmakers?

 In welke mate wordt het European Innovation Scoreboard opgepikt door Vlaamse beleidsmakers?

 Wordt de regionale extensie, het Regional Innovation Scoreboard (RIS) opgepikt door Vlaamse beleidsmakers?

 Wat kan het al dan niet gebruiken van het EIS in de beleidsvoering in België verklaren?  In welke mate is het innovatiebeleid in België evidence-based?

(11)

Inleiding en probleemstelling 11

 In welke mate kan de agenda-setting theorie het al dan niet gebruiken van het EIS verklaren?

1.4

Wetenschappelijke relevantie

Het onderzoek van deze masterproef is wetenschappelijk relevant aangezien het de invloed van het European Innovation Scoreboard op Belgisch beleid tracht aan te tonen. Tot op heden, is het niet onderzocht hoeveel invloed het EIS werkelijk heeft op het nationaal innovatiebeleid. Deze studie is bijgevolg nuttig om dit fenomeen in kaart te brengen zodat er in de toekomst eventueel meer aandacht aan dit beleidsinstrument kan besteed worden. Het thema innovatie is de afgelopen jaren zeer prominent aanwezig in zowel de bedrijfswereld als bij de overheid.

Bovendien wordt de opbouw en het meetsysteem van het European Innovation Scoreboard kritisch bestudeerd opdat er mogelijke gebreken van het EIS kunnen blootgelegd worden. Verder tracht de masterproef vanuit de wetenschap te verklaren welke factoren eveneens meespelen bij de beleidsvoering. Deze zaken tonen de wetenschappelijke relevantie van dit onderzoek aan.

1.5

Maatschappelijke relevantie

Als bestuurskundige is het belangrijk om rekening te houden met de maatschappelijke relevantie van de masterproef. Innovatie is een thema dat veel invloed heeft op de maatschappij. Eerst en vooral stimuleert innovatie economische groei en zorgt dit voor een grotere welvaart. Wanneer beleidsmakers een bepaald innovatiebeleid voeren, heeft dit eveneens een rechtstreeks invloed op de bedrijven, werknemers, tewerkstelling en nog zo veel meer. Net daarom is het belangrijk om na te gaan of het European Innovation Scoreboard gebruikt of in overweging wordt genomen wanneer aan beleidsvoering gedaan wordt in België.

(12)

Inleiding en probleemstelling 12

1.6

Structuur masterproef

De masterproef bestaat uit drie delen: het theoretisch kader, het empirisch onderzoek en de conclusie.

Het theoretisch kader vangt na een korte uiteenzetting van het European Innovation Scoreboard aan met een verklaring waarom rangschikkingen zo veel voorkomen en welke invloed zij kunnen hebben op beleid. Verder wordt er een uitgebreide informatiecompilatie over het European Innovation Scoreboard meegegeven. Het ontstaan, de werking en het meetsysteem van het EIS worden hierin volledig uiteengezet. Deze literatuur wordt vervolgens kritisch geanalyseerd. Bijkomend wordt er ingegaan op evidence-based beleid en de invloeden van de media op beleid.

In het empirisch gedeelte wordt eerst en vooral de methode van het onderzoeksdesign uiteengezet. Vervolgens worden de resultaten weergegeven en besproken aan de hand van enkele grafische voorstellingen. Deze resultaten worden verduidelijkt in een algemene conclusie waaraan enkele beleidsconclusies vanuit het perspectief van een bestuurskundige worden gekoppeld. Als laatste deel van de conclusie worden enkele beperkingen van het onderzoek meegegeven evenals enkele aanbevelingen voor verder onderzoek.

(13)

Theoretisch kader 13

2

Theoretisch kader

2.1

European Innovation Scoreboard

In het jaar 2001 werd voor het eerst het European Innovation Scoreboard uitgebracht. Dit instrument is ontworpen op initiatief van de Europese Commissie in overeenstemming met de strategie van het Verdrag van Lissabon en maakt een vergelijkende analyse van de Europese lidstaten op vlak van de innovatie-prestaties (Hollanders & Van Cruysen, 2008). Buiten de Europese lidstaten analyseert het European Innovation Scoreboard IJsland, Macedonië, Noorwegen, Servië, Zwitserland, Turkije en Oekraïne. Daarenboven worden Australië, Brazilië, Canada, China, India, Japan, Rusland, Zuid-Afrika, Zuid-Korea en de Verenigde Staten van Amerika geanalyseerd, weliswaar op een beperktere basis (Europese commissie, 2017). Het European Innovation Scoreboard wordt elk jaar gepubliceerd, waardoor het gemakkelijk is om nieuwe trends op vlak van vernieuwing of verschuivingen van landen op de rangschikking op de voet te volgen.

Het European Innovation Scoreboard, tussen 2010 en 2015 het Innovation Union Scoreboard genoemd, is een instrument waar landen vergeleken worden op basis van de mate waarin ze innovatie-prestaties verwezenlijken (Hollanders, Es-Sadki & Merkelbach, 2019a). Het rapport heeft als doel de relatieve sterktes en zwaktes van nationale innovatiesystemen in kaart te brengen en tracht landen te helpen met het identificeren van domeinen die extra aandacht verdienen (Europese Commissie, 2019). Op die manier kunnen nationale beleidsmakers een passend beleid uitstippelen om aan de aandachtspunten of zwaktes tegemoet te komen. Verder is er ook een interactieve online-tool van het European Innovation Scoreboard (EIS interactive tool, z.d.). Hierbij kunnen landen op verschillende scores vergeleken worden en kan een overzicht verkregen worden van de profielen van landen. Op deze manier kunnen relatieve sterktes, zwaktes, trends en zelfs correlaties tussen indicatoren worden geanalyseerd (Europese Commissie, 2019).

(14)

Theoretisch kader 14

2.1.1 Regional European Innovation Scoreboard

Op initiatief van de Europese commissie is eveneens het Regional Innovation Scoreboard ontwikkeld, een interessant project dat afgeleid is van het European Innovation Scoreboard. Deze publicatie beoordeelt opnieuw de innovatieprestaties, maar richt zich op regio’s in plaats van op lidstaten. Het gebruik van het Regional Innovation Scoreboard verschilt met het European Innovation Scoreboard omdat er een beperkter aantal indicatoren aan bod komen (Dijkstra, Annoni & Kozovska, 2011). Er worden slechts 18 van de 27 indicatoren van het European Innovation Scoreboard gebruikt. Verder wordt de regionale versie om de twee jaar gepubliceerd door de Europese Commissie, in plaats van jaarlijks zoals het European Innovation Scoreboard (Hollanders, Es-Sadki & Merkelbach, 2019b)

Het Regional Innovation scoreboard analyseert de innovatie-inspanningen die gedaan worden in 238 regio’s binnenin 23 Europese lidstaten, aangevuld met Noorwegen, Servië en Zwitserland (Europese Commissie, z.d.). Daarbovenop zijn ook Cyprus, Estland, Letland, Groothertogdom Luxembourg en Malta inbegrepen, weliswaar op landelijk niveau.

Hoewel deze masterproef hoofdzakelijk gefocust is op het European Innovation Scoreboard, is het Regional Innovation Scoreboard een interessant instrument om innovatie te bekijken in lidstaten met een geregionaliseerd beleid zoals België, Duitsland en Spanje. Om deze reden zal er in het empirisch onderzoek eveneens afgetoetst worden wat de invloed is van dit instrument op het Belgisch beleid en meer specifiek op het Vlaams beleid.

(15)

Theoretisch kader 15

2.2

De noodzaak en het belang van rangschikkingen

Het European Innovation Scoreboard is een van de vele rangschikkingen over innovatie. Vooraleer dieper in te gaan op de rangschikking van de Europese Commissie op het gebied van innovatie, kan er zich afgevraagd worden waarom er rangschikkingen gemaakt worden en wat daar nu het belang van is. Verder trachten we de nood aan rangschikkingen te kaderen vanuit het perspectief van beleid.

2.2.1 Rangschikkingen als deel van de menselijke natuur?

Het thema innovatie is zeker niet het enige thema waarvoor er uitgebreid rangschikkingen gemaakt worden, tegenwoordig bestaan er voor quasi elk thema, domein of markt (Bouton &

Kirchsteiger, 2015). Zo bestaan er rangschikkingen over onderwijs, economie, handel, universiteiten, happines, work-life balance, concurrentiekracht, rijkdom, armoede, kapitaal,

Een reden die de overvloed aan rangschikkingen verklaart, is het feit dat het maken van rangschikkingen of het categoriseren van zaken diep geworteld is in de natuur van de mens (Feldman, 2004). De mens hecht zeer veel belang aan het gevoel van superioriteit en ervaart eveneens een sociale druk om vergelijkingen te maken. Dit gedrag vertaalt zich eveneens in het rangschikken en categoriseren van zaken op vlak van belangrijkheid of superioriteit. Net om deze reden wordt vandaag bijna elk denkbaar thema of domein gerangschikt, vaak van de zwakste tot de sterkste (Feldman, 2004).

2.2.2 Invloed van rangschikkingen op beleid

Er wordt zeer veel belang gehecht aan rangschikkingen, dit wordt al snel duidelijk in volgend voorbeeld betreffende het onderwijsniveau in Vlaanderen. In de lente van 2019 werd er in de media uitgebreid verslag gedaan over het feit dat het Vlaams onderwijsniveau aanzienlijk gedaald was, terwijl het Vlaams onderwijsniveau sinds 2003 tot de absolute wereldtop behoorde. Dit ontketende enkele weken van verhitte politieke discussies aangezien deze daling in niveau onaanvaardbaar geacht werd (De Tijd, 2019). Vervolgens opperden beleidsmakers direct om het onderwijsniveau op te krikken (Regeerakkoord van de Vlaamse regering, 2019). Bovendien zorgt het bestaan van rangschikkingen ervoor dat competitie ontstaat (Cooley Snyder, 2015). Rangschikkingen geven aan wie het sterkst en het zwakst is gepositioneerd, dit

(16)

Theoretisch kader 16

kan een aanmoediging zijn om het beter te doen. De staatshoofden of regeringsleiders van landen die zeer zwak gerangschikt staan zullen zich genoodzaakt voelen om op een bepaald domein beter te presteren. Neem nu bijvoorbeeld de zeer invloedrijke index genaamd ‘The World Bank Ease of Doing Business Index’, die een rangschikking maakt op basis van hoe makkelijk het voor een bedrijf is om zich in een gegeven land te vestigen en van daaruit economische activiteiten te verrichten. In 2012 streefde de Russische president Vladimir Putin ernaar Rusland van de 120ste plaats naar de 50ste plaats te krijgen op de ‘Ease of Doing Business Index’ tegen 2015. Hoewel Rusland enkel gestegen was naar de 62ste plaats, bracht het toch een zeer opvallende wijziging in het beleid tot stand (Ghabib, 2019). Rangschikkingen hebben vanuit beleidsmatig perspectief de mogelijkheid om bestaand beleid aan te passen, zoals de voorbeelden van Rusland en het Vlaams onderwijs aantonen.

(17)

Theoretisch kader 17

2.3

Kritiek op internationale rangschikkingen

Rangschikkingen botsen vaak op heel wat kritiek. Naar aanleiding van dit onderzoek naar het European Innovation Scoreboard, is het interessant om de algemene kritieken op internationale rangschikkingen van landen weer te geven. Later in het theoretisch kader zal bovendien ingegaan worden op de kritieken op het EIS zelf.

2.3.1 Rangschikkingen zijn relatief

Wanneer regeringsleiders of staatshoofden van landen zich genoodzaakt voelen te stijgen in bepaalde rangschikkingen zoals in het voorbeeld van Rusland, kunnen er op korte termijn bepaalde wetten en administratieve regels goedgekeurd worden op een bepaald domein. Op deze manier hebben vele landen de mogelijkheid om snel te stijgen tegenover landen waar nieuwe wetten en regels minder snel worden ingevoerd. Op die manier kunnen sommige landen plots van het ene jaar op het andere snel in een ranglijst stijgen zonder langdurige en constructieve inspanningen te leveren (Cooley & Snyder, 2015). Een tweede kritiek die hierbij volledig aansluit is het feit dat rangschikkingen door hun relatieve aard vaak een vertekend beeld geven van de echte situatie (Tierney, 2013). Wanneer een land beter presteert op een bepaald domein dan in het jaar ervoor kan deze toch dalen op de rangschikking. Dit is weliswaar te verklaren doordat andere landen het relatief beter gedaan hebben en zo hoger op de rangschikking komen te staan.

2.3.2 Dataverzameling bij rangschikkingen

Een tweede punt van kritiek op rangschikkingen is dat de verzameling van data vaak nogal vaag is (Ghabib, 2019). Sommige thema’s vallen nu eenmaal zeer moeilijk te rangschikken en de methodes van het onderzoek verschillen vaak. Door de verschillende methodes komt de representativiteit van deze gegevens in het gedrang. Daarnaast zijn rangschikkingen vaak opgesteld na het afnemen van bevragingen van experten, wat geen objectieve data is. Verder ligt de focus van rangschikkingen maar al te vaak op de output, dit geeft vaak een vertekend beeld zoals bij het thema onderwijs. Het doel van onderwijs is zaken bijleren, maar bij het rangschikken van educatie wordt enkel gekeken naar de output. Op die manier wordt er gefocust op aspecten die niet het geheel weergeven waardoor de rangschikkingen zelf vaak een vertekend beeld van de realiteit tonen (Obessu, 2013).

(18)

Theoretisch kader 18

2.3.3 Mogelijke neveneffecten van rangschikkingen

Rangschikkingen brengen vaak heel wat gevolgen mee voor de zaken die gerangschikt worden zoals universiteiten, landen, regio’s enzoverder. Het is sterk uitgedrukt maar rangschikkingen kunnen de welvaart negatief beïnvloeden (Bouton & Kirchsteiger, 2015). In concreto, kunnen ze vooral de reputatie aantasten die vervolgens de welvaart aantast. Dit aspect is waarschijnlijk minder aanwezig bij internationale rangschikkingen met landen maar dient toch vermeld te worden.

De kritiek kan aangetoond worden door gebruik te maken van de volgende voorbeelden: Tripadvisor, een applicatie die restaurants en cafés op basis van klantenrecensies een rangschikking geeft, en de QS World University Ranking, die universiteiten rangschikt op basis van de onderwijskwaliteit. Deze rangschikkingen beïnvloeden de eindgebruiker. In deze voorbeelden zijn de eindgebruikers respectievelijk de klanten en de studenten. De eindgebruiker wordt vaak aangetrokken tot de best gerangschikte aangezien dit, zoals al vermeld, deel is van de natuur van de mens (Feldman, 2004). Hierdoor kunnen de restaurants, winkels of universiteiten die lager op de rangschikking staan klanten verliezen. Bovendien zal er sprake zijn van prijscompetitie en zullen de best gerangschikten hun prijzen verhogen doordat hun marktkracht aanzienlijk verhoogd is. Dit resulteert in een daling van de welvaart, vooral in het perspectief van de eindgebruiker aangezien die de rekening gepresenteerd krijgt (Bouton & Kirchsteiger, 2015). Dit toont duidelijk aan dat rangschikkingen zeker niet onschuldig zijn en vergaande gevolgen kunnen hebben.

(19)

Theoretisch kader 19

2.4

Ontstaansreden EIS: Lissabon strategie

Het EIS is ontstaan als een initiatief van de Europese Commissie, vanuit de nood om een comparatieve evaluatie te maken van de innovatie in Europese lidstaten. Sinds haar begin in 2001 heeft deze tool zeer veel veranderingen ondergaan (Adam, 2013). Het initiatief paste in het kader van de gekende Lissabonstrategie, gelanceerd in het jaar 2000 door de Europese staatshoofden en regeringsleiders.

De Lissabonstrategie had als doel de Europese Unie de meest competitieve en meest dynamische kenniseconomie te maken van de wereld, met de mogelijkheid om een blijvende economische groei te realiseren. Verder lag de focus van deze strategie ook op het creëren van meer jobs en een sterkere sociale cohesie (Committee of the Regions, z.d). Beleid op vlak van innovatie en onderzoek werden als de hoekstenen beschouwd van de strategie. De Lissabonstrategie was met andere woorden een plan om te groeien naar een kenniseconomie en -maatschappij door het verbeteren van beleid op het vlak van onderzoek en ontwikkeling. Bijkomend lag de focus op een volledige hervorming van de competitiviteit en innovatie van de Interne Markt, dus niet alleen op wereldniveau (Edler, 2012).

De bedoeling van de Lissabonstrategie was het organiseren van een gezamenlijke aanpak tussen de Europese lidstaten die op deze manier tot succes zou leiden (Papadimitriou & Copeland, 2012). Aangezien de Europese Unie, in tegenstelling tot de lidstaten, beperkte bevoegdheden heeft, was het niet evident om de Lissabonstrategie te verwezenlijken (Cohen-Tanugi, 2008). Om deze reden werd de Open Coördinatiemethode ingevoerd, een raamwerk om verschillende acties en initiatieven te organiseren en coördineren voor bepaalde zaken die het best op nationaal niveau kunnen worden ondernomen (Edler, 2012). Op die manier kunnen bijvoorbeeld ook best practices betreffende innovatie worden uitgewisseld tussen verschillende lidstaten.

Waarom is het European Innovation Scoreboard een product van de Lissabonstrategie? Het European innovation scoreboard hangt nauw samen met de Lissabonstrategie omdat er begin 2000 een hoge nood ontstond om de relatieve prestaties op het gebied van innovatie binnen de Europese Unie te meten. Vóór 2000 werden al pogingen ondernomen om Europese Innovatie te meten maar een echte relatieve meting tussen verschillende Europese lidstaten was er niet, ook van een gestructureerde aanpak was geen sprake. (Papadimitriou & Copeland,

(20)

Theoretisch kader 20 2012). Zoals reeds vermeld, streeft de Europese Unie met de Lissabonstrategie naar een absolute toppositie op vlak van een competitieve economie. De creatie van het European Innovation Scoreboard analyseert over de lidstaten heen de bestaande indicatoren die het mogelijk maken om de doelstelling van de Lissabonstrategie te verwezenlijken (Edler, 2012). Net om deze reden zijn het European Innovation Scoreboard en de Lissabonstrategie onlosmakelijk met elkaar verbonden .

(21)

Theoretisch kader 21

2.5

Innovatie: definitie

Vooraleer de werking van het meetsysteem van het European Innovation Scoreboard in detail besproken wordt, is het belangrijk te weten wat het woord innovatie inhoudt. Innovatie kan op tal van verschillende manieren geïnterpreteerd worden, maar volgens Eric von Hippel (2007) is innovatie de commerciële exploitatie van een nieuw product of dienst. Volgens Das en Teng (2008) is innovatie het produceren van nieuwe producten of diensten die commercieel haalbaar zijn en daardoor essentieel zijn om te overleven als bedrijf.

De definitie van innovatie die het European Innovation Scoreboard gebruikt is deze van de Oslo Manual. De Oslo Manual maakt een onderscheid tussen innovatie als output en de activiteiten waardoor innovaties ontstaan, de inputs.

Zodoende is innovatie “een nieuw product of proces dat significant verschilt met het vorige proces of product van een bepaalde entiteit dat beschikbaar gesteld is aan meerdere gebruikers of bedrijfsentiteiten” (OECD, 2018, p. 20).

Verder zal dieper ingegaan worden welke soort innovatie door het European Innovation Scoreboard wordt geanalyseerd en hoe deze gemeten wordt.

(22)

Theoretisch kader 22

2.6

Summary Innovation Index

Het European Innovation Scoreboard 2019 volgt dezelfde methodologie van 2018 (Hollanderset al,. 2019a). In dit rapport wordt de innovation performance of innovatie-prestatie gemeten aan de hand van een samengestelde indicator, de Summary Innovation Index. Deze belangrijke index vat de prestaties van een resem aan indicatoren samen om op die manier tot een rangschikking te komen. Hoe hoger de gemiddelde score op de indicatoren, des te hoger een lidstaat gerangschikt zal zijn.

De Summary Innovation Index van het European Innovation Scoreboard maakt een onderscheid tussen vier hoofdcategorieën van indicatoren om innovatie te meten: Kadervoorwaarden, Investeringen, Innovatie-activiteiten en Innovatie-impact (Roszko-Wotjowicz & Bialek, 2019a). Deze vier hoofdcategorieën worden opgedeeld in tien verschillende innovatiedimensies (zie figuur 1). Per innovatiedimensie zijn er eveneens meerdere bijhorende indicatoren aanwezig (zie figuur 2). Zo komt het European Innovation Scoreboard aan 27 indicatoren van zowel innovatie-inputs als -outputs (Roszko-Wotjowicz & Bialek, 2019).

(23)

Theoretisch kader 23 Figuur 2: Onderverdeling van de 10 innovatiedimensies met bijbehorende indicatoren.

(Roszko-Wotjowicz & Bialek, 2019)

(24)

Theoretisch kader 24

Om het European Innovation Scoreboard en zijn methodologie volledig te begrijpen is het belangrijk dat de vier hoofdcategorieën van innovatie met bijhorende dimensies en indicatoren, zoals weergegeven in figuur 2, worden uitgelegd.

2.6.1 Kadervoorwaarden

De categorie Kadervoorwaarden, ofwel framework conditions, behandelt de belangrijkste drijfveren voor innovatie en bestaat uit drie verschillende dimensies: Human Resources (personeelsbeleid), Aantrekkelijk Onderzoek (Attractive Research) en

Innovatie-vriendelijke Omgeving (Innovation-friendly Environment).

De eerste dimensie Human Resources bevat drie indicatoren en meet de beschikbaarheid van een bekwaam en opgeleid personeelsbestand. De dimensie Human Resources registreert de volgende indicatoren: Aantal gestarte doctoraat studenten, Bevolking tussen de 25 en 34 jaar met een opleiding hoger onderwijs en Bevolking tussen 25 en 64 jaar die deelnemen aan een opleiding of training (Hollanders et al., 2019a).

De tweede dimensie onder de categorie Kadervoorwaarden is de dimensie Aantrekkelijk

Onderzoek en meet de internationale competitie op vlak van wetenschap. Dit gebeurt aan de

hand van drie indicatoren: Aantal internationale wetenschappelijke publicaties, Meest geciteerde publicaties en Buitenlandse doctoraatstudenten.

De dimensie Innovatie-vriendelijke Omgeving gebruikt twee indicatoren voor het in kaart brengen van de omgeving waarin een bedrijf of organisatie werkt. De eerste indicator is Breedbandpenetratie, de mate waarin bedrijven of organisaties via internet of andere kanalen verbonden zijn. De tweede indicator is Opportuniteit-gedreven Ondernemerschap, dit meet de mate waarin individuen ondernemende activiteiten realiseren wanneer er zich kansen voordoen (Hollanders et al., 2019a).

2.6.2 Investeringen

De innovatiecategorie Investeringen omvatten zowel investeringen in de publieke als in de private sector. Hierbij wordt er een onderscheid gemaakt tussen twee innovatiedimensies:

Financiering & Ondersteuning en Bedrijfsinvesteringen. De dimensie Financiering en Ondersteuning bevat twee indicatoren: de eerste indicator Venture Capital Investments meet

(25)

Theoretisch kader 25

de beschikbaarheid van de financiering voor bepaalde innovatieprojecten door te kijken naar de kapitaaluitgaven van bedrijven. De tweede indicator R&D expenditure in the public sector bekijkt de steun van overheden aan onderzoeks- en innovatieactiviteiten. Dit gebeurt aan de hand van een analyse van de Onderzoek & Ontwikkeling-uitgaven (R&D) aan universiteiten en onderzoeksinstellingen van de overheid.

De tweede dimensie Bedrijfsinvesteringen, omvatten drie indicatoren van zowel R&D (R&D expenditure in the business secor) als niet R&D-investeringen (Non-R&D innovation expenditure) die bedrijven doen om innovaties te realiseren en de bedrijfsinspanningen om de ICT-vaardigheden van hun personeel te verbeteren (Enterprises providing training to develop or upgrade ICT skills of personnel) (Hollanders et al., 2019a).

2.6.3 Innovatie-activiteiten

De categorie Innovatie-activiteiten bevat drie dimensies of indicatoren die verschillende aspecten van innovatie in het bedrijfsleven weergeven. De eerste dimensie, Innovatoren, meet aan de hand van drie indicatoren het aantal KMO’s die innovaties hebben geïntroduceerd binnen hun organisatie of markt. Deze innovaties hebben betrekking op het product, het proces, marketing of de organisatie van het bedrijf.

De dimensie Verbindingen (Linkages) bevat drie indicatoren en meet de capaciteit om te innoveren door te kijken hoe er wordt samengewerkt tussen innoverende bedrijven, tussen private en publieke bedrijven en in welke mate de private sector bijdraagt in de financiering van publieke onderzoek -en ontwikkelingsactiviteiten.

De laatste dimensie van de categorie Innovatie-activiteiten, de intellectuele middelen, bevat verschillende vormen van intellectuele eigendomsrechten die voortvloeien vanuit de innovatieprocessen binnen bedrijven zoals merken en patenten (Hollanders et al., 2019a). 2.6.4 Innovatie-impact

De vierde en laatste categorie die deel uitmaakt van de Summary Innovation Index is de Impact of het Effect van Innovatie. Deze categorie geeft de impact weer van innovatie-activiteiten op de tewerkstelling en op de verkoop. Bij de dimensie Impact op de tewerkstelling wordt gebruik gemaakt van twee indicatoren; Tewerkstelling bij

(26)

Theoretisch kader 26 kennisintensieve tewerkstelling en Tewerkstelling bij snel groeiende bedrijven in de innovatieve sector (Hollanders et al., 2019a).

Bij de dimensie Impact op Verkoop kijkt het EIS naar de economische impact van innovatie en gebruikt hiervoor drie indicatoren waar de Export van hoogtechnologische producten, Kennisintensieve activiteiten en Verkoop door innovatieve activiteiten worden gemeten (Hollanders et al., 2019a).

(27)

Theoretisch kader 27

2.7

Composietindicatoren en beleid

Zoals vermeld rangschikt het European Innovation Scoreboard de landen aan de hand van de Summary Innovation Index, een samengestelde indicator (composite indicator) waarin verschillende categorieën vervat zitten. Wanneer al de 27 indicatoren geanalyseerd worden, is het mogelijk per land een samengestelde indicator voor nationale innovatie te genereren. Aan de hand van hun gemiddelde score op deze Summary Innovation Index worden de landen dan gerangschikt. De vraag stelt zich of een zogenaamde composietindicator een handig en bruikbaar middel is voor het voeren van beleid.

Indicators zijn sterk gelinkt aan beleid. Volgens Godin (2002) is er zelfs sprake van een wederzijdse interactie tussen beiden. De ontwikkeling van bepaalde indicatoren wordt gestuurd door beleidsnoden en beleidsdoelen, terwijl indicatoren ook het beleid zelf beïnvloeden (Godin, 2002). Op vlak van innovatiebeleid bestuderen beleidsmakers dan ook vaak meerdere indicatoren om innovatie en innovatieve capaciteiten te vergelijken. Vandaag zijn er zodanig veel soorten data en andere statistische gegevens beschikbaar dat het uitermate belangrijk wordt om de juiste relevante data te kiezen, zeker wanneer deze data gebruikt wordt om bepaalde beslissingen te nemen of zelf legitimeren (Vértesy, 2016). Dit past eveneens in de trend van evidence-based policymaking, waar beleidsbeslissingen gesteund zijn op objectieve data (Smet, 2013). Net door het overaanbod aan statistische data wordt graag gebruik gemaakt van composiet indicatoren. Ze zijn uitermate handig om multidimensionale thema’s te begrijpen, door ze te hervormen tot één of enkele dimensies. Om deze reden worden de composietindicatoren dan ook zeer vaak gebruikt door beleidsmakers wanneer het gaat over het thema innovatie (Vértesy, 2016).

Er zijn verschillende manieren waarom composietindicator beleidsmatige problemen kan in kaart brengen (Arundel & Hollanders, 2008). Ten eerste, zoals gezegd, zijn samengestelde indicatoren handig om multidimensionale thema’s zoals innovatie in kaart te brengen omdat ze de mogelijkheid bieden om complexe domeinen gemakkelijker te interpreteren. In het geval van innovatie is het bijzonder moeilijk om verschillende factoren afzonderlijk te interpreteren om een idee te krijgen over innovatie (Arundel & Hollanders, 2008). Ten tweede heeft een composietindicator het potentieel om andere indicatoren samen te vatten zonder dat er verlies is aan significante informatie en is een hulpmiddel om de aspecten van innovatie te analyseren (Saltelli, 2007; Ravallion, 2012). De composietindicator wordt bijgevolg veel gebruikt

(28)

Theoretisch kader 28

wanneer comparatieve analyses tussen verschillende landen gemaakt worden, zoals ook door de Global Innovation Index (Vértesy, 2016).

Aan composiet indicatoren wordt vaak de rol van ‘advocacy tool’ toegeschreven. Doordat deze indicatoren vaak veel media-aandacht krijgen, zijn ze een passend instrument om beleid te beïnvloeden (Saltelli, 2007;Vértesy, 2016). De invloed die media op beleid heeft, wordt daarom eveneens uitvoerig besproken in punt 2.13.

Maar helaas kent het gebruik van composiet indicatoren evenwel heel wat beperkingen. Bij het opstellen van composiet indicatoren moeten heel wat normatieve keuzes gemaakt worden in verband met welke statistische data gebruikt moet worden. Er is bijgevolg een grote nood aan duidelijkheid over de aanpak en strategieën van innovatiebeleid (Vértesy, 2016). De gebruikte composiet indicatoren in de Summary Innovation Index van het European Innovation Scoreboard stuiten dan ook op heel wat kritiek uit wetenschappelijke hoek, die in het volgende deel uitvoerig besproken wordt.

(29)

Theoretisch kader 29

2.8

Kritiek op European Innovation Scoreboard

Zoals gezegd wordt er zeer vaak kritiek geuit omtrent rankschikkingen. Aan kritiek ontsnapt ook het European Innovation Scoreboard niet. Het EIS wil met de comparatieve analyse een impact nalaten op beleid op vlak van innovatie. Toch komt er vanuit wetenschappelijke hoek kritiek op de Summary Innovation Index die gebruikt wordt door het EIS. Deze index, die zoals is vermeld, een interpretatie maakt van de innovatieprestaties, zou niet nuttig zijn voor beleidsmakers. Deze bevinding staat haaks op het doel van het European Innovation Scoreboard (Edquist & Zabala-Iturriagagoitia, 2015). Hoewel de SII al zeer veel is aangepast in verschillende uitgaven van het European Innovation Scoreboard om kritiek tegenmoet te komen, is deze nog steeds aan heel wat kritiek onderhevig.

De Summary Innovation Index is gebaseerd op 27 indicatoren die elk een aspect van innovatie proberen te vatten. De Summary Innovation Index neemt het gemiddelde van alle 27 indicatoren. Hoe hoger het algemeen gemiddelde op de index, des te beter de prestaties op vlak van innovatie worden beschouwd.

2.8.1 Defecten van de Summary Innovation Index

Een eerste punt van kritiek, die zeker en vast vermeld moet worden, is de manier waarop de Summary Innovation Index (SII) tot zijn rangschikking komt aan de hand van de composiet indicator. De score stijgt aanzienlijk wanneer een land meer bronnen als input voor innovatie geeft (Edquist & Zabala-Iturriagagoitia, 2015). Het meest precaire hieraan is dat de algemene score stijgt, zelfs wanneer extra inputs niet leiden tot meer outputs. Net om deze reden is het niet correct dat het European Innovation Scoreboard spreekt over de innovatieprestaties of performance spreekt, aangezien er geen verband nodig blijkt te zijn tussen inputs en outputs. Prestaties van een innovatiesysteem zouden enkel gemeten mogen worden door de efficiëntie van de ingezette middelen te analyseren (Edquist & Zabala-Iturriagagoitia, 2015). Puur methodisch gezien, kan de Summary Innovation Index van het European Innovation Scoreboard niet de innovatieprestatie of performance analyseren en al zeker niet door de inputs en outputs als een gemiddelde score weer te geven. De methode van het EIS is om deze reden voor beleidsmakers weinig zinvol en bovendien misleidend (Edquist & Zabala-Iturriagagoitia, 2015).

(30)

Theoretisch kader 30

Het voorbeeld van Zweden toont dit hiaat in de berekeningswijze van het European Scoreboard perfect aan. Zweden is volgens de Summary Innovation Index van het European Innovation Scoreboard de absolute leider op vlak van innovatiebeleid in Europa. Wanneer er echter gekeken wordt naar de efficiëntie van de innovatieprestaties, zijnde de verhouding tussen de inputs en gerealiseerde outputs volgens de berekening van Edquist en Zabala-Iturriagagoitia, staat Zweden maar op de 22ste plaats. Het land zet dus enorm veel bronnen in

om innovatie te stimuleren, maar bereikt daar relatief gezien weinig mee (Edquist & Zabala-Iturriagagoitia, 2015).

Het bovenstaande voorbeeld over Zweden bewijst dat het European Scoreboard geen goede weergave geeft van de werkelijkheid op vlak van innovatie en net om deze reden biedt dit instrument jammer genoeg een beperkte meerwaarde voor het voeren van beleid. Het voeren van een beleid is steeds specifiek bepaald voor een bepaalde context of situatie (Edquist, 2019). Om een gepast beleid te voeren is het belangrijk om te weten in welke huidige situatie men zich bevindt en welk doel er bereikt moet worden. Uit het European Innovation Scoreboard kan dus niet duidelijk worden afgeleid hoe een lidstaat effectief presteert op vlak van innovatie. Edquist et al. (2018) geven dan ook een zeer goede alternatieve berekeningswijze mee voor de Summary Innovation Index van het European Innovation Scoreboard. Hun berekeningswijze laat toe om Europese lidstaten te ranken op basis van hun echte innovatieperformance, namelijk met de minst mogelijke input een maximale output creëren.

2.8.2 Keuzes en gewicht van indicatoren

Bij de samenstelling van composietindicatoren dienen belangrijke normatieve keuzes gemaakt te worden betreffende welke relevante parameters opgenomen moeten worden en welke gewichten deze moeten worden toegekend (Saltelli et al, 2013). Sommige indicatoren die in de Summary Innovation Index opgenomen zijn, lijken weinig relevant om innovatie te meten zoals bijvoorbeeld de keuze om de innovatie bij KMO’s als indicator op te nemen. Dit is zeer verrassend aangezien voornamelijk grotere bedrijven en zelf multinationals, effectief zorgen voor meer innovatie. KMO’s implementeren naar verloop van tijd deze innovaties (Acs & Audretsch, 1988).

(31)

Theoretisch kader 31

Bovendien werd er gekozen om alle subindicatoren van het SSI éénzelfde gewicht toe te kennen om tot de gemiddelde score te komen, op die manier hebben alle 27 indicatoren een evenredige invloed op de uiteindelijke score (Vertesy, 2016). Wanneer alle inputs, throughputs en outputs als evenwaardig worden beschouwd, worden bepaalde uitgesproken sterktes en zwaktes van landen volledig geneutraliseerd (Grupp & Mogee, 2004). Op die manier geeft het European Innovation Scoreboard een vertekend beeld. De reden waarom gekozen wordt voor éénzelfde gewicht per indicator wordt daarbovenop nergens beargumenteerd door de ontwerpers van het European Innovation Scoreboard (Vértesy, 2016).

2.8.3 European Innovation Scoreboard handig voor beleid?

Doordat de Summary Innovation Index een groot aantal indicatoren gebruikt met een ruime definitie, gaat dit ten koste van hun kwaliteit en validiteit. Bovendien zorgt het gebruik van een composiet indicator voor een te simpele voorstelling van de echte situatie aangezien informatie verloren gaat door het samenvoegen van meerdere indicatoren (Vértesy, 2016).

Het EIS wil lidstaten net helpen met het optimaliseren van innovatiebeleid door aan te geven hoe er op nationaal niveau gepresteerd wordt. Hoe kan het EIS hulpvol zijn wanneer deze innovatie prestaties niet duidelijk gemeten zijn door al de tekortkomingen van de Summary Innovation Index? Uit al de voorgaande kritieken kan geconcludeerd worden dat het EIS door de vele tekortkomingen van de Summary Innovation Index niet altijd even handig is voor beleidsvoering, deze conclusie wordt eveneens onderbouwd door Edquist en Zabala- Iturriagagoita (Edquist & Zabala-Iturriagagoitia, 2018). Bovendien is het toch wel opvallend dat, hoewel de composiet indicator van het EIS al vele malen is herzien, er toch bijna geen verandering is in wat deze composietindicator van innovatie omvat (Vértesy , 2016). De kritiek op het EIS kan afgesloten worden met een passende quote: “Het ontwerpen van een scoreboard is meer een kunst dan een wetenschap (Grupp & Mogee, 2004, p. 91).

(32)

Theoretisch kader 32

2.9

EIS: Soorten innovators

De gemiddelde score van de indicatoren van de Summary Innovation Index bepalen de rangschikking van de landen op vlak van innovatie. Het European Innovation Scoreboard splitst de Europese lidstaten op in vier categorieën op basis van hun score.

De best presterende landen op vlak van het domein innovatie noemt men de innovation leaders of innovatieleiders. Deze lidstaten scoren meer dan 20 procent hoger dan het Europees gemiddelde. Volgens het EIS is Zweden de Europese leider op vlak van innovatie, gevolgd door Finland, Denemarken en buurlanden Nederland en Luxembourg. Strong innovators of sterke innovatoren zijn de lidstaten met een innovatieprestatie tussen de 90 en 120 % van het Europees gemiddelde. Frankrijk, Ierland, Duitsland, Oostenrijk, Groot-Brittannië en ook België behoren tot deze groep sterke innovatoren (Hollanders et al., 2019a).

Moderate innovators of gematigde innovatoren scoren tussen de 50 en 90 procent van het Europees gemiddelde, deze landen dienen nog een aantal inspanningen te doen om veranderingen teweeg te brengen in hun innovatiebeleid. Tot deze groep behoren Spanje, Italië, Polen, Tsjechië, Hongarije, Litouwen, Slovakije, Letland, Cyprus en Malta (Hollanders et al., 2019a).

Modest of bescheiden innovatoren zijn de groep landen die op vlak van innovatie lager scoren dan 50% van het Europees gemiddelde. Deze landen onderpresteren op het thema innovatie en dienen extra stappen te ondernemen om het niveau op te krikken. Enkele Oost-Europese landen zoals Roemenië en Bulgarije behoren tot deze groep (Hollanders et al., 2019a).

Aan deze indeling van soorten innovatoren dient nogmaals een kritische noot toegevoegd te worden. Leiders op vlak van innovatie kunnen zeer zwak scoren in een bepaalde dimensie maar deze relatieve zwakte kan gemakkelijk gecompenseerd worden door op andere dimensies hoog te scoren. Net daarom is het belangrijk dat er voor elke groep van indicatoren gekeken wordt naar de verschillende dimensies en niet enkel naar het geheel (Interreg, 2018). Deze kritiek sluit bijgevolg aan bij de algemene kritiek op de samengestelde indicator Summary Innovation Index.

(33)

Theoretisch kader 33

2.10

EIS: gelijkaardige rangschikkingen

2.10.1 Het begin van innovatiemetingen

Het European Innovation Scoreboard is niet het enige en al zeker niet het nieuwste instrument dat een internationale rankschikking maakt binnen het thema van innovatie. De geschiedenis van het verzamelen en analyseren van gegevens over wetenschap en technologie (Science & Technology) dateert van de jaren ’50 en ’60 (Adam, 2013). De Amerikaanse overheid en meerbepaald de National Science Foundation creëerde als eerste verschillende indicatoren om de sterktes en zwaktes van wetenschap en technologie te meten. Deze trachten toen de capaciteit en de prestaties van Amerikaanse bedrijven in kaart te brengen (Godin, 2003). Deze publicatie had een wereldwijde impact en de ideeën van deze publicatie werd overgenomen door vele landen. In 1984 startte de Organisatie voor Economische Samenwerking en Ontwikkeling (OECD/OESO) eveneens met het publiceren van Science en Technology indicatoren, in 1994 volgde Eurostat (Godin, 2003).

De eerste publicatie die een poging ondernam om gegevens over innovatie, meer specifiek onderzoek en ontwikkeling, weer te geven was de Frascati Manual. Deze publicatie reikt een methode aan om data over onderzoek en ontwikkeling te verzamelen en te gebruiken. Deze methode, mits enkele herwerkingen, is vandaag internationaal geaccepteerd en is een essentieel instrument voor statistici en innovatie-beleidsmakers. Wel beperkt deze publicatie zich tot het analyseren van Onderzoek & Ontwikkeling, de output van innovatie wordt niet in beschouwing genomen. De Frascati Manual werd ontworpen en gepubliceerd door de Organisatie voor Economische Samenwerking en ontwikkeling (OECD, 2015).

Vanuit het perspectief van het European Innovation Scoreboard mag de Olso Manual absoluut niet vergeten worden. Deze handleiding is eveneens gepubliceerd door de OESO/OECD in samenwerking met Eurostat en is internationaal erkend voor de aangereikte methode om statistieken over innovatie te verzamelen en te gebruiken. De aanpak over het meten van innovatie zijn opgenomen door organisaties en onderzoeken over de hele wereld. Bovendien zijn er tot nu toe innovatiesurveys, gebaseerd op de Oslo Manual,uitgevoerd in meer dan 80 landen (OECD, 2018).

(34)

Theoretisch kader 34

2.10.2 Global Innovation Index (GII)

Het European Innovation Scoreboard is niet het enige instrument die de mate van innovatie van landen meet om vervolgens een internationale rangschikking te maken. De Global Innovation Index meet eveneens innovatie om beleid te assisteren in het creëren van langdurige groei, verbeterde productiviteit en jobcreatie en is uitgegroeid tot één van de meest toonaangevende referenties op vlak van innovatie (Global Innovation Index, 2019). De GII wordt gepubliceerd door de Universiteit van Cornell, INSEAD, en WIPO en het meet de innovatie van 129 landen in de publicatie van 2019.

De Global Innovation Index bestaat uit een rangschikking van deze 129 landen volgens de innovatiecapaciteiten en resultaten. De GII wil verder het menselijke aspect die innovatie mogelijk maakt begrijpen om op deze manier handige informatie te geven voor het voeren van beleid (Global Innovation Index, 2019). In vergelijking met het European Innovation Scoreboard wil de Global Innovation Index innovatie in kaart brengen over de hele wereld. Dit gebeurt aan de hand van ongeveer 80 indicatoren die, zoals ook het EIS doet, zijn samengebracht in een composiet indicator. Een bijzonder groot verschil echter is dat het Global Innovation Scoreboard aan indicatoren wel een gewicht hangt. Op die manier wegen sommige indicatoren zwaarder door op de gemiddelde score van een land (Vértesy, 2016). 2.10.3 The Innovation Output Indicator (IOI)

De Innovation Output Indicator (IOI) werd voor het eerst in 2013 door de Europese Commissie geïntroduceerd. Deze indicator kwam tot stand om tegemoet te komen aan de kritiek dat de Europese Commissie, zo ook het EIS, teveel nadruk legde op de inputzijde van innovatie. Deze indicator meet de mate waarin ideeën van innovatieve sectoren doorstoten tot het marktniveau en zodoende meer jobs creëren en Europa als geheel competitiever maken (Eurostat, 2014). De IOI wil met deze informatie beleidsmakers ondersteunen om knelpunten aan te pakken die ervoor zouden zorgen dat innovaties de markt niet bereiken (Vértesy, 2016). De Innovation Output Indicator maakt opnieuw een rangschikking van zowel Europese landen als andere belangrijke wereldeconomieën zoals Japan, de Verenigde Staten van Amerika en Israël (Eurostat, 2014).

The Innovation Output Indicator wordt door de Europese Commissie als een aanvulling op het European Innovation Scoreboard gezien aangezien het, in tegenstelling tot het EIS, focust

(35)

Theoretisch kader 35

op innovatie outputs (Eurostat, 2014). Het is net zoals de Global Innovation Index en het European Innovation Scorebord gebaseerd op een composiet indicator. De composiet indicator bevat maar vier componenten: technologische innovatie, tewerkstelling in kennisintensieve activiteiten, competitie van kennisintensieve goederen en diensten en als laatste tewerkstelling in snelgroeiende innovatieve bedrijven (Eurostat, 2014). De vier indicatoren zijn eveneens gewogen, opnieuw in tegenstelling tot het EIS.

Een uitgebreide studie van Janger et al. concludeerde dat de Innovation Output Indicator nogal wat tekortschiet in het meten van innovatie output (2017). Het IOI wordt niet echt als meerwaarde gezien voor beleidsmakers aangezien het bijvoorbeeld weinig zegt over hoe succesvol een land is op vlak van innovatie outputs en of deze innovatie-outputs zich vertalen naar resultaten. De studie concludeerde eveneens dat het IOI mogelijk beleidsmakers kan misleiden om in innovatie te investeren (Janger et al. 2017). Het is toch wel opvallend dat zowel het EIS als het IOI, beiden opgesteld in opdracht Europese Commissie om beleidsmakers te helpen, als misleidend voor beleidsmakers wordt bestempeld (Janger et al. 2017; Edquist et al. 2018).

(36)

Theoretisch kader 36

2.11

European Innovation Scoreboard en België

2.11.1 Innovatie: een gewestelijke bevoegdheid

Volgens de bijzondere wet tot hervorming der instellingen1 zijn de gewesten in België bevoegd voor het technologisch en industrieel basisonderzoek, de ontwikkeling van prototypes, nieuwe producten en productieprocessen, de verspreiding en de overdracht van technologieën en de technologische innovatie. Het thema innovatie is zodoende een bevoegdheid van de gewesten. Zij kunnen elk hun innovatiebeleid bepalen. Voor het Vlaams gewest worden de krijtlijnen van het innovatiebeleid bepaald door de Vlaamse regering in samenspraak met het Vlaams parlement.

2.11.2 Prestaties België volgens het EIS

Op vlak van innovatie behoort geheel België al geruime tijd tot de groep van sterke innovatoren, dit is niet anders voor het European Innovation Scoreboard 2019. België behaalt net zoals bijna al haar buurlanden een score tussen de 90 en 120% van het Europees gemiddelde, enkel Nederland doet nog beter. Enkele relatieve sterktes van België tegenover andere Europese lidstaten zijn volgens de laatste editie van het European Innovation Scoreboard de samenwerkingen tussen KMO’s, publiek-private co-publicaties, publieke O&O-uitgaven, bedrijfsinvesteringen, innovatiegedrag van KMO’s, aantrekkelijke onderzoekssystemen en de impact van innovatie op omzet (Europese Commissie, 2019a).

De relatieve zwaktes waar België op vlak van beleid nog sterker kan op inzetten zijn volgens het EIS de impact van innovatie op de werkgelegenheid, het intellectueel kapitaal en innovatievriendelijke omgeving (Europese Commissie, 2019a).

Om specifiek naar Vlaanderen te kijken worden de resultaten uit het Regional Innovation Scoreboard 2019 voor het Vlaams en Brussels Hoofdstedelijk gewest bekeken. Het Vlaams gewest wordt als een sterk innoverende regio bestempeld en blinkt uit in de indicatoren innovatiegedrag van KMO’s, wetenschappelijke publicaties en publiek-private publicaties. innovatie van producten en processen en uitgaves voor O&O-uitgaven in de bedrijfssector (Europese Commissie, 2019b). Het Brussels Hoofdstedelijk gewest is de sterkst presterende

(37)

Theoretisch kader 37

regio in België en behoort tot de innovatieleiders. Dit gewest scoort sterk op de indicatoren wetenschappelijke publicaties, innovatiegedrag van KMO’s en personen met een tertiaire opleiding.

Het Waals gewest is de minst sterke innoverende regio van België, maar behoort zoals het Vlaams gewest tot de groep van sterk innoverende regio’s binnen de Europese Unie. Het gewest blinkt uit in innovatiegedrag van KMO’s, innovatie van producten en processen en uitgaves voor O&O-uitgaven in de bedrijfssector.

2.11.3 Waar komen de gegevens uit het EIS vandaan?

Het European Innovation Scoreboard maakt gebruik van een grote hoeveelheid aan secundaire gegevens. De meest recente statistieken zijn steeds afkomstig van de database Eurostat en andere gevestigde bronnen zoals de Organisatie voor Economisch Samenwerking en Ontwikkeling (OECD) en de Verenigde Naties (Hollanders et al., 2019a). Het bureau voor de statistiek van de Europese Unie, Eurostat, bundelt de gegevens van de nationale bureaus van statistiek van de Europese lidstaten evenals van de andere landen die zijn opgenomen in het rapport van de EIS. Andere internationale bronnen worden voornamelijk gebruikt om de vergelijkbaarheid tussen landen te verbeteren (Hollander et al., 2019).

Het is interessant op te merken dat de gegevens van het EIS 2019 volledig zijn voor alle 27 lidstaten, iets wat in voorgaande edities niet altijd het geval was. Verder worden de statistieken van Eurostat gebruikt in talrijke wetenschappelijke publicaties, net daarom stelt Eurostat de statistieken gratis beschikbaar voor beleidsmakers en burgers. (Eurostat, z.d.)

De regio’s in België verzamelen zelf de gegevens zoals O&O en andere innovatiegegevens omdat zij voor dit thema bevoegd zijn. Verder wordt de rapportering van de Belgische innovatietechnieken in het European Innovation Scoreboard gecoördineerd door de programmatorische federale overheidsdienst Wetenschapsbeleid. Ook voor Het Regional Innovation Scoreboard verzamelt deze overheidsdienst alle gegevens om door te geven aan Eurostat (Belspo, z.d.)

(38)

Theoretisch kader 38

2.12

Evidence-based Beleid

Evidence-based beleid is een term die afgelopen jaren steeds vaker genoemd wordt wanneer overheidsbeleid wordt ontwikkeld of uitgevoerd. De trend van evidence-based beleid zien we niet alleen in België, zowel federaal als regionaal, maar ook op Europees niveau. De Europese Commissie gebruikt deze term maar al te graag bij het nemen van beleidsbeslissingen (Europese Commissie, 2015). Vooraleer hierop dieper ingegaan wordt, dient beleid of beleidsvoering gekaderd te worden. Beleid is het geheel van gecoördineerde besluiten om bepaalde doelen, met een bepaald aantal middelen, te bereiken (Ensie, 2012). De overheid en meerbepaald de regering, gesteund door het parlement, maken bepaalde keuzes hoe ze bepaalde doelen, bijvoorbeeld op vlak van innovatie, willen bereiken.

2.12.1 Wat is evidence-based beleid?

Evidence-based beleid betekent dat beslissingen van beleidsmakers steeds gebaseerd moeten zijn op ‘evidence’ ofwel wetenschappelijke kennis (Burssens, 2007). Dit beleid is bijgevolg gesteund op wetenschappelijke inputs, die gedurende alle beleidsfases worden aangereikt, om beleidsbeslissingen zo goed mogelijk te nemen (Leicester, 1999; Nutley & Davies, 1999; Pawson 2006). Op deze manier vermijden beleidsmakers speculatieve of ‘opinion based’ beslissingen omdat ze steeds weten welke effecten een bepaald initiatief zal teweegbrengen (Burssens, 2007). Bij evidence-based beleid wordt gebruik gemaakt van wetenschappelijk onderzoek, de voorkeur wordt hierbij gegeven aan sterk kwantitatieve onderzoeken (Nutley & Davies, 1999).

Er dient kritisch met evidence-based beleid omgegaan te worden. Bij evidence-based beleid wordt de voorkeur gegeven aan wetenschappelijk onderzoek. Net daardoor gaan beleidsmakers in mindere mate rekening houden met de mening van deskundigen of andere minder sterk onderbouwde theorieën (Davies et al., 2000; Burssens, 2007).

Maken beleidsmakers dan zomaar de beste keuzes, enkel en alleen omdat ze zich baseren op wetenschappelijk onderzoek? Vandaag lijkt het bijna vanzelfsprekend dat via de wetenschap het antwoord op elk beleidsdilemma gevonden wordt. Toch kan ook de wetenschap de sociale realiteit niet volledig bevatten, aangezien wetenschappelijke onderzoeken zich voornamelijk afspelen in een geïsoleerde setting (Burssens, 2007). Bovendien kunnen niet alle effecten of gevolgen van beleid gemeten worden, iets wat nefast is voor evidence-based beleid. Ook

(39)

Theoretisch kader 39

zullen ethische kwesties, die vaak aanwezig zijn in beleid, beduidend minder aandacht krijgen (Burssens, 2007).

Zoals is verduidelijkt, creëert evidence-based beleid een relatie tussen wetenschappers en beleidsmakers aangezien wetenschappelijke onderzoek beslissingen van beleidsmakers beïnvloeden (Goris, 2007). Het is dan ook zeer belangrijk dat wetenschappelijk onderzoek neutraal en op een objectieve manier gebeurt, opdat de beleidsvoering niet beïnvloed wordt. Evidence-based beleid mag niet zo maar alles wat de wetenschap vertelt als waarheid aannemen (Burssens, 2007). Ook de Europese Commissie, een fervente voorstander van evidence-based beleid, stelt via haar Joint Research Center (JRC) dat beleid gebaseerd op wetenschap genuanceerd moet worden (Zubascu, 2019). De toegenomen complexiteit van beleidsvraagstukken en het steeds grotere aanbod aan wetenschappelijk onderzoek bemoeilijken het maken van beslissingen. Communicatie tussen wetenschappers en beleidsmakers loopt vaak stroef en daarbovenop begrijpen beleidsmakers niet altijd de wetenschappelijke informatie. Dit reduceert de mogelijkheid van overheden om de juiste beslissingen te nemen (Zubascu, 2019).

2.12.2 Evidence-based beleid in België

De interesse in evidence-based beleid is ook in België sterk aanwezig (Smet, 2013). Sinds begin 2000 werd vanuit de Vlaamse overheid meer belang gehecht aan beleid dat wetenschappelijk onderbouwd is. Dit resulteerde in het oprichten van de Steunpunten voor Beleidsrelevant Onderzoek en de Studiedienst voor de Vlaamse regering (Departement Economie, Wetenschap en Innovatie,, 2003). Volgens onderzoek van Smet komt de term Evidence-based policy ook regelmatig voor in het Vlaamse beleidslandschap, maar zijn er onvoldoende aanwijzingen dat er op Vlaams niveau echt aan evidence-based beleid gedaan wordt (Smet, 2013). Het is echter wel vaker aanwezig in beleidsdomeinen waar naar internationaal veel aandacht gaat, zoals bijvoorbeeld onderwijs en welzijn (De Peuter, 2008).

(40)

Theoretisch kader 40

2.13

Invloed van media op beleid

Omdat deze masterproef tracht te onderzoeken in welke mate het European Innovation Scoreboard wordt opgepikt door beleid in België en dit eveneens tracht te verklaren, is het bijzonder interessant om even een uitbreiding te maken naar de link tussen media en beleidsvoering. In 2.6 werd verteld dat composietindicatoren, zoals de Summary Innovation index van het EIS, de rol hebben van advocacy tools: ze krijgen vaak veel media-aandacht waardoor zij het beleid beïnvloeden (Saltelli, 2007;Vértesy, 2016). Net daarom dient de invloed van de media op beleid uitgelegd te worden. Op deze manier kan deze literatuur mogelijks helpen bij het interpreteren of verklaren van resultaten uit de empirische studie. 2.13.1 Media als vierde macht

Beleid wordt beïnvloed door een groot aantal sociale en economische factoren. De invloed van de media en meer specifiek de massamedia op beleid mag echter niet vergeten worden. De media wordt daarom ook wel de vierde macht genoemd omdat zij voor een kritische connectie zorgt tussen de overheid en de burgers (Soroka, Lawlor, Farnsworth, Young, 2012). Via de media komen burgers te weten op welke manieren een bepaald beleid hun leven zal beïnvloeden. Ook de overheid krijgt via de media feedback over het gevoerde beleid (Association of Accredited Public Policy Advocates to the European Union, 2013). Vaak gaat men ervan uit dat de media enkel invloed heeft op de beginfase van beleidsvoering zoals bijvoorbeeld de agenda-setting. Toch is de invloed van de media aanwezig doorheen het volledige beleidsproces (Soroka et al., 2012).

Hoe kan beleid beïnvloed worden door de media? De media heeft de mogelijkheid om grote publieke aandacht te trekken en te behouden voor bepaalde wicked issues. Ze zijn in staat het verloop van bepaalde beleidskeuzes te sturen door bepaalde problematieken in de spotlight te plaatsen. Op die manier kan ze het publiek overtuigen voor een bepaald beleid of net ontmoedigen. Bovendien kan de media ervoor zorgen dat bepaalde personen die betrokkenen zijn in het beleidsproces in de kijker worden gezet, dit kan mogelijks in hun voordeel werken maar kan hen eveneens verhinderen (Soroka et al. 2012).

2.13.2 Media bepaalt de beleidsagenda

Een belangrijk aspect van de relatie tussen media en beleid is de invloed van de media op de agenda-setting. Agenda-setting is de eerste stap in het beleidsproces. Deze stap bepaalt

Afbeelding

Figuur 1  4 hoofdcategorieën met 10 innovatiedimensies  p. 22  Figuur 2  10 innovatiedimensies met bijhorende indicatoren  p

Figuur 1

4 hoofdcategorieën met 10 innovatiedimensies p. 22 Figuur 2 10 innovatiedimensies met bijhorende indicatoren p p.7
Figuur 1: 4 hoofdcategorieën met 10 innovatiedimensies (EWI, 2019)

Figuur 1:

4 hoofdcategorieën met 10 innovatiedimensies (EWI, 2019) p.22
Tabel 1: Resultaten “EIS” in databank Vlaams Parlement

Tabel 1:

Resultaten “EIS” in databank Vlaams Parlement p.46
Tabel 3: Resultaten “RIS” in databank Vlaams Parlement

Tabel 3:

Resultaten “RIS” in databank Vlaams Parlement p.48
Tabel 4: Vergelijking resultaten ”EIS” en “RIS”

Tabel 4:

Vergelijking resultaten ”EIS” en “RIS” p.49
Tabel 6: Resultaten “IOI” in Databank Vlaams parlement

Tabel 6:

Resultaten “IOI” in Databank Vlaams parlement p.50
Tabel 7: Vergelijking resultaten EIS, RIS, GII, IOI in databank Vlaams parlement

Tabel 7:

Vergelijking resultaten EIS, RIS, GII, IOI in databank Vlaams parlement p.51
Tabel 8: Zoekresultaten “PISA” in databank Vlaamse overheid

Tabel 8:

Zoekresultaten “PISA” in databank Vlaamse overheid p.52
Tabel 9: Resultaten “EIS” en “IUS” in databanken federale overheid

Tabel 9:

Resultaten “EIS” en “IUS” in databanken federale overheid p.53
Tabel 11: Resultaten “GII” in databanken federale overheid

Tabel 11:

Resultaten “GII” in databanken federale overheid p.54
Tabel 12: Resultaten “IOI” in databanken federale overheid

Tabel 12:

Resultaten “IOI” in databanken federale overheid p.54
Tabel 10: Resultaten “RIS” in databanken federale overheid

Tabel 10:

Resultaten “RIS” in databanken federale overheid p.54
Tabel 13: Resultaten “PISA” in databanken federale overheid

Tabel 13:

Resultaten “PISA” in databanken federale overheid p.55
Tabel 14: Gebruik EIS en RIS in Belgische regio’s

Tabel 14:

Gebruik EIS en RIS in Belgische regio’s p.56
Tabel 15: Vermeldingen EIS, RIS, GII en PISA in Vlaamse media

Tabel 15:

Vermeldingen EIS, RIS, GII en PISA in Vlaamse media p.57

Referenties

  1. https://ssrn.com/abstract=1504510
  2. http://www.aalep.eu/media%E2%80%99s-role-policymaking-process
  3. n http://www.oecd.org/sti/ind/29396423.pdf
  4. https://www.belspo.be/belspo/index_nl.stm
  5. https://www.researchgate.net/publication/290808997_Agenda_setting_in_public_policy
  6. https://doi.org/10.3386/w21083
  7. n https://cor.europa.eu/en/our-work/Documents/Our-work/lisbon-treaty.pdf
  8. https://cor.europa.eu/en/our-work/Documents/Our-work/lisbon-treaty.pdf
  9. http://www.parlement.brussels/?lang=nl
  10. n https://dekamer.be
  11. n https://www.senate.be/
  12. https://www.vlaamsparlement.be/
  13. http://www.parlementwallonie.be
  14. n https://www.ewi-vlaanderen.be/nieuws/european-innovation-scoreboard-2019
  15. 188. https://doi.org/10.1057/9781137272164_10
  16. 211. https://doi.org/10.1093/reseval/rvy011
  17. https://data.europa.eu/euodp/en/data/dataset/european-innovation-scoreboard-2019/resource/7226c410-98b2-4c7d-ae8c-6d01db203b84
  18. https://data.europa.eu/euodp/en/data/dataset/european-innovation-scoreboard-2019/resource/7226c410-98b2-4c7d-ae8c-6d01db203b84
  19. n https://www.ensie.nl/redactie-ensie/beleid
  20. n https://ec.europa.eu/youth/policy/implementation/policy-making_en
  21. n https://ec.europa.eu/jrc/en/publication/evidence-based-policy-making-european-commission
  22. https://ec.europa.eu/jrc/en/publication/evidence-based-policy-making-european-commission
  23. https://ec.europa.eu/commission/presscorner/detail/en/MEMO_17_1674
  24. n https://ec.europa.eu/growth/industry/policy/innovation/scoreboards_en
  25. https://ec.europa.eu/commission/presscorner/detail/en/QANDA_19_2998
  26. n https://ec.europa.eu/growth/industry/policy/innovation/regional_en
  27. n https://ec.europa.eu/eurostat/statistics-explained/index.php/Glossary:Innovation_output_indicator_(IOI)%60
  28. https://ec.europa.eu/eurostat/statistics-explained/index.php/Glossary:Innovation_output_indicator_(IOI)%60
  29. n https://ec.europa.eu/eurostat/home
  30. https://www.kmworld.com/Articles/Editorial/Features/Why-categorize-9580.aspx
Gerelateerde onderwerpen :