Operationalisatie afhankelijke variabele ‘formele autonomie’

Om de afhankelijke variabele, formele autonomie te construeren is geput uit bestaand werk van auteurs die zich met dit thema bezig hebben gehouden, zoals Hanretty en Koop (2012), Elgie en McManamin (2005) en Gilardi (2002). Hanretty en Koop brachten in 2012 verschillende onderzoeken in kaart die ingaan op het meten van formele autonomie, zoals is weergegeven de tabel op de volgende pagina.

34 Tabel 3.1.

Indicatoren voor formele onafhankelijkheid (Hanretty & Koop, 2012, p. 200).

Hoewel Hanretty en Koop (2012) ook ingaan op indicatoren voor de formele onafhankelijkheid van centrale banken, rechtbanken en in het bijzonder telecomtoezichthouders, is er voor gekozen om het werk van Gilardi (2002) en Elgie en McMenamin (2005) als uitgangspunt te nemen. De gemene deler in de onderzoeken betreft de aandacht voor variabelen op het gebied van management (in het bijzonder de rol van directeuren en directies) en de bevoegdheden van een toezichthouder. Uit de dataset (Cobra Joint Database, 2011) zijn, op basis van de theorieën van Gilardi (2002) en Elgie en McMenamin (2005), zestien variabelen uit de dataset geselecteerd op het gebied van de rol van directeur en directies, de toezichtrelatie met de overheid en de organisationele- en beleidsautonomie van toezichthouders. Omdat het onderzoek ingaat op de formele onafhankelijkheid van toezichthouders, is er bewust niet gewerkt met perceptieve variabelen, maar met variabelen die ingaan op structuren, bevoegdheden en regels etc. Omdat er discrepantie kan bestaan tussen de werkelijke onafhankelijkheid (waar perceptieve variabelen op ingaan) en de formele onafhankelijkheid, zou een vermenging van deze indicatoren kunnen leiden tot een meetschaal met twee onderliggende (latente) factoren, wat de betrouwbaarheid van het onderzoek zou aantasten.

Op basis van drie domeinen (rol van directeur en directies, toezichtrelatie met de overheid en organisationele- en beleidsautonomie autonomie), zijn zestien variabelen geselecteerd. Na het eventuele ompolen van variabelen, is gepoogd een factoranalyse uit te voeren om onderliggende latente variabelen te ontdekken. Vanwege het hoge percentage missende waarnemingen op bepaalde variabelen, was dit niet mogelijk, daarom zijn variabelen met een percentage missings van boven de 63% verwijderd. Omdat de patronen van missings onder de zestien variabelen niet gerandomiseerd zijn op basis van de missing value analysis, maar er veelal sprake is van geclusterde missings (bijvoorbeeld per land), is ervoor gekozen om geen gebruik te maken van imputatietechnieken. De imputatie van missende scores, het vervangen van missings door een waarde die gebaseerd is op de verdeling binnen de variabele, is een manier om de bruikbaarheid van de data te vergroten, maar is om bovenstaande reden en het hoge aantal missings waarvan sprake is, achterwege gelaten omdat het de betrouwbaarheid van concluderende uitspraken te veel aantast.

Op basis van de overgebleven twaalf variabelen (in dezelfde subdomeinen) is op velerlei manieren geprobeerd om een schaal te construeren die bestaat uit enkele variabelen per subdomein, maar de Cronbach’s alfa-waarde bleef schommelen tussen .4 en .6.

35 Ook het samenvoegen van variabelen of het transformeren van ordinale variabelen naar nominale (dichotome) variabelen, en deze vervolgens opnemen in de betrouwbaarheidsanalyse heeft niet mogen baten. Daarnaast speelt het feit dat de betrouwbaarheidstest cases met één of meer missings op de geïncludeerde variabele uitsluit van de toetsing een belangrijke rol. Wanneer dit het geval is, komt de werking van de betrouwbaarheidstoets in het geding gezien het vast stellen van de betrouwbaarheid van de schaal in zo’n geval slechts wordt gebaseerd op een fractie van de waarnemingen, wat de betrouwbaarheid van het onderzoek beïnvloedt.

Op basis deze ervaringen en de experimenten met de variabelen voor formele onafhankelijkheid, is besloten om het gebruik van één schaal voor formele autonomie, achterwege te laten. In plaats daarvan zijn voor de drie domeinen (rol van directeur en directies, organisationele- en beleidsautonomie autonomie en de toezichtrelatie met de overheid), drie aparte schalen geconstrueerd. Het voordeel van deze aanpak is dat er gericht drie deelaspecten van formele onafhankelijkheid kunnen worden gemeten omdat de interne samenhang effectief kan worden vastgesteld in tegenstelling tot de aanpak met één schaal. De internationale vergelijking zal zodoende beter uit de verf komen omdat er binnen de verschillende landen hetzelfde wordt gemeten. Dit vergemakkelijkt tevens het trekken van duidelijke conclusies. Het nadeel van de aanpak is het feit dat het effect van de landkenmerken op het begrip ‘formele onafhankelijkheid’, niet zonder meer kan worden vastgesteld en dat de analyse moet volstaan met het toetsen van de effecten op drie deelaspecten van het begrip formele autonomie. Deze keuzes zijn gemaakt omwille van de betrouwbaarheid van het onderzoek. In onderstaande tabel wordt de operationalisatie van formele onafhankelijkheid weergegeven.

Tabel 3.2

Operationalisatie formele onafhankelijkheid op basis van Gilardi (2002) en Elgie en McMenamin (2005).

Dimensie/subschaal Indicatoren Numerieke

codering

A) Overheidsrol m.b.t. directeuren en 1) Type of contract for CEO

directies § fixed term 0.00

§ permanent contract 1.00

2) Board composition: central government with voting rights

§ yes 0.00

§ no 1.00

3) Board composition: other governmental representatives with voting rights

§ yes 0.00

§ no 1.00

B) Organisationele

autonomie/beleidsautonomie

1) Policy autonomy: choice of target groups

§ parent ministry 0.00

§ parent ministry after consultation 0.20 § organisation under restrictions 0.40 § organisation after consultation 0.60 § organisation, ministry slightly involved 0.80

§ organisation 1.00

§ neither 99

2) Policy autonomy: choice of policy instruments

§ parent ministry 0.00

§ parent ministry after consultation 0.20 § organisation under restrictions 0.40 § organisation after consultation 0.60 § organisation, ministry slightly involved 0.80

§ organisation 1.00

36

Dimensie/subschaal Indicatoren Numerieke

codering 3) Policy autonomy: who decides on organizations'

tasks?

§ parent ministry 0.00

§ parent ministry after consultation 0.20 § organisation under restrictions 0.40 § organisation after consultation 0.60 § organisation, ministry slightly involved 0.80

§ organisation 1.00

§ neither 99

C)Toezichtrelatie/ evaluatie- verplichtingen

1) Parent ministry evaluates results?

§ yes 0.00

§ no 1.00

2) CEO evaluation by government or parliament?a

§ yes 0.00

§ no 1.00

Noot. a _{Deze variabele is ontstaan door ‘CEO evaluation by government’ en ‘CEO evaluation by parliament’} te integreren. De nieuwe variabele krijgt een waarde 0.00 wanneer op één van de twee (of beiden) oude variabelen ‘ja’ is geantwoord.

Wanneer we de drie subschalen individueel bezien, kan er gesteld worden dat ze alle drie betrouwbare schalen zijn voor het meten van de deelaspecten van formele onafhankelijkheid. De betrouwbaarheidstoets voor de eerste schaal (overheidsrol m.b.t. directeuren en directies), komt uit op een Cronbach’s alpha-waarde van .73. De tweede schaal (organisationele- en beleidsautonomie) komt uit op een Cronbach’s alpha-waarde van .64 en de derde schaal (toezichtrelatie/ evaluatieverplichtingen) op een Cronbach’s alpha-waarde van .62. Vanuit praktisch oogpunt wordt de minder conservatie norm van Cronbach’s alpha ≥ .6 gehanteerd voor schaalbetrouwbaarheid. Een overzicht van de verschillende betrouwbaarheidstoetsen met betrekking tot de afhankelijke variabelen is opgenomen in bijlage 3. Voor de drie deelschalen zijn de waarden op de betreffende variabelen bij elkaar opgeteld en gedeeld door het aantal variabelen. In het geval van missende data, zal het aantal waarnemingen worden gedeeld door het aantal variabelen van de schaal waarvan de metingen wel bekend zijn.