De ABS-methode voor modelselectie : een beoordeling van de combinatie van AIC, SBIC en SIIC

Een beoordeling van de combinatie van AIC, SBIC en SIIC

Een bachelorscriptie door

Laura Ruis

10158006

Onder leiding van

dhr. dr. P.H.F.M. van Casteren Voor de

Faculteit Economie en Bedrijfskunde Universiteit van Amsterdam

Twee van de meest gebruikte modelselectiecriteria, AIC en SBIC, worden in deze paper gecombineerd. Samen met het selectiecriterium SIICω vormen zij de

ABS-methode. Deze methode biedt een oplossing voor het probleem wanneer AIC en SBIC het niet eens zijn over het beste model. Met behulp van een krimpparameter wordt een theoretisch optimale tussenpositie tussen AIC en SBIC bereikt. De prestatie van de ABS-methode in de praktijk wordt onderzocht met behulp van een out-of-sample-forecastanalyse. Hiervoor worden dertig onafhankelijke groepen data uit de ‘Medical Expenditure Panel Survey’ gebruikt. Er wordt op basis van verschillende beoordelings-criteria geconcludeerd dat de ABS-methode een verbeterde modelselectiemethode is.

Hierbij verklaar ik, Laura Ruis, dat ik deze scriptie zelf geschreven heb en dat ik de volledige verantwoordelijkheid op me neem voor de inhoud ervan. Ik bevestig dat de tekst en het werk dat in deze scriptie gepresenteerd wordt origineel is en dat ik geen gebruik heb gemaakt van andere bronnen dan die welke in de tekst en in de referenties worden genoemd. De Faculteit Economie en Bedrijfskunde is alleen verantwoordelijk voor de begeleiding tot het inleveren van de scriptie, niet voor de inhoud.

Abstract i

Verklaring eigen werk ii

1 Introductie 1

2 Een zoektocht naar optimale modelselectie 4

2.1 Problemen met puur statistische modelselectie . . . 4

2.2 Selectiecriteria gebaseerd op een verliesfunctie . . . 5

2.2.1 Akaike’s Information Criterion . . . 5

2.2.2 Schwarz’ Bayesian Information Criterion . . . 7

2.2.3 Vergelijking van AIC en SBIC . . . 8

2.3 Zoektocht naar een uniforme aanpak . . . 9

2.3.1 Krimpschatting . . . 9

2.3.2 Afleiding van SIIC . . . 10

2.3.3 De ABS-methode: Een combinatie van AIC, SBIC en SIIC . . . . 14

2.3.4 Asymptotiek van de ABS-methode . . . 15

3 De ABS-methode empirisch onderzocht 17 3.1 Het modelselectieprobleem . . . 17

3.1.1 Modelselectie op drie manieren . . . 18

3.2 Methode van beoordeling . . . 19

3.2.1 Het voorspellen van medische uitgaven . . . 21

4 Een beoordeling van de ABS-methode 23 4.1 De geselecteerde modellen . . . 23

4.2 Een analyse van de voorspelfouten . . . 25

4.3 De prestatie van de ABS-methode . . . 27

5 Conclusie 29

Bibliografie 31

Introductie

De laatste jaren zijn er door de opkomst van ‘big data’ steeds meer data die worden opgeslagen en die gebruikt kunnen worden als verklarende variabelen in een model. Om economische verbanden te kwantificeren wordt in de econometrie vaak een regressiemodel gebruikt. Een belangrijke praktische toepassing van een regressiemodel is het voorspellen van de waarde van een afhankelijke variabele met behulp van ´e´en of meerdere verklarende variabelen. Uit economische theorie kunnen vaak vele verklarende variabelen worden gevonden waarvan gedacht wordt dat ze van invloed zijn, de een met een groter effect dan de ander. Hoe meer variabelen, hoe beter het model de data beschrijft. Maar meer variabelen is niet altijd beter.

Van groter belang dan de data perfect beschrijven, is de onderliggende relatie tussen de afhankelijke variabelen en de verklarende variabelen identificeren. Een belangrijke vraag bij deze toepassing is: hoeveel verklarende variabelen moeten er in het model worden opgenomen zodat er een goede voorspelling kan worden gedaan? Dit is een oud vraagstuk waar veel onderzoek naar is gedaan en wordt ook wel het probleem van modelselectie genoemd.

Er zijn reeds vele modelselectiecriteria ontwikkeld die het mogelijk maken een keuze te maken tussen verschillende modellen. Sommige criteria selecteren modellen op basis van statistische kenmerken, andere op basis van een doelstelling, zoals de voorspelkwa-liteit van het model. De meest gebruikte selectiecriteria zijn Akaike’s Information Cri-terion (AIC) en Schwarz Bayesian Information CriCri-terion (SBIC), welke een afweging tussen vertekening en variantie maken. AIC en SBIC kunnen allebei onder bepaalde voorwaarden optimale modelselectie bewerkstelligen. Echter, de modellen die door AIC en SBIC worden geselecteerd zijn in de praktijk niet altijd hetzelfde. Wanneer AIC en

SBIC het niet eens zijn over het beste model zou een keuze tussen deze modellen maken betekenen dat er kennis moet zijn over de mate waarin aan de voorwaarden is voldaan. Deze kennis is er in de praktijk niet en wanneer AIC en SBIC een verschillend model selecteren blijft de vraag welk model het beste is.

Dit probleem vraagt om een uniforme aanpak voor modelselectie, onafhankelijk van assumpties die vaak lastig kunnen worden gerechtvaardigd. Van Casteren (1996) construeert in zijn onderzoek een nieuw selectiecriterium (Set-Independent Information Criterion, SIIC) gebaseerd op een verliesfunctie. Bij SIIC wordt gebruik gemaakt van een krimpschatting, gemotiveerd door a priori geloof dat de te schatten variabele dicht-bij een bepaalde natuurlijke origine ligt. Om de zuivere schatter dichterdicht-bij deze origine te brengen, wordt gebruikgemaakt van een krimpparameter. Als gevolg is SIIC een familie van selectiecriteria, afhankelijk van de waarde van de krimpparameter. Wanneer het probleem opduikt dat AIC en SBIC het oneens zijn over het beste model, kan met behulp van een combinatie van AIC, SBIC en SIIC een theoretisch optimale tussen-positie tussen de twee worden bereikt. De vraag die in deze paper wordt onderzocht is hoe goed deze combinatie in de praktijk werkt wanneer een model als doel heeft de waarde van een afhankelijke variabele voorspellen, bij gegeven waarden van verklarende variabelen.

Wanneer een model het doel heeft zo goed mogelijk te voorspellen, kan het worden beoordeeld op basis van de grootte van de voorspelfouten. Het doel van een modelselec-tiecriterium is het beste model selecteren en het kan worden beoordeeld op hoe vaak het gebruik ervan leidt tot selectie van het model met de kleinste voorspelfouten. Hiernaast kan het beoordeeld worden op de gemiddelde grootte van de voorspelfouten gegenereerd door de modellen geselecteerd met deze methode. Om SIIC te beoordelen wordt gebruik gemaakt van out-of-sample-forecastanalyse. De dataset die hierbij gebruikt wordt is de ‘Medical Expenditure Panel Survey’ (MEPS). Dit is een grote dataset met informatie over de medische uitgaven van families en individuen. Om de relatie tussen de medische uitgaven en de verklarende variabelen vast te leggen wordt een model geconstrueerd waarmee voorspellingen kunnen worden gedaan. Vervolgens worden er modellen gese-lecteerd met de combinatie van AIC, SBIC en SIIC. Er wordt gekeken naar hoe vaak het model met de kleinste voorspelfouten wordt gekozen en hoe groot deze fouten zijn. Ook wordt er gekeken naar hoe vaak SBIC en AIC het beste model selecteren en hoe groot de voorspelfouten daarmee zijn, om te kunnen beoordelen of de combinatie een verbetering is. Aan de hand van de resultaten worden conclusies getrokken over de

kwaliteit van deze nieuwe methode van modelselectie. Er wordt gestreefd naar een goed onderbouwde, verbeterde methode van modelselectie.

Deze paper is als volgt ingericht. In hoofdstuk 2 wordt de geschiedenis van de modelselectie behandeld, waaruit de vraag naar een uniforme aanpak blijkt. De voor-waarden waaronder AIC en SBIC optimaal zijn worden behandeld en de aanpak van Van Casteren wordt toegelicht. Met behulp van het criterium van Van Casteren wordt een nieuwe manier van modelselectie voorgesteld. In hoofdstuk 3 wordt vervolgens de methode van het onderzoek naar deze nieuwe methode beschreven. In dit hoofdstuk worden ook de gebruikte dataset en de modellen die deze dataset beschrijven nader toegelicht. In hoofdstuk 4 worden de resultaten van het onderzoek weergegeven en ge¨ınterpreteerd, waarna de modelselectiemethode wordt beoordeeld. Tot slot wordt in hoofdstuk 5 de conclusie gegeven.

Een zoektocht naar optimale

modelselectie

De geschiedenis van het onderzoek naar modelselectiecriteria is zeer uitgebreid. Middels een behandeling van de meest bekende criteria wordt in dit hoofdstuk duidelijk dat er vraag is naar een uniforme aanpak van modelselectie, onafhankelijk van lastig te recht-vaardigen assumpties. Na statistische modelselectie in hoofdstuk 2.1 wordt in hoofdstuk 2.2 gekeken naar selectie op basis van doelstellingen van een model. De motivering en afleiding van de bekendste selectiecriteria AIC en SBIC wordt hierin behandeld. Voor het probleem dat ontstaat wanneer deze criteria het niet eens zijn wordt een nieuwe me-thode van modelselectie voorgesteld in hoofdstuk 2.3.3. Deze meme-thode maakt gebruik van het criterium SIIC van Van Casteren, waarvan de afleiding wordt behandeld in hoofdstuk 2.3.2. Dit criterium bevat een krimpschatting, waarvan de motivering eerst wordt toegelicht in hoofdstuk 2.3.1. In hoofdstuk 2.3.3 wordt de nieuwe methode van modelselectie toegelicht en de asymptotische eigenschappen daarvan worden beschreven in hoofdstuk 2.3.4. Aan het eind van hoofdstuk 2 heeft men kennis over hoe de metho-dologie van modelselectie zich heeft ontwikkeld. Dit biedt een basis voor een onderzoek waarin een nieuwe manier van modelselectie wordt beoordeeld.

2.1

Problemen met puur statistische modelselectie

Modelselectie geschiedt in eerste instantie op basis van economische theorie. Vanuit deze theorie kan a priori worden bepaald welke variabelen effect hebben op de variabele die verklaard moet worden. Het is echter belangrijk statistisch bewijs te vinden dat

deze variabelen een significant effect hebben. Om de vraag te beantwoorden hoeveel van de variantie in de afhankelijke variabele verklaard kan worden door de verklarende variabelen bestaat de determinatieco¨effici¨ent R2. Wanneer deze gemaximaliseerd wordt, krijgt men echter te maken met ‘overfitting’ en geeft meer variabelen toevoegen altijd een betere R2. Hierom kwam Theil (1958) met de adjusted R squared ( ¯R2), een maat die een straf geeft voor het aantal variabelen in het model. De kritiek op deze methode is dat het een puur statistische maat is die niet gebaseerd is op de doelen van regres-siemodellen, zoals voorspellen. Bovendien voorkomt de adjusted R squared niet dat er irrelevante regressoren worden opgenomen in het model. Deze tekortkomingen hebben modelselectiecriteria gemotiveerd gebaseerd op een verliesfunctie.

2.2

Selectiecriteria gebaseerd op een verliesfunctie

Mallows (1973) leidt zijn selectiecriterium voor regressiemodellen Cp af van de

verwach-ting van de geschaalde som van voorspelfouten, een maat voor de kwaliteit van een voorspelling. Het beste model volgens Cp is het model met de kleinste voorspelfouten.

Akaike (1974) heeft kritiek op de manier waarop Mallows de variantie schat bij de ope-rationalisering van zijn criterium. Volgens hem wordt er hierbij subjectief geoordeeld en hij stelt een informatiecriterium voor likelihood modellen voor waarbij dat niet nodig is.

2.2.1 Akaike’s Information Criterion

Het criterium van Akaike, AIC, gaat er vanuit dat het ware model niet bestaat. Het doel van modelselectie is dan ook niet het ware model identificeren, maar er goede voorspellingen mee maken. De basis van AIC is de Kullback-Leibler (Kullback en Leibler 1951, K-L) afstand tussen twee dichtheden:

I[f, p(θk)] = Eyf (y) − Eylog p(y|θk; Wk) (2.1)

Wanneer de K-L afstand tussen een model en het ware model zo klein mogelijk is, is het model optimaal. Vergelijking (2.1) is de K-L afstand tussen de verwachting van het ware model (Eyf (y)) en een mogelijk model (het kandidaat-model, Eylog p(y|θk; Wk)).

Hierbij zijn y waarden uit de ware verdeling en Ey is de verwachting van de verdeling

Kuha (2004) leidt uit de K-L functie de doelwaarde die AIC probeert te schatten af. Hij operationaliseert de strategie van het kiezen van het model dat het dichtst bij het ware model ligt. Dit wordt gedaan door de parameters van de dichtheden θk

uit de K-L functies te vervangen door maximumlikelihoodschatters ˆθk. Ook wordt het

verschil genomen van de K-L afstanden van twee kandidaat-modellen. Hierdoor valt de onbekende constante factor (Eyf (y)), die gelijk is voor beide kandidaat-modellen, weg.

De doelwaarde die AIC volgens Kuha tracht te benaderen is:

DWA= 2ExEy[log p(y|ˆθ2x, W2)−log p(y|ˆθx1, W1)] ≈ 2[l(ˆθ2)−l(ˆθ1)]−(k2−k1)(1+

n n01

) = AICe

(2.2) Hierbij zijn y en x waarden uit verschillende hypothetische steekproeven uit dezelfde ware verdeling en Ey en Ex zijn de verwachtingen hiervan. Er wordt uitgegaan van

verschillende hypothetische steekproeven, omdat het schatten van ˆθk en het beoordelen

van de fit van het resulterende model uit eenzelfde steekproef leidt tot een voorkeur voor grotere modellen (Kuha, 2004). De kandidaat-modellen zijn W1 en W2 en de met

maximumlikelihood geschatte parameters hiervan zijn ˆθ1 en ˆθ2. De term rechts van het

gelijkheidsteken is het verschil tussen de geschatte K-L afstanden van de kandidaat-modellen, waarbij log p(y|ˆθ_kx, Wk) de maximum loglikelihood van model k is. Als DWA

positief is, is de verwachte K-L afstand tussen model twee (W2) en het ware model

kleiner, en als DWA negatief is, is de K-L afstand tussen model ´e´en (W1) en het ware

model kleiner.

De doelwaarde DWA wordt benaderd met AICe, geformuleerd aan de rechterkant

van het benaderingsteken in vergelijking (2.2). De eerste term is hier het verschil tussen de maximum loglikelihoods van de modellen, aangegeven met l(ˆθk). Dit is

vermenigvul-digd met twee om zo op dezelfde schaal te zijn als de likelihood ratio statistic (Kuha, 2004). Hiervan wordt het verschil in aantal parameters maal 1+_n1

01 afgetrokken, waarbij

n01de grootte van een hypothetische steekproef is (Kuha, 2004). Wanneer n01 = n geldt

dat AICe= AIC. Omdat met het model geselecteerd door AIC asymptotisch de

klein-ste voorspelfouten worden gegenereerd, is AIC asymptotisch effici¨ent. Een makkelijk te berekenen vorm van AIC wordt gegeven door Burnham en Anderson (1998).

AIC = n ln (RSS/n) + 2(k1+ 1) (2.3)

Hierbij is k1 het aantal parameters in het model, waarbij de variantie niet wordt

meege-teld als parameter. RSS staat voor de residuele kwadratensom van het kandidaat-model. Bij de benadering van de doelwaarde van AIC wordt veelvuldig gebruikgemaakt van maximumlikelihoodschatters. Schwarz (1978) stelt dat maximumlikelihood bij het kiezen van de dimensie van een model altijd het grootste model kiest en daarom niet goed is. Hij ontwikkelt zijn eigen selectiecriterium.

2.2.2 Schwarz’ Bayesian Information Criterion

Het selectiecriterium dat Schwarz ontwikkelt, SBIC, gaat uit van het bestaan van een waar model en behelst een Bayesiaanse aanpak. Bayesiaanse schatting van een parameter θkgaat uit van een a-priori-kansverdeling van de dichtheid van de parameter. Deze wordt

vervolgens omgezet in een a-posteriori-kansverdeling met behulp van informatie uit data. Wanneer de aanname wordt gedaan dat er een waar model bestaat gaat modelselectie om het vergelijken van de kans dat een bepaald model het ware model is. Dit gebeurt met de volgende ratio:

p(W2|D) p(W1|D) = p(D|W2) p(D|W1) p(W2) p(W1) (2.4) Hierbij wordt de uitdrukking aan de linkerkant ‘posterior odds’ genoemd en de tweede term aan de rechter kant ‘prior odds’. In (2.4) worden de ‘prior odds’ omgezet in ‘posterior odds’ met behulp van een ratio dat de Bayes-factor wordt genoemd. Dit is een maat voor het bewijs dat de data geeft voor het ene model over het andere model. De doelwaarde die SBIC tracht te benaderen wordt ook door Kuha (2004) afgeleid. Deze komt voort uit een transformatie van de Bayes-factor. De transformatie is weer zodat de doelwaarde op dezelfde schaal is als de likelihood ratio statistic: DWB = 2 logp(D|W_p(D|W2)

1).

Voor positieve waarden van DWB is de kans groter dat W2 het ware model is en voor

negatieve waarden is de kans groter dat W1 het ware model is.

Deze doelwaarde moet worden geoperationaliseerd. Daar de dichtheden in de Bayes-factor vaak geen eindige integralen zijn, worden deze benaderd met een Lapla-cebenadering (Tierney en Kadane 1986). Hieruit leidt Kuha vervolgens de benadering van de doelwaarde af.

DWB ≈ 2[l(ˆθ2) − l(ˆθ1)] − (k2− k1) log (1 +

n n02

) = BICe (2.5)

alleen toepasbaar te zijn voor bepaalde prior verdelingen. De n02 is hier een constante

factor. Voor SBIC wordt de ‘unit information prior’ verdeling aangenomen en geldt n02 = 1 (Kass en Wasserman 1995). In zijn onderzoek toont Kuha echter aan dat

SBIC ook een goede benadering van de doelwaarde is wanneer het gemiddelde en de variantie niet gelijk zijn aan die van de prior verdeling, maar er wel dichtbij liggen (Kuha, 2004).

Wanneer de steekproef groot is, kan het voorkomen dat SBIC een te grote straf geeft voor het aantal parameters en hierom heeft SBIC een voorkeur voor kleinere modellen. In een oneindig grote steekproef is de kans dat het ware model wordt geselec-teerd met SBIC ´e´en. Dit betekent dat SBIC consistent is en een goede schatting van de doelwaarde in grote steekproeven. Ook voor SBIC geven Burnham en Anderson een toegankelijke uitdrukking voor het geval van normaal verdeelde storingstermen:

SBIC = n ln (RSS/n) + ln n(k1+ 1) (2.6)

Met behulp van de uitdrukking in (2.6) wordt duidelijk dat SBIC een grotere straf geeft dan AIC voor het aantal parameters en een voorkeur heeft voor kleinere modellen (wanneer geldt dat n > 7). Nu beide selectiecriteria afgeleid zijn kunnen ze worden vergeleken.

2.2.3 Vergelijking van AIC en SBIC

Zoals aangetoond door Kuha zijn AIC en SBIC allebei onder bepaalde omstandigheden een goede benadering van de doelwaarde en dus optimaal. Het doel van SBIC is het identificeren van het ware model, terwijl het doel van AIC is het model te selecteren dat het beste de afhankelijke variabele voorspelt. SBIC is typisch consistent (e.g. Shibata 1976, Nishii 1984 and Kuha 2004), maar AIC niet. De term die een straf geeft voor het aantal parameters bij AIC stijgt niet snel genoeg als functie van n (Hannah en Quinn 1979, Kuha 2004), waardoor AIC sneller grotere modellen selecteert. AIC is asymptotisch effici¨ent en SBIC niet (Shibata 1981). Dit betekent dat de verwachte gemiddelde kwadratische voorspelfouten van de modellen die AIC selecteert minimaal zijn (Kuha 2004).

Wanneer AIC en SBIC het eens zijn over een model geeft dit bewijs voor de robuustheid van een model, maar als ze het niet eens zijn geeft het ook waardevolle informatie, door grenzen te stellen aan de mogelijke dimensie van de modellen (Kuha

2004). E´en van de criteria gebruiken kan alleen als er aannames worden gedaan over het data-genererende proces. Wanneer wordt geloofd dat er een waar model is dat de data beschrijft kan SBIC het beste zijn, maar als wordt geloofd dat het ware model niet bestaat is, kan juist een op voorspellen gebaseerd criterium als AIC beter zijn. Een goede aanpak is dus simultaan gebruikmaken van beide criteria. Wanneer zij allebei hetzelfde model aanwijzen als het beste model is de keuze duidelijk, maar wanneer zij het oneens zijn over het beste model is onduidelijk welk model gekozen moet worden. Dit probleem heeft de vraag naar een uniforme aanpak van modelselectie teweeg gebracht.

2.3

Zoektocht naar een uniforme aanpak

Een belangrijke bijdrage aan een uniforme aanpak wordt geleverd door Amemiya (1980). Hij verbetert het criterium Cp van Mallows (1973). In zijn onderzoek baseert hij twee

criteria op de ‘unconditional mean squared prediction error’ (UMSPE). De eerste is P C (‘Prediction Criterion’) en is gebaseerd op het minimaliseren van het minimale risico. De tweede is M C (‘Mallows’ Criterion’) en is een lineaire transformatie van Cp. In zijn

onderzoek toont Amemiya aan dat AIC, Cp en ¯R2 transformaties van schattingen van de UMSPE zijn. Ook toont hij aan dat alle criteria gebaseerd zijn op enigszins arbitraire assumpties die niet altijd kunnen worden gerechtvaardigd.

Het probleem met M C is dat het afhankelijk is van de set van mogelijke regresso-ren. Een selectiecriterium onafhankelijk van deze set is gewenst. Van Casteren (1996) bouwt voort aan de aanpak van Amemiya. Als doelwaarde voor zijn criterium neemt hij een kwadratische verliesfunctie die kan worden gezien als theoretische maatstaf van de voorspelkwaliteit van een model. Deze verliesfunctie operationaliseert hij middels een krimpschatting en een schatting van de variantie. Hieruit wordt door Van Casteren het modelselectiecriterium SIIC afgeleid, waarvan de kwaliteit wordt onderzocht in deze paper. In hoofdstuk 2.3.1 wordt een theoretisch kader om een krimpschatting gevormd, alvorens de afleiding van SIIC wordt besproken in hoofdstuk 2.3.2.

2.3.1 Krimpschatting

Om een goede schatting te zijn van de doelwaarde is het belangrijk dat de parameters juist worden geschat. Binnen de behandelde criteria worden veelvuldig parameters ge-schat met zuivere ge-schatters. Bartlett (1955) liet zien dat men substantieel dichter bij de ware waarde kan komen met onzuivere schatters dan met zuivere en Karlin (1958) liet

dit nog eens zien met een krimpschatting. Thompson (1968) heeft in zijn paper gekeken naar de adviseerbaarheid van het krimpen van een ’minimum variance unbiased linear estimator’ (MVULE) naar een natuurlijke origine door hem te vermenigvuldigen met een krimp factor 0 < c ≤ 1. Een krimpschatting is niet zuiver, maar is beter wanneer de te schatten parameter dichtbij een natuurlijk origine is en slechter wanneer deze hier verder vandaan ligt. Wanneer de parameter dicht bij de natuurlijke origine ligt zorgt een krimpschatting voor een lagere ‘mean squared error’ (MSE) (Thompson 1968). Een krimpschatting is gerechtvaardigd wanneer er a priori geloof is dat de parameter dichtbij deze origine ligt.

Stel dat het doel is om de parameter φ zo goed mogelijk te schatten en dat ˆφ een zuivere schatter van de parameter is. Zo goed mogelijk schatten komt neer op het minimaliseren van de MSE van de schatter. Wanneer er a priori geloof is dat φ dichtbij de natuurlijke origine φn = 0 ligt kan een krimpschatting worden overwogen. Er kan

zonder verlies van generaliteit worden aangetoond dat de MSE van de krimpschatter kleiner is dan die van de zuivere schatter wanneer φ dichtbij zijn natuurlijke origine ligt (Van Casteren, 1994, p.52). De krimpparameter ω voldoet aan 0 < ω ≤ 1 en de krimpschatter van φ is dan ω ˆφ. In de afleiding van zijn selectiecriterium maakt Van Casteren gebruik van deze krimpparameter.

2.3.2 Afleiding van SIIC

Het modelselectiecriterium SIIC wordt afgeleid door minimalisering van een verlies-functie. Deze verliesfunctie wordt vervolgens geoperationaliseerd door schatting van de onbekende parameters uit de functie. De methoden die Van Casteren gebruikt bij het operationaliseren van de verliesfunctie maakt SIIC uniek. Door het gebruik van een krimpschatter is het criterium een familie van mogelijke selectiecriteria met als bijzon-dere gevallen AIC en SBIC, bij bepaalde keuzes voor de krimpparameter. Bovendien wordt het probleem van afhankelijkheid van de set van mogelijke regressoren bij de cri-teria van Mallows en Amemiya opgelost. De afleiding van het criterium wordt in dit hoofdstuk besproken aan de hand van het onderzoek van Van Casteren (1996).

In zijn onderzoek gaat Van Casteren uit van het volgende lineaire reressiemodel als foutloze weergave van de werkelijkheid:

Hierbij is y = (y1, ..., yn) een vector van waarden van de afhankelijke variabele en X

een k × n matrix van de verklarende variabelen. De vector β = (β1, ..., βk) bevat de

co¨effici¨enten en deze beschrijven het effect van de verklarende variabelen op de af-hankelijke variabele. Voor de vector  = (1, ..., n) geldt E[] = 0, E[2i] = σ2 en

E[ij] = 0 : i 6= j (witte ruis). De waarden van β,  en E[2i] = σ2 zijn onbekend.

Met behulp van de kleinstekwadratenmethode kan men de waarden van β schatten als ˆ

β = (X0X)−1X0y. Het probleem van modelselectie is dan de vraag hoeveel variabelen men moet gebruiken bij de schatting van de waarden van β. Het is mogelijk om alle vari-abelen in X te gebruiken, maar wellicht is het beter om de minder belangrijke varivari-abelen weg te laten.

Modelselectie wordt beschreven als het kiezen van een matrix X1 ∈ X met k1

vectoren, waarbij k1≤ k. Dan is X1de matrix onder weglating van de minder belangrijke

variabelen en wordt β geschat door ˆβ1 = (X10X1)−1X10y. Een goede basis van een

selectiecriterium is zo klein mogelijke voorspelfouten. Uit deze doelstelling volgt dat X1∈ X zodanig moet worden gekozen dat de voorspelfouten minimaal zijn, bij gegeven

waarden van X. Voorspelfouten worden gedefinieerd als het verschil tussen de ware waarde van de afhankelijke variabele en de geschatte waarde: yp−x0pβˆ1. De kwaliteit van

het gekozen model kan beoordeeld worden op de verwachte kwadratische voorspelfouten:

ρp= E[(yp− x0pβˆ1)2] (2.8)

Hierbij is yp de te voorspellen waarde van de afhankelijke variabele en onbekend, x0p

is de vector van waarnemingen die daarbij horen. Wanneer wordt geconditioneerd op de waarden xp en door te veronderstellen dat xp onafhankelijk is van y, laat Van

Cas-teren (1996, p. 105-106) zien dat de verwachte kwadratische voorspelfout kan worden omgeschreven naar:

ρp= σ2+ E[(X ˆβ1− E[X ˆβ1])0(X ˆβ1− E[X ˆβ1])]/n (2.9)

ρp = σ2+ σ2k1/n + γ1/n (2.10)

De verwachte kwadratische voorspelfout (2.10) is nu opgebouwd uit drie componenten. De eerste component is de variantie van de te voorspellen waarden yp. De tweede

com-ponent is de gemiddelde variantie van de schatting van yp: x0iβˆ1. De laatste component

M1 = I − X1(X10X1)−1X10. Deze derde component kan worden gezien als de gemiddelde

kwadratische vertekening van de schatting van yp. Dit betekent dat (2.10) kan worden

gezien als de som van de variantie van de afhankelijke variabele, de gemiddelde variantie van de schatting en de gemiddelde kwadratische vertekening.

Het doel van zo goed mogelijk voorspellen kan worden bereikt door (2.10) te mini-maliseren. In de huidige vorm is dat niet mogelijk, daar de waarden van de componenten niet bekend zijn. De verwachte kwadratische voorspelfout moet worden geoperationa-liseerd. Van Casteren (1996, p. 107) stelt hierbij dat de waarde van (2.10) zelf niet van belang is, maar de waarde van het verschil in kwadratische voorspelfout tussen twee modellen waaruit gekozen moet worden. Het probleem van modelselectie is immers het model kiezen met de kleinste voorspelfouten ten opzichte van de andere modellen. Wan-neer er een keuze moet worden gemaakt tussen model a (Xa) en model b (Xb), is de

doelwaarde die geoperationaliseerd moet worden als volgt:

4ρp = σ2(kb− ka)/n + (γb− γa)/n (2.11)

Operationalisering van (2.11) komt neer op het schatten van de variantie σ2 en, na con-ditionering op σ2, op het schatten van δ = γb − γa. Dit zijn twee deelproblemen die

Van Casteren in zijn onderzoek respectievelijk oplost met het marginalesubstitutiever-houdingprincipe (Van Casteren 1996, p. 111) en met een krimpschatting. Deze laatste oplossing wordt als eerst besproken.

Volgens Van Casteren is ˆγ1= RSS − σ2(n − k1) een zuivere schatter van γ1 en

ˆ

δ = ˆγb− ˆγa= (y0Mby − y0May) + σ2(kb− ka) (2.12)

dus een zuivere schatter van δ. Zoals onderbouwd in hoofdstuk 2.3.1 is het nuttig om een krimpschatting te doen van een bepaalde parameter als er a priori geloof is dat deze parameter dicht bij een bepaalde waarde ligt. Nu is het aannemelijk dat de waarde van δ dichtbij nul ligt. De modellen waartussen wordt gekozen worden overwogen omdat a priori wordt geloofd dat zij een kleine vertekening hebben en, daar δ het verschil is tussen de vertekening van twee mogelijke modellen, zal deze waarde klein zijn of, in het uiterste geval van twee ware modellen, zelfs nul. Hierom wordt door Van Casteren verondersteld dat de waarde van δ beter benaderd wordt met een krimpschatter dan met een zuivere schatter zoals in (2.12). De krimpschatting van δ wordt gedaan door

ωˆδ, met 0 < ω ≤ 1. Van Casteren onderbouwt dit nog eens door aan te tonen dat de verwachte kwadratische schattingsfout kleiner is met een krimpschatting dan zonder (Van Casteren 1996, p.108).

De optimale waarde voor de krimpschatter ω wordt bepaald door minimalisering van de verwachte kwadratische schattingsfout.

ω∗ = δ

2

δ2_{+ V ar[ˆδ]} (2.13)

De waarde hiervan is onbekend en hangt af van het paar modellen waartussen een keuze moet worden gemaakt. Waneer er vanuit wordt gegaan dat het paar modellen genest is (en kb < ka) en dat i normaal verdeeld is leidt Van Casteren de volgende uitdrukking

voor de krimpschatter af:

ω_{N N}∗ = δ

2_/σ4

δ2_/σ4_{+ 4δ/σ}2_{+ 2(k} a− kb)

(2.14)

Deze uitdrukking kan gebruikt worden om de optimale waarde voor ω te bepalen. Hiertoe moeten de δ en σ2 geschat worden. Van Casteren leidt ook een uitdrukking af voor de optimale krimpparameter die enkel afhankelijk is van het aantal variabelen in het paar modellen. Hiertoe wordt er vanuit gegaan dat beide modellen even goed zijn en het verschil in hun verwachte kwadratische voorspelfout nul is.

ω∗_{N N E} = 1 1 + 6/(ka− kb)

(2.15)

Op basis van deze uitdrukking is het mogelijk de keuze voor ω te bepalen, wanneer de keuze is tussen twee geneste modellen uit X1. In hoofdstuk 2.3.3 worden mogelijke

keuzes voor ka en kb voorgesteld.

Het eerste deelprobleem van operationalisering van (2.11) is hiermee opgelost en de nieuwe doelwaarde voor het verschil in de verwachte kwadratische voorspelfout is

4ρ0_p= σ2(kb− ka)/n + ω(ˆγb− ˆγa)/n (2.16)

Nu rest het probleem van het schatten van de variantie en de afleiding van het criterium met het marginalesubstitutieverhoudingprincipe zoals voorgesteld door Van Casteren (1996). Dit principe gaat uit van de afweging die moet worden gemaakt tussen mo-delgrootte en vertekening en stelt dat de manier waarop deze afweging moet worden

gemaakt vastligt in de gradi¨ent van ρ0_p (Van Casteren 1996, p. 111). De marginalesub-stitutieverhouding is dan ∂ρ0_p/∂k1 ∂ρ0 p/∂(y0M1y) = (1 + 1 ω)σ 2

In het geval van normaal verdeelde storingstermen kan voor de variantie de maximum-likelihoodschatter worden gebruikt (ˆσ2 = y0M1y/n). Dan voldoet het

marginalesubsti-tutieverhoudingprincipe aan de volgende criteriumfunctie:

SIICω = n ln (y0M1y/n) + (1 + 1/ω)(k1+ 1) (2.17)

Dit is het ‘Set Independent Information Criterion’ van Van Casteren (1996) voor univa-riate lineaire modellen met normaal verdeelde storingstermen. Hoe dit uit de margina-lesubstitutieverhouding is afgeleid is als volgt te zien:

∂SIICω/∂k1 ∂SIICω/∂(y0M1y) = 1 + 1 ω n y0_M 1y = (1 + 1 ω)ˆσ 2 _(2.18)

Dit criterium is een verbetering op het criterium van Mallows vanwege de onafhanke-lijkheid van de set van mogelijke regressoren. Bovendien is gemotiveerd dat de krimp-schatting een betere krimp-schatting is van δ.

Vanuit de doelstelling dat een model met zo klein mogelijke voorspelfouten een goed model is, is in dit hoofdstuk laten zien hoe Van Casteren zijn modelselectiecri-terium SIICω heeft afgeleid. Hierbij is gebruikgemaakt van een krimpschatting en

het marginaalsubstitutieverhoudingprincipe om de doelstelling te operationaliseren. De krimpschatting is gerechtvaardigd, omdat er a priori geloof is dat de parameter die ge-schat wordt dichtbij nul ligt. De optimale waarde van de krimpge-schatter is bepaald onder een aantal aannames en hangt af van δ en σ2, of van het aantal variabelen in de mo-dellen. Nu rest het schatten van deze onbekenden, waar in het volgende hoofdstuk een methode voor wordt voorgesteld.

2.3.3 De ABS-methode: Een combinatie van AIC, SBIC en SIIC

In hoofdstuk 2 zijn verschillende selectiecriteria behandeld die allemaal onder bepaalde omstandigheden optimaal zijn. Het probleem is echter dat deze omstandigheden in de praktijk niet bekend zijn en dat assumpties hierover lastig te rechtvaardigen zijn (Amemiya 1980). Het selectiecriterium SIICω is een familie van schatters en kan zich

aanpassen aan verschillende omstandigheden. Zoals Kuha (2004) in zijn onderzoek con-cludeerde is gebruik van een enkel selectiecriterium niet voldoende, maar is men wel verzekerd van een robuust model wanneer AIC en SBIC het eens zijn over het beste model. Maar welk model moet er worden gekozen wanneer AIC en SBIC het niet eens zijn over het beste model? Hier kan SIICω een uitkomst bieden.

Stel AIC selecteert model Xa en SBIC selecteert model Xb en Xa 6= Xb. AIC

geeft een kleinere straf voor het aantal parameters dan SBIC, dus zal gelden kb < ka.

In hoofdstuk 2.3.2 is aangetoond dat met ω_{N N}∗ uit (2.14) een optimale schatting van ω kan worden gedaan, afhankelijk van een schatting van δ en σ2. De schattingen van δ en σ2 kunnen worden gedaan met behulp van modellen gekozen door AIC en SBIC en uitdrukking (2.12). De variantie kan worden geschat met de maximumlikelihoodschatter van het model geselecteerd door AIC. De waarde van (2.14) is dan geschat.

De uitdrukking ω∗_{N N E} uit (2.15) neemt aan dat beide modellen waartussen gekozen moet worden even goed zijn. Dit resulteert in een uitdrukking enkel afhankelijk van ka

en kb. Wanneer voor ka het aantal kolommen in Xawordt gekozen en voor kb het aantal

kolommen in Xb is de optimale waarde van (2.15) geschat.

Nu is het mogelijk met SIICω∗

N N en SIICω∗N N E opnieuw twee modellen te

selecte-ren, waarvan de dimensie tussen die van de de modellen gekozen door AIC en SBIC in ligt. Wanneer ω in SIICω gelijk aan ´e´en is, is SIIC1 gelijk aan AIC en wanneer voor

ω _{ln n−1}1 wordt gekozen, is SIIC 1

ln n−1 gelijk aan SBIC. Een waarde voor ω hiertussen,

bewerkstelligd door (2.14) en (2.15), geeft de uitdrukkingen voor SIICω die een model

selecteren uit het interval van mogelijke modellen aangegeven door AIC en SBIC. Deze combinatie van AIC, SBIC en SIICω kan de ABS-methode worden genoemd en wordt

empirisch onderzocht in deze paper.

2.3.4 Asymptotiek van de ABS-methode

Naast empirisch onderzoek is ook een analyse van de asymptotische eigenschappen van de ABS-methode belangrijk. Goede eigenschappen van AIC en SBIC zijn respectieve-lijk asymptotische effici¨entie en consistentie. Asymptotische effici¨entie is een belangrijke eigenschap wanneer er geen waar model bestaat. Deze eigenschap zorgt voor asympto-tisch de kleinste voorspelfouten. Wanneer er wel een waar model bestaat en deze onder de kandidaat-modellen is, is consistentie een belangrijke eigenschap. Dit betekent dat asymptotisch met kans ´e´en het ware model wordt geselecteerd.

Het al dan niet bestaan van een waar model staat echter ter discussie, waardoor een keuze voor een criterium maken op basis hiervan lastig is. Door Yang (2005) wordt aangetoond dat het niet mogelijk is ´e´en selectiecriterium te construeren dat tegelijkertijd asymptotische effici¨ent en consistent is. Hierom komt het van pas dat SIICω een familie

van selectiecriteria is en wel de mogelijkheid heeft beide eigenschappen te bezitten. De ABS-methode gebruikt de informatie uit AIC en SBIC en past zich met SIICω aan de

situatie aan. Wanneer een waar model bestaat en deze onder de kandidaat-modellen is, zou idealiter het volgende asymptotisch (als n → ∞) gelden:

ω∗→ 0 ∧ SIIC_ω∗→ SBIC (2.19)

Wanneer er geen waar model bestaat, zou idealiter het volgende asymptotische gelden:

ω∗→ 1 ∧ SIICω∗→ AIC (2.20)

Dit zou betekenen dat de ABS-methode met SIICω∗ de eigenschappen asymptotische

effici¨entie en consistentie succesvol combineert. Dit kan empirisch worden nagegaan door een simulatie uit te voeren. Hierin moet de situatie worden gesimuleerd dat er een waar model onder de kandidaat-modellen is en de situatie dat er geen waar model onder de kandidaat-modellen is. Vervolgens moet er worden gekeken naar wat er gebeurt met de krimpparameter voor oplopende n. Als de situaties respectievelijk overeenkomen met (2.19) en (2.20), is empirisch bewijs geleverd voor de conclusie dat de ABS-methode succesvol consistent ´en asymptotisch effici¨ent is.

Deze eigenschappen kunnen ook theoretisch worden aangetoond. Door Van Caste-ren (1994, p.147-148) wordt aangetoond dat een bepaald selectiecriterium dat asympto-tisch gelijk is aan SIICω zwak dimensie consistent is. Dit betekent dat de kans op een

ander model dan het ware model selecteren naar nul gaat wanneer n naar oneindig gaat. Van Casteren stelt dat deze consistentie ook voor SIICωgeldt, wanneer uitgegaan wordt

van normaal verdeelde storingstermen en dat limn→∞ω = c ∈ [0, 1] (Van Casteren 1994,

p.147). Wanneer kan worden aangetoond dat voor de ABS-methode uitdrukking (2.19) en (2.20) gelden, is het theoretisch bewijs van consistentie en asymptotische effici¨entie geleverd. Het theoretisch en empirisch analyseren van asymptotische effici¨entie en con-sistentie valt echter buiten dit onderzoek. Dit wordt aanbevolen voor vervolgonderzoek.

De ABS-methode empirisch

onderzocht

In het hoofdstuk 2 is theoretisch onderbouwd waarom SIICω een goed selectiecriterium

is en waarom een verbeterde methode van modelselectie kan worden bewerkstelligd door een combinatie van AIC, SBIC en SIICω, in het vervolg de ABS-methode genoemd. In

dit hoofdstuk wordt het onderzoek beschreven waarmee getracht wordt de kwaliteit van de ABS-methode empirisch te onderbouwen.

Het doel van de modellen in deze paper is zo goed mogelijk voorspellen. Het doel van de ABS-methode is dan het model selecteren dat het beste voorspelt. De kwaliteit van de methode kan beoordeeld worden op hoe vaak gebruik ervan leidt tot selectie van het model met de kleinste voorspelfouten en op de gemiddelde grootte van deze voorspelfouten. Eerst wordt in hoofdstuk 3.1 het probleem van modelselectie beschre-ven en in hoofdstuk 3.1.1 beschrebeschre-ven hoe er modellen worden geselecteerd met de drie methoden van modelselectie. Vervolgens wordt de gebruikte methode van beoordeling toegelicht in 3.2. Voor deze methode zijn modellen en een grote dataset nodig, welke worden ge¨ıntroduceerd in hoofdstuk 3.2.1.

3.1

Het modelselectieprobleem

Het probleem van modelselectie kan worden beschreven als het kiezen van de dimensie van een model. Een hoge dimensie met veel variabelen betekent weinig vertekening, maar veel variantie, en een lage dimensie betekent veel vertekening, maar weinig variantie. Deze afweging van vertekening en variantie is belangrijk wanneer een model als doel

heeft de afhankelijke variabele te voorspellen. Hierbij wordt ervan uitgegaan dat de ware relatie tussen economische variabelen onbekend is, zodat het doel is een model te vinden dat zo goed mogelijk de ware relatie beschrijft. Het ware model kan weer als volgt worden omschreven:

y = Xβ +  (3.1)

Uitdrukking (3.1) is gelijk aan uitdrukking (2.7) in hoofdstuk 2.3.2. Het ware model wordt geschat met het model:

y = Xmb + e (3.2)

waar de waarden van β geschat worden door b = (X_m0 Xm)−1Xm0 y met behulp van de

kleinstekwadratenmethode. Het modelselectieprobleem bestaat dan uit het kiezen van een dimensie km voor Xm.

3.1.1 Modelselectie op drie manieren

In deze paper worden drie manieren van modelselectie vergeleken; (1) modelselectie met AIC, (2) modelselectie met SBIC en (3) modelselectie met de ABS-methode. Hierbij wordt uitgegaan van normaal verdeelde storingstermen. Als eerste stap in de selectiepro-cedures met AIC en SBIC is een zo groot mogelijk startmodel nodig, dat kan worden samengesteld met behulp van economische theorie. Dan is manier (1) het minimaliseren van AIC over alle mogelijke keuzes voor km. Manier (2) behelst het minimaleren van

SBIC over alle mogelijke keuzes voor km. Manier (3) minimaliseert AIC en SBIC

over alle mogelijke modellen. Wanneer de minimale waarden van AIC en SBIC gelijk zijn kiest de ABS-methode dit model, maar wanneer ze het oneens zijn wordt een nieuw model geselecteerd.

Om een nieuw model te selecteren is een schatting van de krimpparameter ω nodig, wat op verschillende manieren kan worden gedaan. In dit onderzoek worden twee ma-nieren vergeleken. De twee schattingen worden gedaan met ω∗_{N N} en ω_{N N E}∗ (uitdrukking (2.14) en uitdrukking (2.15)). Hiervoor zijn schattingen nodig van σ2_{, δ en k}

a en kb.

Voor ka wordt de dimensie van het model geselecteerd door AIC gebruikt en voor kb

de dimensie van het model geselecteerd door SBIC. De variantie wordt geschat met de maximumlikelihoodschatter van het model geselecteerd door AIC. Hiervoor is ge-kozen omdat deze de minste positieve vertekening heeft door het relatief hogere aantal

parameters en er het kleinste risico is dat de variantie te hoog wordt geschat. σ2= Pn i=1e2i n = RSS n (3.3)

De variantie zoals berekend in (3.3) wordt gebruikt om (2.12) te berekenen, waarna ook de waarden van ˆδ bekend zijn.

Nu kunnen ω_{N N}∗ en ω_{N N E}∗ worden berekend. Met SIICω∗_{N N} en SIICω∗_{N N E} worden

voorts nog eens twee modellen geselecteerd. Om te beoordelen of de ABS-methode daadwerkelijk een beter model selecteert, wanneer AIC en SBIC het oneens zijn, wordt onderzoek gedaan met behulp van een analyse van de voorspelfouten. Deze methode wordt beschreven in hoofdstuk 3.2.

3.2

Methode van beoordeling

Om te kunnen beoordelen welk model de kleinste voorspelfouten genereert, wordt ge-bruikgemaakt van out-of-sample-forecastanalyse. Hiertoe wordt de data opgedeeld in een ‘estimation set’ en een ‘validation set’.

ye=      y1 yn      ; yv =      yn+1 yh      (3.4)

Hierbij is yede vector van waarnemingen van de afhankelijke variabele in de ‘estimation

set’ en yv de vector van waarnemingen in de ‘validation set’. Het aantal waarnemingen in

yeis n en het aantal waarnemingen in yv is h − n = t. Met de kleinstekwadratenmethode

op de regressoren in de ‘estimation set’ wordt een model geschat en met dit model worden voorspellingen gedaan voor de waarnemingen uit de ‘validation set’.

ye=      x1,1 x1,km xn,1 xn,km           b1 bkm      +      e1 en      = Xebm+ ee (3.5) yv=      xn+1,1 xn+1,km xh,1 xh,km           b1 bkm      +      en+1 eh      = Xvbm+ ev (3.6)

Hierbij is bm = (Xe0Xe)−1Xe0ye. De gemiddelde grootte van de kwadratische

voorspel-fouten is vervolgens te berekenen en wordt de ‘mean squared prediction error’ genoemd (MSPE). M SP E = 1 t h X i=n+1 e2_i = 1 te 0 vev= 1 t(yv− Xvbm) 0 (yv− Xvbm) (3.7)

Er is gekozen om de ‘estimation set’ en de ‘validation set’ even groot te maken (t = n en h = 2n), omdat dit het makkelijker maakt de voorspelfouten te identificeren. Dit is te zien als de verwachting van de MSPE als volgt wordt geschreven:

E[M SP E] = 1 t h X i=n+1 (xiβ + i− xibm)2 = 1 t h X i=n+1 (i+ xi(β − bm))2 (3.8)

Waarbij xide i-de rij uit de matrix Xv is. Wanneer n groter wordt, wordt de waarde van

de regressoren beter geschat en zal β − bm kleiner zijn ten opzichte van de storingsterm.

Het wordt dan moeilijker om de voorspelfout te identificeren. Bij grotere n moet dus ook een grotere t worden gekozen. Dit heeft de keuze van n = t gemotiveerd.

Aan de hand van economische theorie wordt er een grootst mogelijk model gefor-muleerd. Met dit grote model als bovengrens wordt vervolgens modelselectie gedaan met de drie modelselectiemethoden en de data uit de ’estimation sample’. Met de vier geselecteerde modellen worden voorspellingen gedaan voor de afhankelijke variabele uit de ‘validation sample’. Hiermee kan de MSPE worden berekend voor elk model. Dit proces wordt herhaald voor dertig onafhankelijke groepen data uit een dataset. Voor tien van deze groepen data is het aantal waarnemingen in de ’estimation set’ ongeveer 1000, voor tien andere ongeveer 600 en voor weer tien andere ongeveer 300, om zo te kunnen analyseren of er verschillende resultaten zijn bij verschillende steekproefgroot-tes. Er wordt bijgehouden hoe vaak de drie methoden het beste model selecteren en hoe vaak zij het slechtste model selecteren. Daarnaast wordt er per groepsgrootte en over het geheel gekeken naar de gemiddelde grootte van de voorspelfouten. Voorts kunnen de drie methoden van modelselectie vergeleken worden.

Voor deze methode van beoordelen is een grote dataset nodig die gebruikt kan worden om een economisch verband te schatten. De data die wordt gebruikt komt uit de ‘Medical Expenditure Panel Survey’ (MEPS). Dit is een grote dataset die beschikt over de medische uitgaven van een groep individuen en families, representatief voor de Verenigde Staten van Amerika. De data bevatten informatie over de demografische kenmerken, gezondheid, gebruik van medische diensten, manieren van betaling, toegang

tot zorg, tevredenheid van zorg, zorgverzekering, inkomen en baan van de respondenten. In deze paper wordt de data gebruikt uit de MEPS van 2007 tot en met 2012.

3.2.1 Het voorspellen van medische uitgaven

Een economisch verband dat al vele malen getracht is in een model te vatten is het verband tussen medische uitgaven en al dan niet verzekerd zijn. Shen (2013) beschrijft in zijn onderzoek de problemen die zich voordoen bij het kwantificeren van dit verband. Een belangrijk probleem is endogeniteit van de variabele die aangeeft of, en hoe iemand verzekerd is. Om hier geen last van te hebben wordt alleen gekeken naar individuen die gedurende het hele jaar privaat verzekerd zijn. In deze paper wordt gebruik gemaakt van de verklarende variabelen die Shen gebruikt om de afhankelijke variabele, het logaritme van de medische uitgaven van individuen, te verklaren.

De afhankelijke variabele is gedefinieerd als het totaal aan uitgaven aan medische diensten. De verklarende variabelen in deze relatie beschrijven demografische kenmer-ken, socioeconomische status en de gezondheid van de respondenten. In tabel 3.1 is een uitwerking van de mogelijke verklarende variabelen te zien. De variabele TOT-EXP07/08/09/10/11/12 behoeft nadere toelichting. Er zijn waarnemingen waarbij de waarde van deze variabele nul is, waardoor er geen logaritme van kan worden genomen. Om geen waarnemingen kwijt te raken en problemen te krijgen met ‘sample selection’ wordt er bij alle medische uitgaven ´e´en eenheid opgeteld gedaan alvorens het logaritme wordt genomen. De data kan vervolgens gebruikt worden om het verband tussen medi-sche uitgaven en de verklarende variabelen te schatten.

In dit hoofdstuk is beschreven wat het probleem van modelselectie is en hoe de drie methoden van modelselectie modellen selecteren. Vervolgens is beschreven hoe de kwaliteit van de ABS-methode van modelselectie wordt beoordeeld en welke dataset hier-toe wordt gebruikt. In het volgende hoofdstuk worden de resultaten van dit onderzoek beschreven en wordt de nieuwe methode van modelselectie beoordeeld.

Variabele Beschrijving

TOTEXP07/08/09/10/11/12 Totale uitgaven aan medische diensten

SEX Het geslacht

AGE31X De leeftijd

RACETHX Ras/ethniciteit

MARRY31X Burgelijke stand

FAMS1231 Aantal gezinsleden

REGION31 Regio

FAMINC07/08/09/10/11/12 Inkomen van de hele familie

EDUCYR Aantal jaren educatie

MNHLTH31 Mentale gezondheid

ADSMOK42 Rookt de respondent

BMINDX53 BMI

ASTHDX Astma diagnose

ARTHDX Arthritis diagnose

DIABDX Diabetes diagnose

EMPHDX Emfyseem diagnose

HIBPDX Hoge bloeddruk diagnose

OHRTDX Andere hartziekte diagnose

STRKDX Stroke diagnose

ANGIDX Angina diagnose

CHOLDX Hoog cholesterol diagnose

Een beoordeling van de

ABS-methode

De resultaten van het onderzoek zoals beschreven in hoofdstuk 3 worden in dit hoofdstuk gepresenteerd en geanalyseerd. Eerst worden de modellen geselecteerd door AIC, SBIC en de ABS-methode gepresenteerd in hoofdstuk 4.1, dan worden in hoofdstuk 4.2 de voorspelfouten van deze modellen geanalyseerd. In hoofdstuk 4.3 wordt tot slot de prestatie van de ABS-methode ten opzichte van de andere twee modelselectiemethoden beoordeeld.

4.1

De geselecteerde modellen

Als eerste stap in de selectieprocedures van AIC en SBIC is een zo groot mogelijk significant model gebruikt, waarvan de variabelen zijn weergegeven in hoofdstuk 3 in tabel 3.1. In tabel 4.1 is voor elke groep data te zien welke dimensies van modellen er door AIC en SBIC zijn geselecteerd, welke waarden voor de krimpparameters zijn geschat en welke dimensies van modellen er vervolgens zijn geselecteerd met de ABS-methode met SIICω∗

N N en SIICω ∗

N N E. Zoals verwacht selecteert AIC de grootste modellen en SBIC

de kleinste. De ABS-methode kiest telkens een model met een dimensie daartussenin, of even groot als die van AIC en SBIC.

In tabel 4.2 zijn de gemiddelde waarden van de krimpparameter en de gemiddelde dimensies van de geselecteerde modellen weergegeven per groepsgrootte. De waarde van de krimpparameters wordt niet steeds kleiner of steeds groter naarmate n oploopt, dus over de asymptotiek van ω is empirisch niets op te merken. Wel is te zien dat naarmate

n ω_{N N}∗ ω_{N N E}∗ AIC SBIC SIICω∗_{N N} SIICω_{N N E}∗ 1086 0.51 0.17 13 12 13 12 1086 0.81 0.45 17 12 17 15 1085 0.79 0.54 19 12 18 15 1083 0.71 0.4 18 14 18 15 1083 0.71 0.5 19 13 15 15 1082 0.81 0.54 20 13 20 19 919 0.75 0.4 15 11 15 15 919 0.77 0.45 14 9 13 13 919 0.7 0.4 18 14 18 18 919 0.81 0.54 17 10 17 17 629 0.88 0.6 18 9 18 17 629 0.87 0.6 17 8 17 17 629 0.8 0.45 16 11 15 15 523 0.8 0.45 13 8 12 12 523 0.83 0.6 20 11 20 15 523 0.8 0.54 14 7 14 10 523 0.72 0.45 15 10 15 12 523 0.85 0.57 15 7 15 13 523 0.81 0.5 13 7 13 12 523 0.83 0.5 13 7 13 13 337 0.62 0.4 13 9 10 10 337 0.76 0.5 14 8 14 14 337 0.85 0.65 17 6 17 15 337 0.67 0.4 14 10 13 12 337 0.8 0.54 16 9 16 16 337 0.62 0.4 11 7 11 8 337 0.88 0.63 15 5 15 15 337 0.8 0.6 16 7 15 15 337 0.8 0.57 12 4 12 10 334 0.66 0.33 12 9 12 10

Tabel 4.1: Dimensies van de geselecteerde modellen

n ω_{N N}∗ ω_{N N E}∗ AIC SBIC SIICω∗_{N N} SIICω_{N N E}∗

919-1086 0.74 0.44 17 12 16.4 15.4

523-629 0.82 0.53 15.4 8.5 15.2 13.6

334-337 0.75 0.50 14 7.4 13.5 12.5

n groter wordt er door alle methoden ook een groter model wordt gekozen. Dit is zoals verwacht, aangezien er bij grotere n meer informatie beschikbaar is om een preciezer model te schatten.

4.2

Een analyse van de voorspelfouten

Met alle modellen zijn voorspellingen gedaan van de waarden van yv. De MSPE per

model is berekend en weergegeven in tabel 4.3, hier staat in de kolommen AIC, SBIC, SIICω∗

N N en SIICω∗N N E de MSPE van de modellen. Nu is te bepalen welke modellen het

beste presteren volgens de beoordeling op basis van grootte van voorspelfouten. Hiertoe wordt eerst gekeken worden naar hoe vaak de methoden het beste model selecteren.

De modellen met de laagste MSPE van de vier modelselectiemethoden zijn in tabel 4.3 gearceerd. Hiermee zijn per rij in de tabellen de beste modellen te zien. Het is onmiddelijk duidelijk dat de modellen geselecteerd door SBIC het slechtst presteren, ongeacht de grootte van de groepen. De modellen geselecteerd door AIC en de ABS-methode met SIICω∗_{N N} voorspellen de waarden van de afhankelijke variabele het best.

Deze methoden selecteren drie¨entwintig van de dertig keer het model met de kleinste voorspelfouten. De ABS-methode met SIICω∗

N N E selecteert veertien van de dertig keer

het model met de kleinste voorspelfouten en de modelselectiemethode SBIC doet dit slechts ´e´en keer. De ABS-methode met SIICω∗

N N en AIC lijken op basis hiervan het

best te presteren.

Naast het belang van zo vaak mogelijk het beste model selecteren, is het ook van belang dat er gekeken wordt naar hoe vaak een methode een model met relatief grote voorspelfouten selecteert. Aangezien de voorspelfouten van de modellen vaak niet erg afwijken van elkaar kan het wenselijk zijn een methode te gebruiken die in ieder geval niet de grootste voorspelfouten genereert. AIC selecteert vier van de dertig keer het model met de grootste MSPE, de ABS-methode met SIICω∗_{N N} twee keer en de

ABS-methode met SIICω∗

N N E slechts ´e´en keer. SBIC selecteert maar liefst vijfentwintig van

de dertig keer het slechtste model. Duidelijk is dat SBIC het slechtst presteert en de ABS-methode met SIICω∗

N N E het best.

Deze prestaties zijn samengevat in tabel 4.4. De best presterende methoden zijn weer gemarkeerd. Wanneer als belangrijkst wordt geacht dat de modelselectiemethode het model met de kleinste voorspelfouten selecteert, en daarna wordt gekeken naar hoe vaak de methode het slechtste model selecteert, presteert de ABS-methode met SIICω∗

t ω∗_{N N} ω∗_{N N E} AIC SBIC SIICω∗ N N SIICω ∗ N N E 1086 0.51 0.17 5.69097 5.74260 5.69097 5.74260 1086 0.81 0.45 6.10946 6.23469 6.10946 6.10471 1085 0.79 0.54 5.20415 5.24324 5.22545 5.21297 1083 0.71 0.40 6.01435 6.14917 6.01435 6.09067 1083 0.71 0.50 6.25095 6.19056 6.17530 6.17530 1082 0.81 0.54 6.25593 6.39161 6.25593 6.28244 919 0.75 0.40 6.59179 6.72149 6.59179 6.59179 919 0.77 0.45 6.49418 6.55805 6.49940 6.49940 919 0.70 0.40 6.82352 7.07675 6.82352 6.82352 919 0.81 0.54 5.70272 5.71362 5.70272 5.70272 629 0.88 0.60 6.31283 6.49188 6.31283 6.35153 629 0.87 0.60 6.22827 6.41427 6.22827 6.22827 629 0.80 0.45 7.14522 7.50235 7.08724 7.08724 523 0.80 0.45 5.85608 5.95683 5.88121 5.88121 523 0.83 0.60 5.67562 6.04958 5.67562 5.87572 523 0.80 0.54 6.17883 6.41902 6.17883 6.30824 523 0.72 0.45 6.34399 6.77863 6.34399 6.59621 523 0.85 0.57 6.14213 6.68853 6.14213 6.25841 523 0.81 0.50 5.80886 5.99045 5.80886 5.85084 523 0.83 0.50 6.43737 6.60929 6.43737 6.43737 337 0.62 0.40 7.13859 7.10473 6.98133 6.98133 337 0.76 0.50 6.32667 6.90626 6.32667 6.32667 337 0.85 0.65 8.18956 7.93844 8.18956 8.02601 337 0.67 0.40 6.11747 6.69123 6.22437 6.50902 337 0.80 0.54 6.73319 6.79312 6.73319 6.73319 337 0.62 0.40 6.94366 6.89688 6.94366 6.88718 337 0.88 0.63 5.94726 6.47951 5.94726 5.94726 337 0.80 0.60 5.81369 5.91107 5.79766 5.79766 337 0.80 0.57 7.01367 7.29657 7.01367 7.15672 334 0.66 0.33 6.32284 6.50212 6.32284 6.46727

Tabel 4.3: MSPE van alle modellen Grijs gearceerd de modellen met de kleinste MSPE

Kleinste MSPE Grootste MSPE

AIC 77% 13%

SBIC 3% 83%

SIICω_{N N}∗ 77% 7%

SIICω_{N N E}∗ 47% 3%

Tabel 4.4: Prestaties van de drie modelselectiemethoden Grijs gearceerd de best presterende methoden

het best. Deze methode selecteert even vaak als AIC het beste model, maar selecteert minder vaak een relatief slecht model.

Echter belangrijker nog dan het aantal keer dat de modelselectiemethoden het best of slechtst presteren, is de gemiddelde grootte van de voorspelfouten over alle onafhan-kelijke groepen data. De gemiddelde kwadratische voorspelfouten per groepsgrootte zijn weergegeven in tabel 4.5. Hieruit valt op te maken dat de ABS-methode met SIICω_{N N}∗

in alledrie de groepsgroottes gemiddeld de kleinste voorspelfouten genereert. Ook hier presteert SBIC het slechtst. In de onderste rij van tabel 4.5 staan de gemiddelde voor-spelfouten over alle dertig onafhankelijke datasets, waaruit op te maken valt dat de ABS-methode met SIICω_{N N}∗ gemiddeld het best presteert.

t AIC SBIC SIICω_{N N}∗ SIICω∗_{N N E}

919-1086 6.11380 6.20218 6.10889 6.12261 523-629 6.2129 6.49008 6.20964 6.28750 334-337 6.65466 6.85199 6.64802 6.68323 Gemiddeld 6.32712 6.51475 6.32218 6.36445

Tabel 4.5: Gemiddelde voorspelfouten Grijs gearceerd de best presterende methoden

De slechte prestatie van SBIC kan te maken hebben met de aanname van het bestaan van een bepaald waar model dat de data beschrijft, die bij de afleiding van dit criterium wordt gedaan. Wellicht gaat deze aanname niet op voor de relatie tussen medische uitgaven en de verklarende variabelen. In dat geval is het aannemelijker dat een criterium gebaseerd op de aanname dat er geen waar model bestaat, zoals AIC en SIICω, beter presteren. Bovendien zijn deze criteria gebaseerd op het maken van zo

klein mogelijke voorspelfouten, en daar dat het beoordelingscriterium is in dit onderzoek, kan dit ook verklaren waarom SBIC slecht presteert. Verder is het mogelijk dat er niet aan de voorwaarden aan de a priori verdeling voor SBIC is voldaan, en dat de methode hierom slecht presteert.

4.3

De prestatie van de ABS-methode

Met de resultaten van dit onderzoek is gekeken naar hoe vaak de ABS-methode het beste model selecteert, hoe vaak de methode het slechtste model selecteert en naar de gemiddelde voorspelfouten van de modellen geselecteerd door de methode. De prestatie van de ABS-methode is vergeleken met de prestatie van AIC en SBIC. Op de drie pun-ten van beoordeling presteert de ABS-methode met SIICω∗_{N N} respectievelijk even goed

als of beter dan de andere twee modelselectiemethoden. Zoals beschreven in hoofdstuk 2.3.3 is het probleem bij modelselectie dat er vaak niet bekend is aan welke voorwaarden aan de data is voldaan. Hierdoor is een keuze maken tussen AIC en SBIC arbitrair. Het doel van de ABS-methode is dan dat het zich aanpast aan de situatie en een beter model selecteert dan de methode waarvoor er niet aan de voorwaarden is voldaan, in dit geval waarschijnlijk SBIC. Uit de resultaten van dit onderzoek blijkt dat in bijna alle gevallen zo te zijn en ook in die zin presteert de ABS-methode goed.

Om te kunnen stellen dat deze resultaten ook gelden voor andere soorten data, is het aan te bevelen dit onderzoek te herhalen met andere datasets. Idealiter zouden de resultaten van dit onderzoek nog bevestigd worden met een dataset waarin SBIC juist goed presteert en AIC niet. Wanneer ook dan de ABS-methode het in de meeste gevallen beter doet dan AIC is het nog aannemelijker dat er met de ABS-methode een verbeterde methode van modelselectie is bewerkstelligd.

Conclusie

Een belangrijk probleem bij het kwantificeren van economische relaties is dat van mo-delselectie. Vanwege de opkomst van ‘big data’ wordt de vraag hoeveel variabelen er moeten worden opgenomen in een model steeds belangrijker. Om het probleem op te lossen dat zich voordoet wanneer de bekendste modelselectie criteria, AIC en SBIC, het niet eens zijn over de dimensie van het beste model wordt in deze paper een nieuwe manier van modelselectie onderzocht, genoemd de ABS-methode. Deze methode maakt gebruik van de informatie die AIC en SBIC geven en selecteert met behulp van een krimpparameter en het selectiecriterium SIICω een nieuw model, met een dimensie

tus-sen die van AIC en SBIC in. Modelselectie met deze methode moet meer zekerheid bieden dan gebruik van AIC of SBIC alleen.

Afhankelijk van verschillende aannames zijn twee uitdrukking gegeven voor de opti-male krimpparameter. De ene uitdrukking voor de krimpparameter gaat uit van geneste modellen en normaliteit van de storingstermen. De andere uitdrukking gaat hiernaast ook nog uit van de aanname dat beide modellen waartussen gekozen moet worden even goed zijn. Met behulp van theorie is onderbouwd waarom de ABS-methode een betere manier van modelselectie moet bewerkstelligen. Dit is ook getracht empirisch te onder-bouwen, door de modellen geselecteerd met de ABS-methode te beoordelen op basis van hun voorspelfouten.

Uit de resultaten van het onderzoek blijkt dat de ABS-methode met uitdrukking ω_{N N}∗ voor de krimpparameter het beste presteert. Deze methode selecteert even vaak als AIC het beste model, maar selecteert minder vaak dan AIC het slechtste. Bovendien genereert deze methode gemiddeld de kleinste voorspelfouten. SBIC presteert in dit onderzoek zeer slecht. Dit zou kunnen komen door de mate waarin de dataset aan de

voorwaarden voor SBIC voldoet. In het geval dat er niet aan de aannames voor een van de selectiemethoden is voldaan, is het doel van de ABS-methode om zich hieraan aan te passen en een beter model te selecteren dat deze selectiemethode. In dit opzicht presteert de ABS-methode ook goed. Er wordt geconcludeerd dat de ABS-methode met ω_{N N}∗ een verbeterde methode van modelselectie is.

De beoordeling van de ABS-methode in dit onderzoek is gebaseerd op dertig onaf-hankelijke groepen data, welke uit ´e´en grote dataset komen. Om een robuuster resultaat te krijgen wordt het aanbevolen om hetzelfde onderzoek te herhalen met een andere da-taset. Wanneer dit in een vervolgonderzoek wordt toegepast kan er met meer zekerheid worden aangetoond dat er met de ABS-methode een verbeterde methode van modelse-lectie is bewerkstelligd.

Een andere aanbeveling voor vervolgonderzoek is een analyse van asymptotische eigenschappen middels een simulatie. Daar dit onderzoek is uitgevoerd met behulp van bestaande data waarvan het data genererende proces onbekend is, is het ook onbekend of er een waar model bestaat of niet. Hierom is het lastig iets te concluderen over de asymptotische eigenschappen van de krimpparameter. Idealiter zou uit vervolgonder-zoek kunnen worden geconcludeerd dat de ABS-methode asymptotische effici¨entie en consistentie succesvol combineert.

[1] Akaike, H. (1974). A new look at the statistical model identification. Automatic Control, IEEE Transactions on, 19(6):716–723.

[2] Amemiya, T. (1980). Selection of regressors. International economic review, pages 331–354.

[3] Bartlett, M. S. (1955). An Introduction to stochastic processes: with special reference to methods and applications. University Press Cambridge.

[4] Burnham, K. and Anderson, D. (1998). Model selection and inference: a practical informationtheoretic approach: 60-64.

[5] Hannan, E. J. and Quinn, B. G. (1979). The determination of the order of an autoregression. Journal of the Royal Statistical Society. Series B (Methodological), pages 190–195.

[6] Karlin, S. (1958). Admissibility for estimation with quadratic loss. The Annals of Mathematical Statistics, 29(2):406–436.

[7] Kass, R. E. and Raftery, A. E. (1995). Bayes factors. Journal of the american statistical association, 90(430):773–795.

[8] Kuha, J. (2004). Aic and bic comparisons of assumptions and performance. Socio-logical Methods & Research, 33(2):188–229.

[9] Kullback, S. and Leibler, R. A. (1951). On information and sufficiency. The annals of mathematical statistics, 22(1):79–86.

[10] Mallows, C. L. (1973). Some comments on c p. Technometrics, 15(4):661–675. [11] Nishii, R. e. a. (1984). Asymptotic properties of criteria for selection of variables

in multiple regression. The Annals of Statistics, 12(2):758–765. 31

[12] Schwarz, G. e. a. (1978). Estimating the dimension of a model. The annals of statistics, 6(2):461–464.

[13] Shen, C. (2013). Determinants of health care decisions: Insurance, utilization, and expenditures. Review of Economics and Statistics, 95(1):142–153.

[14] Shibata, R. (1976). Selection of the order of an autoregressive model by akaike’s information criterion. Biometrika, 63(1):117–126.

[15] Shibata, R. (1981). An optimal selection of regression variables. Biometrika, 68(1):45–54.

[16] Theil, H. (1958). Economic forecasts and policy.

[17] Thompson, J. R. (1968). Some shrinkage techniques for estimating the mean. Jour-nal of the American Statistical Association, 63(321):113–122.

[18] Tierney, L. and Kadane, J. B. (1986). Accurate approximations for posterior moments and marginal densities. Journal of the american statistical association, 81(393):82–86.

[19] Van Casteren, P. (1994). Statistical model selection rules (academisch proefschrift). [20] Van Casteren, P. (1996). Pleidooi voor een nieuw selectiecriterium voor het

selec-terenvan regressoren. Kwantitatieve methoden, 17(52):101–129.

[21] Yang, Y. (2005). Can the strengths of aic and bic be shared? a conflict between model identification and regression estimation. Biometrika, 92(4):937–950.