AICc en BIC : een relatieve prestatievergelijking van twee model selectiecriteria op basis van echte data

(1)

AIC

c

en BIC

Een relatieve prestatievergelijking van twee model selectiecriteria op basis van echte data

Kasper de Harder (10274391) Begeleider: P.H.F.M van Casteren

Universiteit van Amsterdam 29-6-2015

Abstract

In dit onderzoek zijn twee model selectiecriteria, het corrected Akaike Information Criterium (AICc) en Bayesian Information Criterium (BIC), met elkaar vergeleken om te kijken welk het beste model in

een bepaalde situatie kiest. De werking van en het verschil tussen de twee criteria wordt uitgelegd, vervolgens selecteren beide criteria een van een aantal modellen die geschat zijn gebruikmakend van

echte data. Hierna worden de gekozen modellen getest op de overgebleven data. Dit wordt gedaan door middel van cross-validatie. Aan de hand van de voorspelfout van de modellen is er gekeken hoe

(2)

Inhoudsopgave

1. Inleiding ... - 1 - 2. Theoretisch Kader ... - 2 - 2.1. Algemeen ... - 2 - 2.2. Maximum likelihood ... - 4 - 2.3. Strafterm ... - 4 - 2.4. AICC ... - 4 - 2.5. BIC ... - 6 - 2.6. Cross-validatie ... - 7 - 3. Onderzoeksopzet ... - 7 - 3.1. Algemeen ... - 7 - 3.2. Dataset ... - 7 - 3.3. Model ... - 8 - 3.4. Aanpak ... - 9 - 4. Resultaten en analyse ... - 11 - 4.1. Resultaten... - 11 - 4.1.1. Onderzoek 1 ... - 11 - 4.1.2. Onderzoek 2 ... - 12 - 4.1.3. Onderzoek 3 ... - 12 - 4.2. Analyse ... - 13 - 5. Conclusie ... - 15 - Bibliografie ... - 17 - Bijlagen ... - 18 -

(3)

- 1 -

1. Inleiding

In bijna elke wetenschap komen modellen voor, modellen die bedoeld zijn de praktijk zo goed mogelijk te benaderen op een theoretische manier. Dat de theorie nooit perfect aansluit op de praktijk is te verwachten, echter wordt er altijd getracht dat deze een zo goed mogelijke benadering geeft. Als er dus aan de hand van de theorie een model wordt opgezet dan wordt er getracht deze zo waarheidsgetrouw als mogelijk te maken.

In de wereld van de econometrie wordt er veel gebruik gemaakt van modellen. De gebruikelijke wijze is dat er een model wordt geschat door regressie met als doel de

werkelijkheid zo goed mogelijk te benaderen. Toch ontstaat hierbij een probleem, want hoe weet je wat het ‘beste’ geschatte model is om te gebruiken? Er moet een keuze gemaakt worden in welke beschikbare verklarende variabelen worden opgenomen en het aantal variabelen. Deze keuzeruimte zorgt voor problemen, met name het aantal variabelen dat moet worden opgenomen kan lastig te kiezen zijn.

Een ‘sterk’ theoretisch model is een simpel model en gaat uit van weinig aannames. Deze modellen worden geprefereerd over ‘zwakke’ modellen, die complexer zijn en van meer aannames uitgaan (Collyer, 1985). Een simpel model is er een dat bestaat uit weinig parameters, het grote voordeel van een extreem simpel model is dat, vooral als de

steekproef klein is en veel ruis bevat, de robuustheid van lineaire modellen ervoor zorgt dat zo een model met weinig parameters relatief effectief is (Dawes & Corrigan, 1974). Aan de andere kant zijn er overmatig complexe modellen die bestaan uit extra veel parameters. Zelfs al zou de dimensie van dit model groter zijn dan wetenschappelijk goed te

onderbouwen (denk bijvoorbeeld aan insignificante variabelen) kan het alsnog een betere fit vertonen bij grote steekproeven met weinig ruis dan modellen gebaseerd op geteste

wetenschappelijke methodes (Busemeyer & Wang, 2000).

Een afweging moet dus gemaakt worden waarbij de robuustheid van een simpel model en de goede fit van een complex model zo veel mogelijk behouden dienen te blijven, terwijl er op wetenschappelijke verantwoorde wijze te werk wordt gegaan. De afweging tussen deze aspecten kan lastig zijn en afhankelijk van het beoogde doel. Doordat deze afweging lastig te maken is, wordt er in veel gevallen meerdere modellen geschat waarna het moeilijk blijft om te bepalen welke van deze het beste is.

(4)

- 2 -

bekende zijn AIC, F-test voor geneste modellen, Mallows Cp, stapsgewijs, voorwaartse en

terugwaartse selectieprocedure, BIC en Bayesian model averaging. Een aantal hiervan, zoals de stapsgewijze selectie procedure, zijn geschikt voor het kiezen van een ‘goed’ (of

bruikbaar) model; andere, zoals het AIC, zijn criteria die de kwaliteit van het model beoordelen (Kadane & Lazar, 2004).

Van deze lijst zijn de AIC en de BIC misschien wel de twee meest gebruikte model selectie criteriums. Het AIC (Akaike Informatie Criterium), geconstrueerd in 1974 door Hirotugu Akaike, bestaat grofweg uit twee delen, een maximum likelihood gedeelte

gerelateerd aan de fit van het model op de data en een penalty voor elke extra toegevoegde parameter (Akaike, 1974). Het BIC (Bayesian Informatie Criterium, ook wel Schwarz

Information Criterium (SIC)) vertoont sterke overeenkomsten met het AIC. Er is wel een verschil, dit verschil zit in de aannames die voor beide criteria moeten worden gedaan en dit resulteert in een verschillend geformuleerde penaltyterm.

In dit onderzoek zijn de AICC en de BIC met elkaar vergeleken. Het verschil met de

AICC en de AIC, zoals hierboven beschreven, is dat de strafterm voor extra toegevoegde

parameters is uitgebreid (Hurvich & Tsai, 1989). Beide criteria hebben een penaltyterm die er voor zorgt dat het complexer maken van een model een negatief effect heeft op de score. Op deze manier wordt een simpel model dat een redelijke fit vertoont met de data eerder gekozen dan een veel complexer model met een maar iets betere fit. Doordat het AICC en de

BIC modellen net iets anders beoordelen blijft het de vraag welk van de twee het best presteert, hier wordt in het onderzoek, onder genoemde voorwaarde, antwoord op gegeven.

In het volgende hoofdstuk is de theorie achter de criteria beschreven met de

kenmerken voor elke criterium en de bijzonderheden. Daarna is er in hoofdstuk 3 een opzet van het onderzoek is gegeven waarvan, in de hoofdstuk 4 de resultaten worden besproken en geanalyseerd en in het laatste hoofdstuk is hier een conlusie over gegeven.

2. Theoretisch kader 2.1. Algemeen

Maar wat zijn het AICC en BIC precies? Beide zijn zogeheten model selectie criteria. Dit houdt

in dat ze een maat geven voor de kwaliteit van een model. Zoals al gezegd bestaat dit uit twee delen, een maximum likelihood deel en een strafterm. Logischerwijs zal de maximum

(5)

- 3 -

likelihood een grotere waarde krijgen naarmate het model complexer wordt door de toevoeging van extra parameters. Het is afhankelijk van de strafterm hoe zwaar een extra parameter het criterium beïnvloedt, een grote penalty voor elke toegevoegde paramater zorgt ervoor dat een relatief klein model de voorkeur krijgt en vice versa. Om het belang van zo een penalty aan te geven, dit is wat (Collyer, 1985) zegt over het voordeel van een klein model:

When a model is fit to the set of data from which its parameters were estimated, the model is made to conform not only to the "true values" of the scores, but also to the particular error components of these scores. In general, because of the complex model's larger number of free parameters, a complex model capitalizes on error to a greater extent than a simple model.

Kort gezegd zorgt een complexer model voor een grotere variantie in de schatting dan een simpel model door het grotere aantal paramaters.

De algemene functie voor de klasse criteria waarvan AICc en de BIC deel uitmaken is

(Akaike, 1974; van Casteren & de Gooijer, 1997; Kuha, 2004):

(−2) ∗ log(𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚 𝑙𝑙𝑚𝑚𝑙𝑙𝑙𝑙𝑙𝑙𝑚𝑚ℎ𝑜𝑜𝑜𝑜𝑜𝑜) + 𝑚𝑚 ∗ 𝑙𝑙 (1)

Waarbij in de log() de maximum likelihood van het model staat, a een bepaalde positieve hoeveelheid is en k de dimensie van het model. Voor de duidelijkheid, wanneer er hier wordt gesproken over een model dan wordt hiermee het geschatte model bedoeld, dit om verwarring te voorkomen als er wordt gesproken over het daadwerkelijke of echte model. Het echte model is het model wat perfect klopt in de realiteit, dit is het model wat zo goed mogelijk getracht wordt te benaderen. Hurvich (1989) zegt het volgende over het AIC met betrekking tot het werkelijke model:

Het is aannemelijk dat dit ‘echte’ model in werkelijkheid oneindig dimensionaal is, AIC geeft dan een asymptotisch efficiënte selectie van een eindig dimensionaal geschatte model. Als het werkelijke model eindig dimensionaal is, echter, geeft het AIC geen consistent model order selectie.

Het AICc heeft dezelfde eigenschappen maar heeft een verminderde onzuiverheid terwijl dit

(6)

- 4 -

een niet stochastische term (Hurvich & Tsai, 1989). Om deze reden is in dit onderzoek niet het AIC maar het AICc gebruikt.

2.2. Maximum likelihood

De maximum likelihood (ML) wordt gebruikt in AIC en verdere varianten (zoals de AICC en

BIC) vooral omdat deze, onder bepaalde aannames, asymptotisch efficiënt is, wat leidt tot dat de ML het meest gevoelige criterium is als het gaat om de deviatie van de geschatte modelparameters van de echte waarde van deze parameters (Akaike, 1974; Cramer, 1946). Het idee achter de ML is dat deze op basis van de hypotheses het model kiest met de grootste likelihood of log-likelihood. Als de log-likelihood wordt beschouwd als een maat voor de fit van het model, dan is de ML een implementatie van naïve empirie. Het is zelfs zo dat in het geval van een bepaald soort model (zogeheten ‘nested models’) de likelihood nooit een ander model dan het meest complexe prefereert (Forster, 2000).

2.3. Strafterm

Door deze eigenschap van de ML om altijd het meest complexe model te kiezen is er een penalty aan toegevoegd die groter wordt voor elke extra paramater die in het model wordt opgenomen. Dit gedeelte verschilt voor de beide criteria en zorgt ervoor in wat voor mate een simpel model wordt geprefereerd boven een complex model. De strafterm hoeft niet alleen maar van de dimensie van het model af te liggen, het aantal observaties kan ook meetellen wat er voor zorgt dat het criterium andere modellen kiest afhankelijk van of er met kleine of grote steekproeven wordt gewerkt.

2.4. AICC

De AICC komt voort uit het AIC, hieronder volgt een korte uitleg van het AIC waarin niet al te

diep op de details wordt ingegaan omwille van de leesbaarheid.

𝐴𝐴𝐴𝐴𝐴𝐴 = −2 ∗ log(𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚 𝑙𝑙𝑚𝑚𝑙𝑙𝑙𝑙𝑙𝑙𝑚𝑚ℎ𝑜𝑜𝑜𝑜𝑜𝑜) + 2 ∗ k (2)

Waarbij het eerste deel bestaat uit de log-likelihood van het geschatte model en de k staat voor de dimensie ervan. Om een zo goed mogelijk model te kiezen wordt er getracht de likelihood te maximaliseren door de Kullback-Leibler (K-L) afstand of discrepantie van de geschatte dichtheid tot de echte dichtheid te minimaliseren (Forster, 2000). De formule voor deze Kullback-Leiblerdiscrepantie wordt gegeven door:

(7)

- 5 -

I(f, g) = ∫ f(𝐱𝐱) log �𝑓𝑓(𝐱𝐱)_{𝑔𝑔(𝐱𝐱)}� dx (Kullback & Leibler, 1951)� (3)

Waarin f(x) de daadwerkelijke dichtheid en g(x) die van het geschatte model. Door toepassen van de basis rekenregel:

log �𝑓𝑓(x)_𝑔𝑔(x)� = log�f(x)� − log�𝑔𝑔(𝑚𝑚)� (4)

Is er duidelijk te zien dat hierin het verschil tussen de geschatte en werkelijke dichtheid een grote rol speelt. Een logische strategie zou zijn om het model te kiezen dat de kleinste afstand tot het werkelijke model vertoont. Dit kan echter niet direct geïmplementeerd worden omdat er een aantal waarden onbekend zijn zoals, logischerwijs, de echte parameter waarden en daarmee de echte dichtheid (Kuha, 2004). De oplossing voor dit probleem is het maken van aannames, dit is waar de verscheidene criteria in verschillen. Het AIC heeft een aantal aannames waarbij vooral een een zwak punt vormt, namelijk de aanname dat een bepaalde pseudo-echte waarde θ*(1) (een waarde waarbij de verwachte maximum likelihood

van het geschatte model gemaximaliseerd wordt) voldoende dichtbij de echte waarde θo ligt (van Casteren & de Gooijer, 1997).

De AICC is zoals gezegd een variant op de AIC waarbij een van de grote problemen,

het ‘overfitting’ (dus het complexer maken van het model dan goed is) bij kleine

steekproeven, wordt beperkt. Dit is bereikt door in door de strafterm een functie te laten zijn van de grootte van de steekproef (n) en het aantal parameters (k). Bij een kleine

steekproef zal de strafterm sneller oplopen naarmate de dimensie van het model groeit dan bij het AIC. Wanneer de steekproef echter groot wordt convergeert de penalty naar 2*k, identiek aan het AIC. Soms worden de criteria net iets anders gedefinieerd daarom is er hier uitgegaan van de definitie die Hurvich en Tsai (1989) geven:

𝐴𝐴𝐴𝐴𝐴𝐴𝐶𝐶 = 𝐴𝐴𝐴𝐴𝐴𝐴 +2𝑘𝑘(𝑘𝑘+1)_{𝑛𝑛−𝑘𝑘−1} (5)

𝐴𝐴𝐴𝐴𝐴𝐴𝐶𝐶 = −2 ∗ log(𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚 𝑙𝑙𝑚𝑚𝑙𝑙𝑙𝑙𝑙𝑙𝑚𝑚ℎ𝑜𝑜𝑜𝑜𝑜𝑜) +_{𝑛𝑛−𝑘𝑘−1}2∗k∗n (6)

Als het geschatte model lineair is, dan is AICC asymptotisch efficiënt (Shibata, 1981). Vooral,

(8)

- 6 -

Tsai (1989) zou deze dan ook gebruikt moeten worden in plaats van de AIC voor regressies en autoregressieve model selectie.

2.5. BIC

Het BIC of zoals al eerder gemeld het Schwarz Informatie Criterium (SIC) is afgeleid door Gideon Schwarz (1978). Dit criterium komt grotendeels overeen met het AIC.

𝐵𝐵𝐴𝐴𝐴𝐴 = −2 ∗ 𝑙𝑙𝑜𝑜𝑔𝑔(𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚𝑚 𝑙𝑙𝑚𝑚𝑙𝑙𝑙𝑙𝑙𝑙𝑚𝑚ℎ𝑜𝑜𝑜𝑜𝑜𝑜) + 𝑙𝑙 ∗ 𝑙𝑙𝑜𝑜𝑔𝑔(𝑛𝑛) (7)

Het BIC waarvan de B eigenlijk de afkorting is van Bayesiaanse is is een criterium gebaseerd op de regel van Bayes. Dit houdt in dat de a-posteriori-kans dat een bepaald model het echte model is wordt gemaximaliseerd. Er wordt dus na het schatten van het model de kans

bepaald of het geschatte model het echte model is. Dit is waar het verschilt van de klassieke statistiek waarbij na het schatten alleen gezegd kan worden of het model wel of niet het echte model is en er niet meer achteraf met kansen wordt gewerkt.

Deze Bayesiaanse manier is een nogal lastige om de BIC mee af te leiden en het is dan ook handig dat dit criterium makkelijk te berekenen is met de standaard output van een pure likelihood gebaseerde analyse en ook in zo een analyse gebruikt kan worden voor model selectie (Kuha, 2004).

Afgezien van het Bayesiaanse gedeelte verschilt het BIC alleen van het AIC (en daarmee ook AICC) via de strafterm. Als we het AIC en BIC direct met elkaar vergelijken zien

we dus dat de penalty met betrekking tot het toevoegen van extra parameters

respectievelijk 2*k en k*log(n) is. Hieruit is simpel te zien dat wanneer n (dus het aantal observaties in de steekproef) groter dan 8 is, de straf voor elke toegevoegde paramater groter is voor het BIC dan voor het AIC. Over het algemeen zijn de modellen die worden gekozen door het Schwarz criterium simpeler dan die gekozen door het criterium van Akaike (Kadane & Lazar, 2004).

Dit verschil is anders wanneer er gekeken wordt naar de straftermen van BIC en AICc

(te vinden in vergelijkingen 7 en 6), respectievelijk 𝑙𝑙 ∗ log(𝑛𝑛) (𝑙𝑙𝑚𝑚𝑛𝑛𝑙𝑙𝑚𝑚𝑚𝑚𝑙𝑙) 𝑙𝑙𝑛𝑛 _{𝑛𝑛−𝑘𝑘−1}2∗𝑘𝑘∗𝑛𝑛 (𝑐𝑐𝑜𝑜𝑛𝑛𝑐𝑐𝑙𝑙𝑚𝑚). Nu zijn beide afhankelijk van de steekproefgrootte en de dimensie van het model. Er zal dus een van de twee constant moeten worden gehouden wanneer er wordt getracht de grens te vinden tussen de grootte van de penalty’s.

(9)

- 7 -

Beide criteria die zijn gebruikt in dit onderzoek zijn op een bepaalde manier een verbetering van Akaike’s originele informatie criterium waarmee een model op zijn kwaliteit kan worden beoordeeld. Ondanks dat door de basis waaraan het BIC ten grondslag ligt deze vooral wordt gebruikt in de sociologie en het AIC (en daaraan verbonden het ‘verbeterde’ AICC) erg populair is in de econometrie (Kuha, 2004), zit het verschil in de formule tussen de

onderzochte criteria, alleen in de strafterm.

2.6. Cross-validatie

Om de modellen die worden gekozen door de twee criteria te beoordelen wordt er gebruikgemaakt van cross-validatie. Dit houdt in dat een dataset wordt verdeeld in een k aantal willekeurige subsets die allen ongeveer even groot zijn. Een model wordt daarna geschat op basis van een (aantal) subset(s) (trainingsset), vervolgens wordt het verkregen model getest op de overgebleven subsets (test set). Dit proces wordt k keer gedaan zodat met alle subsets een keer wordt getest. Als het geschatte model wordt losgelaten op de test sets kan uit het verschil tussen de voorspelde en werkelijke waarde van de te verklaren variabele worden opgemaakt hoe goed het model presteert.

3. Onderzoeksopzet 3.1. Algemeen

Aan de hand van de, in het vorige hoofdstuk besproken, methode zijn de twee selectie criteria, AICC en BIC, met elkaar vergeleken. Er is gebruikgemaakt van echte data om de

willekeurigheid zo veel mogelijk te behouden en zelf zo weinig mogelijk invloed te hebben op de resultaten. Dit omdat echte data kenmerken bevat die niet (makkelijk) door een simulatie kunnen worden nagebootst.

3.2. Dataset

De data is afkomstig van het “National Longitudinal Survey of Youth 1997”, dit onderzoek bestaat uit een 15 tal interviews onder mannen en vrouwen geboren in de jaren 1980 -1984 waarvan de eerste in 1997 was. Bestaande uit ongeveer 9000 personen die tussen de 12 en 16 waren ten tijde van het eerste interview. Na het filteren (verwijderen van ongeldige waarnemingen) van de data is het onderzoek uiteindelijk uitgevoerd met een dataset van n = 1714 met 37 variabelen (meer over te vinden in bijlage 1). Dit is verdeeld in tien subsets van elk 171 observaties.

(10)

- 8 -

3.3. Model

Door middel van lineaire regressie zijn de modellen geschat. Elke subset is een keer als trainingsset gebruikt waarbij telkens een bepaald model geschat werd met tien parameters (inclusief de contante). Door middel van terugwaartse selectie, waarbij na elke schatting de minst significante (kleinste absolute t-waarde) variabele uit het model is gehaald. Dit is net zo vaak herhaald totdat beide criteria een bepaald model prefereerde.

Vooraf kan al iets gezegd worden over de relatieve grootte van de modellen. Het verschil tussen het AICc en BIC zit in de strafterm en wanneer die twee naast elkaar worden

gelegd kan er worden gezien dat het BIC bij dit onderzoek altijd een model zal kiezen dat een kleinere of gelijke dimensie heeft als het model geprefereerd door het AICc. Om dit te

verduidelijken:

𝑆𝑆𝑆𝑆𝑙𝑙𝑚𝑚𝑆𝑆𝑆𝑆𝑙𝑙𝑙𝑙𝑚𝑚𝑙𝑙𝑛𝑛: 𝐵𝐵𝐴𝐴𝐴𝐴 = 𝑙𝑙 ∗ log(𝑛𝑛) 𝑙𝑙𝑛𝑛 𝐴𝐴𝐴𝐴𝐴𝐴𝑐𝑐 = _{𝑛𝑛−𝑘𝑘−1}2∗𝑘𝑘∗𝑛𝑛 (8) In onderstaande grafiek zijn beide functies geplot waarbij geldt n=171.

Grafiek 1 met de grootte van de straftermen van het AICc en BIC uitgezet tegen het aantal parameters In grafiek 1 is te zien welke strafterm groter is voor een gegeven aantal parameters. Echter zijn we niet naar de absolute waarde hiervan opzoek maar naar de marginale waarde, om dit te illustreren: -500 0 500 1000 1500 2000 2500 -20Gr 0 20 40 60 80 100 120 140 160 oo tt e va n d e s tr aft er m Aantal parameters

Grootte van de penalty voor een bepaald aantal

parameters

BIC AICc

(11)

- 9 -

Grafiek 2 met de grootte van de marginale straf van het AICc en BIC uitgezet tegen het aantal parameters Het snijpunt ligt op k=63,7, in dit onderzoek ligt het aantal parameters van de geschatte modellen onder de tien. Dit betekent dat de daling van de penalty voor elke geschrapte parameter kleiner is voor het AICc dan voor het BIC. Hieruit volgt dus dat het BIC in dit

onderzoek altijd hetzelfde of een kleiner model zal prefereren dan het AICc (dit zal altijd het

geval zijn als er wordt gewerkt op eenzelfde manier waarbij de maximale grootte van de geschatte modellen kleiner is dan het snijpunt in grafiek 2, dit is dus afhankelijk van n).

3.4. Aanpak

Er zijn drie onderzoeken gedaan waarbij de grootte van de subsets n=171 was. Bij elk onderzoek zijn alle subsets een keer gebruikt als trainingsset om de modellen te schatten. Telkens is er begonnen een model met k=10 parameters te schatten, hiervan zijn de AICc en

BIC scores genoteerd om vervolgens de minst significante parameter weg te laten. Dit proces is herhaald met de k-1 overgebleven parameters en net zolang doorgegaan totdat beide criteria een bepaald model prefereerde. Wanneer er verschillende modellen worden

geselecteerd door de criteriums dan zijn deze twee modellen dus altijd genest. Wanneer de gekozen modellen zijn geschat worden deze getest op de overgebleven data. Vervolgens wordt de volgende subset als trainingsset gebruikt, dit proces wordt herhaald totdat alle subsets een keer zijn gebruikt voor het schatten van de modellen. Hieronder per onderzoek het model waar telkens mee begonnen is:

0 2 4 6 8 10 12 -20 0 20 40 60 80 100 M ar gi na le st ra f Aantal parameters

Grootte van de straf voor elke extra toegevoegde

parameter

BIC AICc

(12)

- 10 -

Onderzoek 1:

Wage2010 = β0 + β1*job1wage + β2*weekhoursjob1 + β3*adultweeksworked +

β4*highestdegree + β5*gender + β6*adultjobs + β7*asvab + β8*west +

β9*weeklyhourspc + ε (9)

Onderzoek 2:

Job1wage = β0 + β1*highestdegree + β2*covered + β3* weekhoursjob1+

β4*job1satisfaction + β5* benefits + β6* weeklyhourspc + β7* weight + β8*

gender + β9* asvab + ε (10)

Onderzoek 3:

Weight = β0 + β1* gender + β2* height + β3* black + β4* highestdegree +

β5*arrested + β6* weeklyhourspc + β7* covered + β8* hourssleep + β9* hispanic

+ ε (11)

De negen variabelen (dit is exclusief de constante) die in elk van de onderzoeken zijn gebruikt zijn verkregen door de te verklaren variabelen eerst te regresseren op alle beschikbare variabelen (waarbij er een aantal weg zijn gelaten om de triviale reden

multicollineariteit te vermijden) en door gebruik te maken van de gehele dataset. Vervolgens zijn de negen variabelen met de grootste absolute t-waarde (meest significant) gebruikt.

Na het testen wordt op basis van de Mean Absolute Error (MAE) en Root Mean Squared Error (RMSE) de geschatte modellen met elkaar vergeleken. De MAE is de gemiddelde absolute afstand van de voorspelde tot de daadwerkelijke waarde waarbij alle afwijkingen even zwaar wegen. Voor de RMSE worden de afstanden tussen de voorspelde en

daadwerkelijke waarden gekwadrateerd, vervolgens wordt van het gemiddelde van al deze gekwadrateerde afstanden de wortel genomen. Op deze manier wegen grote uitschieters zwaarder mee en kan de combinatie van de MAE en de RMSE iets vertellen over de variatie van de voorspelfouten.

(13)

- 11 -

4. Resultaten en analyse 4.1. Resultaten

Hieronder zijn de resultaten van de drie onderzoeken weergegeven waarbij per trainingsset (eerste kolom) telkens door beide criteria een geschat model is gekozen, hiervan zijn de dimensies gegeven. Beide modellen zijn getest op de overgebleven data en met behulp van de RMSE en MAE is telkens de relatieve voorspelprestatie gemeten. Het onderzoek is gedaan met behulp van Eviews, hierin wordt de constante meegenomen als parameter.

4.1.1. Onderzoek 1

Trainingsset n=171

Trainingsset k BIC k AICc RMSE MAE

1 4 5 BIC AICc 2 5 6 BIC BIC 3 5 7 AICc BIC 4 5 8 AICc AICc 5 7 7 gelijk gelijk 6 6 6 gelijk gelijk 7 6 7 AICc BIC 8 6 8 AICc AICc 9 6 6 gelijk gelijk 10 5 6 AICc BIC

Tabel 1 met voor elke trainingsset de dimensie van de modellen en welk model beter presteert (In bijlage 2 zijn meer achterliggende resultaten van dit onderzoek te vinden)

In tabel 1 wordt per trainingsset weergegeven wat de dimensie is van het model dat is gekozen door het BIC en van het model geprefereerd door het AICc. In de laatste twee

kolommen is weergegeven welk van de criteria het model met de laagste waarde heeft geselecteerd. Een tabel met het overzicht:

AICc BIC gelijk discussie

2 1 3 4

Tabel 2 met het aantal keren dat de vier mogelijke uitkomsten voorkwam in onderzoek 1

Voor de eerste twee kolommen van tabel 2 geldt dat zowel de RMSE als MAE het laagste waren voor het model gekozen door dit criterium, “gelijk” is wanneer beide hetzelfde model selecteerden en in de laatste kolom staat hoe vaak de RMSE en MAE hun laagste waarde niet bij hetzelfde model hadden.

(14)

- 12 -

Trainingsset n =171

1 4 5 AICc AICc 2 3 6 BIC BIC 3 3 4 AICc AICc 4 3 4 BIC BIC 5 3 3 gelijk gelijk 6 3 6 AICc AICc 7 3 7 AICc AICc 8 4 8 AICc AICc 9 5 6 AICc AICc 10 5 5 gelijk gelijk

6 2 2 0

Tabel 4 met het aantal keren dat elk van de vier mogelijke uitkomsten voorkwam in onderzoek 2

Trainingsset n = 171

1 4 4 gelijk gelijk 2 3 3 gelijk gelijk 3 3 3 gelijk gelijk 4 4 6 BIC BIC 5 4 8 AICc BIC 6 3 7 AICc BIC 7 3 4 AICc AICc 8 3 5 BIC BIC 9 3 4 BIC BIC 10 4 4 gelijk gelijk

1 3 4 2

(15)

- 13 -

4.2. Analyse

Er is in totaal 30 keer een subset gebruikt als trainingsset, alle resultaten bij elkaar genomen zijn hieronder weergegeven in de tabel:

9 6 9 6

Tabel 7 met het aantal keren dat elk van de vier mogelijke uitkomsten voorkwam in het gehele onderzoek

Wanneer er eerst globaal naar de resultaten wordt gekeken ziet dat in 21 van de 30 gevallen beide criteria een ander model prefereerden, achttien keer was het model van AICc en

vijftien keer die door het BIC aangewezen het beste model (in percentages is dit 60% voor AICc en 50% voor BIC). De resultaten suggereren dus dat het AICc met een minieme marge

vaker het beste model kiest, het verschil is echter te klein om dit te concluderen.

Maar er is meer te zien in de resultaten, wanneer we de verschillende onderzoeken apart bekijken zien we de verschillen in de dimensies van de modellen. In onderzoek 1 zijn de modellen gemiddeld genomen het grootst en is het verschil in dimensies tussen ze het kleinst (1,1), dit is terug te zien in de resultaten doordat er maar drie van de tien keer een winnaar is aan te wijzen. In het tweede onderzoek is het gemiddelde verschil in dimensie het grootst (1,8) en is er in acht van de tien gevallen een winnaar. Opvallend aan onderzoek 3, wat qua gemiddeld verschil in dimensie (1,4) er tussen zit, is dat alleen hierbij het BIC vaker het beste model kiest.

Onder het kopje “discussie” in tabel 7 is het aantal keren te vinden dat laagste waarde van de RMSE en die van de MAE niet afkomstig waren van hetzelfde model. Als we deze zes gevallen nog eens bekijken zien we het volgende:

RMSE MAE 1 BIC AICc 2 AICc BIC 3 AICc BIC 4 AICc BIC 5 AICc BIC 6 AICc BIC

Tabel 8 met in elk van de zes gevallen het best selecterend criterium volgens die maatstaf

De gegevens in bovenstaande tabel suggereren dat het AICc eerder voor een model kiest dat

(16)

- 14 -

vice versa betekent dit ook dat laatstgenoemde vaker modellen met een kleinere absolute fout kiest. Als we alle resultaten meenemen om dit verschil te bekijken krijgen we:

RMSE MAE

AICc 14 10

BIC 7 11

Tabel 9 met het aantal keren dat de RMSE en MAE de laagste waarde hadden voor de geselecteerde modellen

Ook hier is goed te zien dat de gecorrigeerde versie van Akaike´s informatie criterium vaker een model selecteert met een kleinere RMSE dan het Bayesiaanse informatie criterium. Bij de MAE is dit verschil zo goed als verdwenen, dit komt natuurlijk doordat het AICc negen

keer het beste model koos en het BIC maar zes keer.

Er is ook een ander bijzonder resultaat verkregen uit het onderzoek, ondanks dat het hier gaat om een vergelijking tussen het AICc en BIC is ook telkens gekeken naar het AIC. De

prestaties hiervan verschilden nauwelijks met die van het AICc, echter koos het orginele

criterium in drie gevallen voor een model met een parameter meer dan dat zijn

gecorrigeerde vorm deed. In alle drie de gevallen voorspelde het grotere model geselecteerd door het AIC beter volgens zowel de RMSE als MAE dan die van het AICc.

Uiteindelijk is er een klein verschil gevonden in de voorspel prestaties van de gekozen modellen en ook al is dit niet een significant verschil een verklaring hiervoor zou kunnen zijn dat BIC er van uit gaat dat er een werkelijk eindig model bestaat, iets wat met echte data (bijna) nooit voorkomt. Een verschil wat wel constant aanwezig is, en welk ook werd uitgelegd in de opzet van het onderzoek, is het verschil in dimensies weer te geven als

BICdimensie ≤ AICc dimensie. Dit gegeven zou de oorzaak kunnen zijn voor het feit dat in dit

onderzoek de RMSE vaker voor een lagere waarde had bij modellen geselecteerd door het gecorrigeerde Akaike informatie criterium. Hiervoor is een mogelijke verklaring dat een complexer model beter de uitschieters kan voorspellen maar tegelijk inlevert op simpliciteit waardoor de MAE hoger kan zijn. Aan de hand van de resultaten kan er dus gesuggereerd worden dat het AICc nauwelijks vaker het beste model selecteert maar dat de modellen die

het selecteert wel vaker een kleinere RMSE vertonen, wat wil zeggen dat uitschieters er beter mee voorspeld worden. Ik raad daarom meer onderzoek aan met grotere kwantiteit data om de gesuggereerde uitspraken verder te onderzoeken.

(17)

- 15 -

5. Conclusie

Bij alle soorten regressies worden modellen geschat, de vraag blijft vaak, welk model is beter? In de loop der tijd zijn er verscheidene selectie criteria opgesteld om te helpen bij het kiezen tussen verschillende modellen. Hiervan worden tegenwoordig vooral de Informatie Criteria (IC) gebruikt, dit zijn afleidingen van het door Akaike in 1974 geformuleerde AIC. Deze criteria bestaan grofweg uit een likelihood gedeelte, welk een maat is voor hoe goed het geschatte model op de gebruikte data past, en een strafterm, die groter wordt met elke extra toegevoegde parameter. Ze maken dus een afweging tussen hoe goed het model op de gebruikte data past (hoe langer het model hoe beter dit is) en de lengte van het model (aantal parameters).

Het AICc en BIC zijn beide variaties op het originele AIC, maar verschillen alleen met

elkaar via de strafterm. Beginnend met een model van tien parameters is er terugwaartse selectie toegepast, de twee termen in de informatie criteria (maximum likelihood en

strafterm) bepaalde hoeveel parameters er werden geschrapt voordat de minimale waarden van de criteria werd gevonden. Door de manier waarop de strafterm van het AICc convex is

en die van het BIC lineair zal de laatstgenoemde eerder kleiner worden bij elke geschrapte variabele. Dit heeft als resultaat dat het BIC in dit onderzoek altijd het even complexe of een simpeler model dan het AICc kiezen.

De resultaten van dit onderzoek laten geen significant verschil zien in de model selectie prestaties van de twee criteria, waar het gecorrigeerde Akaike’s informatie criterium 18 van de 30 keer goed koos deed het Bayesiaanse informatie criterium dit 15 van de 30 keer. Een groter verschil zat in de modellen die de laagste RMSE waarden hadden, de 21 keer dat beide criteria een verschillend model kozen was deze laagste waarde twee keer zo vaak te vinden bij het complexere model geselecteerd door het AICc als bij het simpelere

model van het BIC.

Met dit onderzoek is er dus geen significante winnaar uit gekomen, men kan op basis van de resultaten niet zeggen dat het ene criterium altijd betere modellen selecteert dan het andere. Uiteindelijk is het altijd afhankelijk van het doel van een onderzoeker wat voor model bij een bepaald onderzoek het meest gewenst is. Wel is het zo dat het BIC in vergelijkbare omstandigheden (steekproefgrootte en aantal parameters) nooit een complexer model zal prefereren dan het AICc.

(18)

- 16 -

De uitkomst van dit onderzoek geeft aanleiding tot vervolgonderzoek om meer uitsluitsel te kunnen geven betreft de relatieve prestaties van het AICc en BIC ook het feit dat

(19)

- 17 -

Bibliografie

Akaike, H. (1974). A new look at the statistical model identification. Automatic Control, IEEE

Transactions on, 19(6), 716-723.

Busemeyer, J. R., & Wang, Y. M. (2000). Model comparions and model selections based on

generalization criterion methodology. Journal of Mathematical Psychology, 44(1), 171-189. Coenen, M., & Huls, T. (2008). Modelselectie: AIC en BIC.

Collyer, C. E. (1985). Comparing strong and weak models by fitting them to computer-generated data. In C. E. Collyer, Perception and Psychophysics (pp. 476-481). Kingston, Rhode Island: Psychonomic Society, Inc.

Cramer, H. (1946). Mathematical Methods of Statistics. Princeton, N. J.: Prinston Univ. Press. Dawes, R. M., & Corrigan, B. (1974). Linear models in decision making. Psychological bulletin, 81(2),

95.

Forster, M. R. (2000). Key concepts in model selection: Performance and generalizability. Journal of

mathematical psychology, 44(1), 205-231.

Hurvich, C. M., & Tsai, C. L. (1989). Regression and time series model selection in small samples.

Biometrika, 76(2), 297-307.

Kadane, J. B., & Lazar, N. A. (2004). Methods and criteria for model selection. Journal of the American

Statistical Association, 279-290.

Kohavi, R. (1995). A study of cross-validation and bootstrap for accuracy estimation and model selection. Ijcai, 1137-1145.

Kuha, J. (2004). AIC and BIC comparisons of assumptions and performance. Sociological Methods &

Research, 33(2), 188-229.

Kullback, S., & Leibler, R. A. (1951). On information and sufficiency. The annals of mathematical

statistics, 79-86.

Schwarz, G. (1978). Estimating the dimension of a model. The annals of statistics, 6(2), 461-464. Shibata, R. (1981). An optimal selection of regression variables. Biometrika, 68(1), 45-54.

van Casteren, P. H., & de Gooijer, J. G. (1997). Model selection by maximum entropy. In Advances in

(20)

- 18 -

Bijlagen

1. De 37 beschikbare variabelen met tussen haakjes jaar waarin de vraag is gesteld: adultjobs aantal banen sinds vanaf het 20ste_{levensjaar (2010)} adultweeksworked aantal weken gewerkt sinds 20ste_{levensjaar (2010)}

age leeftijd (2010)

arrested ooit gearresteerd (2010) (dummy)

asvab testscore van een soort intelligentie test (1999) benefits of de eerste werkgever voordelen toegankelijk voor

werknemers (2010) (dummy)

black ras en etniciteit gecombineerd (dummy) covered gedekt door een contract onderhandeld door

werknemersorganisatie of vakbond (dummy) evermarried getrouwd of ooit geweest (2010) (dummy)

fought aantal keren in een fysiek gevecht betrokken op school (1997)

gender geslacht (dummy, 1 = man 0 = vrouw) height lengte in feet (2010)

hhsize00 aantal personen in het huishouden (2000) hhsize10 aantal personen in het huishouden (2010)

hhunder18 aantal personen in het huishouden onder 18 jaar (2010) highestdegree hoogste diploma gehaald (verdeeld in 0 tot en met 7)(2010) hispanic ras en etniciteit gecombineerd (dummy variabele)

hourssleep aantal uren slaap per nacht (2010)

job1satisfaction mate van voldoening bij de eerste baan (1 tot en met 5, lager is beter)(2010)

job1wage uurloon van de eerste baan (2010)

job1weeks aantal weken gewerkt bij de eerste baan (2010) job1yearweeks aantal werkweken per jaar bij de eerste baan (2010)

northcentral woont in het centrale noorden van Amerika (2010) (dummy) northeast woont in het noord oosten van Amerika (2010) (dummy) novirgin geen maagd meer (1997) (dummy)

pregn kans op het veroorzaken van een zwangerschap in de komende 5 jaar voor zowel man als vrouw (2000) (dummy) robbed aantal keren bestolen op school (1997)

south woont in het zuiden van Amerika (2010) threatened aantal keren bedreigd op school (1997) wage2010 jaarinkomen (2010)

weekhoursjob1 aantal werkuren per week bij de eerste baan (2010) weeklyhourspc aantal uren per week op de computer (2010) weeklyhourstv aantal uren per week achter de tv (2010) weight gewicht in pounds (2010)

west woont in het westen van Amerika (2010)

white ras en etniciteit gecombineerd (dummy variabele) youthjobs aantal banen tot en met 19de_{levensjaar (2010)}

(21)

- 19 - 2. Onderzoek 1

Met in de linker kolom in elke rij linksboven welk van de tien subsets was gebruikt als trainingsset om het model mee te schatten en in elk vak linksboven de dimensie (K=…) van het

desbetreffende model. In de linker kolom zijn alle modellen gekozen door het BIC te vinden en in de rechter kolom die gekozen door het AICc. Aan het eind van dit onderzoek staan de

voorspelprestaties van de twee modellen dat het AIC anders koos dan het AICc.

BIC AICc 1 K=4 Forecast: WAGE2010F_BIC1 Actual: WAGE2010 Forecast sample: 172 1714 Included observations: 1543

Root Mean Squared Error 25878.70 Mean Absolute Error 11996.10 Mean Abs. Percent Error 93.14991 Theil Inequality Coefficient 0.282549 Bias Proportion 0.044028 Variance Proportion 0.035474 Covariance Proportion 0.920498 K=5 Forecast: WAGE2010FAICC1 Actual: WAGE2010 Forecast sample: 172 1714 Included observations: 1543

Root Mean Squared Error 25945.72 Mean Absolute Error 11916.41 Mean Abs. Percent Error 94.31678 Theil Inequality Coefficient 0.283270 Bias Proportion 0.033975 Variance Proportion 0.049747 Covariance Proportion 0.916278 2 K=5 Forecast: WAGE2010FBIC2 Actual: WAGE2010 Forecast sample: 1 171 343 1714 Included observations: 1543

Root Mean Squared Error 20136.71 Mean Absolute Error 11786.05 Mean Abs. Percent Error 93.28864 Theil Inequality Coefficient 0.233880 Bias Proportion 0.011193 Variance Proportion 0.018424 Covariance Proportion 0.970384 K=6 Forecast: WAGE2010FAICC2 Actual: WAGE2010 Forecast sample: 1 171 343 1714 Included observations: 1543

Root Mean Squared Error 20738.80 Mean Absolute Error 14320.18 Mean Abs. Percent Error 111.9731 Theil Inequality Coefficient 0.253036 Bias Proportion 0.003922 Variance Proportion 0.244319 Covariance Proportion 0.751759

(22)

- 20 - 5 K=7 Forecast: WAGE2010FBIC5AICC5 Actual: WAGE2010 Forecast sample: 1 684 856 1714 Included observations: 1543

Root Mean Squared Error 19107.17 Mean Absolute Error 13142.38 Mean Abs. Percent Error 104.4684 Theil Inequality Coefficient 0.230871 Bias Proportion 0.001800 Variance Proportion 0.236705 Covariance Proportion 0.761495 K=7 Forecast: WAGE2010FBIC5AICC5 Actual: WAGE2010 Forecast sample: 1 684 856 1714 Included observations: 1543

Root Mean Squared Error 19107.17 Mean Absolute Error 13142.38 Mean Abs. Percent Error 104.4684 Theil Inequality Coefficient 0.230871 Bias Proportion 0.001800 Variance Proportion 0.236705 Covariance Proportion 0.761495 6 K=6 Forecast: WAGE2010FBICAICC6 Actual: WAGE2010 Forecast sample: 1 855 1027 1714 Included observations: 1543

Root Mean Squared Error 26385.49 Mean Absolute Error 10794.15 Mean Abs. Percent Error 61.97462 Theil Inequality Coefficient 0.295316 Bias Proportion 0.002303 Variance Proportion 0.025230 Covariance Proportion 0.972467 K=6 Forecast: WAGE2010FBICAICC6 Actual: WAGE2010 Forecast sample: 1 855 1027 1714 Included observations: 1543

Root Mean Squared Error 18797.10 Mean Absolute Error 11732.45 Mean Abs. Percent Error 90.02788 Theil Inequality Coefficient 0.220158 Bias Proportion 0.000656 Variance Proportion 0.101124 Covariance Proportion 0.898220 9 K=6 Forecast: WAGE2010FBICAICC9 Actual: WAGE2010 Forecast sample: 1 1368 1540 1714 Included observations: 1543

Root Mean Squared Error 24091.62 Mean Absolute Error 11088.29 Mean Abs. Percent Error 78.27746 Theil Inequality Coefficient 0.266500 Bias Proportion 0.004245 Variance Proportion 0.003619 Covariance Proportion 0.992136 K=6 Forecast: WAGE2010FBICAICC9 Actual: WAGE2010 Forecast sample: 1 1368 1540 1714 Included observations: 1543

(23)

- 21 - 10 K=5 Forecast: WAGE2010FBIC10 Actual: WAGE2010 Forecast sample: 1 1539 1711 1714 Included observations: 1543

AIC (wanneer deze een ander model kiest) 4 K=9 Forecast: WAGE2010FAIC4 Actual: WAGE2010 Forecast sample: 1 513 685 1714 Included observations: 1543

Root Mean Squared Error 20463.24 Mean Absolute Error 14156.26 Mean Abs. Percent Error 109.7330 Theil Inequality Coefficient 0.249727 Bias Proportion 0.005016 Variance Proportion 0.235696 Covariance Proportion 0.759288 5 K=8 Forecast: WAGE2010FAIC5 Actual: WAGE2010 Forecast sample: 1 684 856 1714 Included observations: 1543

(24)

desbetreffende model. In de linker kolom zijn alle modellen gekozen door het BIC te vinden en in de rechter kolom die gekozen door het AICc.

BIC AICc 1 K=4 Forecast: JOB1WAGEFBIC1 Actual: JOB1WAGE Forecast sample: 172 1714 Included observations: 1543

Root Mean Squared Error 15.30355 Mean Absolute Error 7.357848 Mean Abs. Percent Error 101.3683 Theil Inequality Coefficient 0.347686 Bias Proportion 0.013482 Variance Proportion 0.474196 Covariance Proportion 0.512321 K=5 Forecast: JOB1WAGEFAICC1 Actual: JOB1WAGE Forecast sample: 172 1714 Included observations: 1543

Root Mean Squared Error 15.29906 Mean Absolute Error 7.344273 Mean Abs. Percent Error 99.22420 Theil Inequality Coefficient 0.347114 Bias Proportion 0.012457 Variance Proportion 0.432313 Covariance Proportion 0.555230 2 K=3 Forecast: JOB1WAGEFBIC2 Actual: JOB1WAGE Forecast sample: 1 171 343 1714 Included observations: 1543

Root Mean Squared Error 15.07919 Mean Absolute Error 7.271925 Mean Abs. Percent Error 93.70990 Theil Inequality Coefficient 0.345987 Bias Proportion 0.004341 Variance Proportion 0.404329 Covariance Proportion 0.591330 K=6 Forecast: JOB1WAGEFAICC2 Actual: JOB1WAGE Forecast sample: 1 171 343 1714 Included observations: 1543

(25)

- 23 - 5 K=3 Forecast: JOB1WAGEFBICAICC5 Actual: JOB1WAGE Forecast sample: 1 684 856 1714 Included observations: 1543

Root Mean Squared Error 14.55751 Mean Absolute Error 7.104648 Mean Abs. Percent Error 84.90205 Theil Inequality Coefficient 0.338513 Bias Proportion 0.000296 Variance Proportion 0.397314 Covariance Proportion 0.602390 K=3 Forecast: JOB1WAGEFBICAICC5 Actual: JOB1WAGE Forecast sample: 1 684 856 1714 Included observations: 1543

(26)

- 24 - 10 K=5 Forecast: JOB1WAGEFBICAICC10 Actual: JOB1WAGE Forecast sample: 1 1539 1711 1714 Included observations: 1543

Root Mean Squared Error 15.40409 Mean Absolute Error 6.993370 Mean Abs. Percent Error 78.21272 Theil Inequality Coefficient 0.359602 Bias Proportion 0.002257 Variance Proportion 0.537743 Covariance Proportion 0.460000 K=5 Forecast: JOB1WAGEFBICAICC10 Actual: JOB1WAGE Forecast sample: 1 1539 1711 1714 Included observations: 1543

(27)

desbetreffende model. In de linker kolom zijn alle modellen gekozen door het BIC te vinden en in de rechter kolom die gekozen door het AICc. Aan het eind van dit onderzoek staat de

voorspelprestatie van het model dat het AIC anders koos dan het AICc.

BIC AICc 1 K=4 Forecast: WEIGHTFBICAICC1 Actual: WEIGHT Forecast sample: 172 1714 Included observations: 1543

Root Mean Squared Error 48.87044 Mean Absolute Error 35.68356 Mean Abs. Percent Error 19.21372 Theil Inequality Coefficient 0.128644 Bias Proportion 0.000684 Variance Proportion 0.157115 Covariance Proportion 0.842202 K=4 Forecast: WEIGHTFBICAICC1 Actual: WEIGHT Forecast sample: 172 1714 Included observations: 1543

Root Mean Squared Error 48.87044 Mean Absolute Error 35.68356 Mean Abs. Percent Error 19.21372 Theil Inequality Coefficient 0.128644 Bias Proportion 0.000684 Variance Proportion 0.157115 Covariance Proportion 0.842202 2 K=3 Forecast: WEIGHTFBICAICC2 Actual: WEIGHT Forecast sample: 1 171 343 1714 Included observations: 1543

Root Mean Squared Error 49.04260 Mean Absolute Error 34.93242 Mean Abs. Percent Error 17.77299 Theil Inequality Coefficient 0.132705 Bias Proportion 0.057845 Variance Proportion 0.380429 Covariance Proportion 0.561726 K=3 Forecast: WEIGHTFBICAICC2 Actual: WEIGHT Forecast sample: 1 171 343 1714 Included observations: 1543

Root Mean Squared Error 49.04260 Mean Absolute Error 34.93242 Mean Abs. Percent Error 17.77299 Theil Inequality Coefficient 0.132705 Bias Proportion 0.057845 Variance Proportion 0.380429 Covariance Proportion 0.561726 3 K=3 Forecast: WEIGHTFBICAICC3 Actual: WEIGHT Forecast sample: 1 342 514 1714 Included observations: 1543

Root Mean Squared Error 48.45425 Mean Absolute Error 35.44337 Mean Abs. Percent Error 19.07462 Theil Inequality Coefficient 0.129152 Bias Proportion 0.006471 Variance Proportion 0.336647 Covariance Proportion 0.656882 4 K=4 Forecast: WEIGHTFBIC4 Actual: WEIGHT Forecast sample: 1 513 685 1714 Included observations: 1543

Root Mean Squared Error 48.35410 Mean Absolute Error 35.24847 Mean Abs. Percent Error 18.90414 Theil Inequality Coefficient 0.128576 Bias Proportion 0.006490 Variance Proportion 0.238450 Covariance Proportion 0.755060 K=6 Forecast: WEIGHTFAICC4 Actual: WEIGHT Forecast sample: 1 513 685 1714 Included observations: 1543

(28)

- 26 - 5 K=4 Forecast: WEIGHTFBIC5 Actual: WEIGHT Forecast sample: 1 684 856 1714 Included observations: 1543

(29)

- 27 - 10 K=4 Forecast: WEIGHTFBICAICC10 Actual: WEIGHT Forecast sample: 1 1539 1711 1714 Included observations: 1543

Root Mean Squared Error 47.31468 Mean Absolute Error 36.49148 Mean Abs. Percent Error 20.43274 Theil Inequality Coefficient 0.124509 Bias Proportion 0.001843 Variance Proportion 0.393253 Covariance Proportion 0.604904 8 K=6 Forecast: WEIGHTFAIC8 Actual: WEIGHT Forecast sample: 1 1197 1369 1714 Included observations: 1543