Met de resultaten van dit onderzoek is gekeken naar hoe vaak de ABS-methode het beste model selecteert, hoe vaak de methode het slechtste model selecteert en naar de gemiddelde voorspelfouten van de modellen geselecteerd door de methode. De prestatie van de ABS-methode is vergeleken met de prestatie van AIC en SBIC. Op de drie pun- ten van beoordeling presteert de ABS-methode met SIICω∗N N respectievelijk even goed
als of beter dan de andere twee modelselectiemethoden. Zoals beschreven in hoofdstuk 2.3.3 is het probleem bij modelselectie dat er vaak niet bekend is aan welke voorwaarden aan de data is voldaan. Hierdoor is een keuze maken tussen AIC en SBIC arbitrair. Het doel van de ABS-methode is dan dat het zich aanpast aan de situatie en een beter model selecteert dan de methode waarvoor er niet aan de voorwaarden is voldaan, in dit geval waarschijnlijk SBIC. Uit de resultaten van dit onderzoek blijkt dat in bijna alle gevallen zo te zijn en ook in die zin presteert de ABS-methode goed.
Om te kunnen stellen dat deze resultaten ook gelden voor andere soorten data, is het aan te bevelen dit onderzoek te herhalen met andere datasets. Idealiter zouden de resultaten van dit onderzoek nog bevestigd worden met een dataset waarin SBIC juist goed presteert en AIC niet. Wanneer ook dan de ABS-methode het in de meeste gevallen beter doet dan AIC is het nog aannemelijker dat er met de ABS-methode een verbeterde methode van modelselectie is bewerkstelligd.
Conclusie
Een belangrijk probleem bij het kwantificeren van economische relaties is dat van mo- delselectie. Vanwege de opkomst van ‘big data’ wordt de vraag hoeveel variabelen er moeten worden opgenomen in een model steeds belangrijker. Om het probleem op te lossen dat zich voordoet wanneer de bekendste modelselectie criteria, AIC en SBIC, het niet eens zijn over de dimensie van het beste model wordt in deze paper een nieuwe manier van modelselectie onderzocht, genoemd de ABS-methode. Deze methode maakt gebruik van de informatie die AIC en SBIC geven en selecteert met behulp van een krimpparameter en het selectiecriterium SIICω een nieuw model, met een dimensie tus-
sen die van AIC en SBIC in. Modelselectie met deze methode moet meer zekerheid bieden dan gebruik van AIC of SBIC alleen.
Afhankelijk van verschillende aannames zijn twee uitdrukking gegeven voor de opti- male krimpparameter. De ene uitdrukking voor de krimpparameter gaat uit van geneste modellen en normaliteit van de storingstermen. De andere uitdrukking gaat hiernaast ook nog uit van de aanname dat beide modellen waartussen gekozen moet worden even goed zijn. Met behulp van theorie is onderbouwd waarom de ABS-methode een betere manier van modelselectie moet bewerkstelligen. Dit is ook getracht empirisch te onder- bouwen, door de modellen geselecteerd met de ABS-methode te beoordelen op basis van hun voorspelfouten.
Uit de resultaten van het onderzoek blijkt dat de ABS-methode met uitdrukking ωN N∗ voor de krimpparameter het beste presteert. Deze methode selecteert even vaak als AIC het beste model, maar selecteert minder vaak dan AIC het slechtste. Bovendien genereert deze methode gemiddeld de kleinste voorspelfouten. SBIC presteert in dit onderzoek zeer slecht. Dit zou kunnen komen door de mate waarin de dataset aan de
voorwaarden voor SBIC voldoet. In het geval dat er niet aan de aannames voor een van de selectiemethoden is voldaan, is het doel van de ABS-methode om zich hieraan aan te passen en een beter model te selecteren dat deze selectiemethode. In dit opzicht presteert de ABS-methode ook goed. Er wordt geconcludeerd dat de ABS-methode met ωN N∗ een verbeterde methode van modelselectie is.
De beoordeling van de ABS-methode in dit onderzoek is gebaseerd op dertig onaf- hankelijke groepen data, welke uit ´e´en grote dataset komen. Om een robuuster resultaat te krijgen wordt het aanbevolen om hetzelfde onderzoek te herhalen met een andere da- taset. Wanneer dit in een vervolgonderzoek wordt toegepast kan er met meer zekerheid worden aangetoond dat er met de ABS-methode een verbeterde methode van modelse- lectie is bewerkstelligd.
Een andere aanbeveling voor vervolgonderzoek is een analyse van asymptotische eigenschappen middels een simulatie. Daar dit onderzoek is uitgevoerd met behulp van bestaande data waarvan het data genererende proces onbekend is, is het ook onbekend of er een waar model bestaat of niet. Hierom is het lastig iets te concluderen over de asymptotische eigenschappen van de krimpparameter. Idealiter zou uit vervolgonder- zoek kunnen worden geconcludeerd dat de ABS-methode asymptotische effici¨entie en consistentie succesvol combineert.
[1] Akaike, H. (1974). A new look at the statistical model identification. Automatic Control, IEEE Transactions on, 19(6):716–723.
[2] Amemiya, T. (1980). Selection of regressors. International economic review, pages 331–354.
[3] Bartlett, M. S. (1955). An Introduction to stochastic processes: with special reference to methods and applications. University Press Cambridge.
[4] Burnham, K. and Anderson, D. (1998). Model selection and inference: a practical informationtheoretic approach: 60-64.
[5] Hannan, E. J. and Quinn, B. G. (1979). The determination of the order of an autoregression. Journal of the Royal Statistical Society. Series B (Methodological), pages 190–195.
[6] Karlin, S. (1958). Admissibility for estimation with quadratic loss. The Annals of Mathematical Statistics, 29(2):406–436.
[7] Kass, R. E. and Raftery, A. E. (1995). Bayes factors. Journal of the american statistical association, 90(430):773–795.
[8] Kuha, J. (2004). Aic and bic comparisons of assumptions and performance. Socio- logical Methods & Research, 33(2):188–229.
[9] Kullback, S. and Leibler, R. A. (1951). On information and sufficiency. The annals of mathematical statistics, 22(1):79–86.
[10] Mallows, C. L. (1973). Some comments on c p. Technometrics, 15(4):661–675. [11] Nishii, R. e. a. (1984). Asymptotic properties of criteria for selection of variables
in multiple regression. The Annals of Statistics, 12(2):758–765. 31
[12] Schwarz, G. e. a. (1978). Estimating the dimension of a model. The annals of statistics, 6(2):461–464.
[13] Shen, C. (2013). Determinants of health care decisions: Insurance, utilization, and expenditures. Review of Economics and Statistics, 95(1):142–153.
[14] Shibata, R. (1976). Selection of the order of an autoregressive model by akaike’s information criterion. Biometrika, 63(1):117–126.
[15] Shibata, R. (1981). An optimal selection of regression variables. Biometrika, 68(1):45–54.
[16] Theil, H. (1958). Economic forecasts and policy.
[17] Thompson, J. R. (1968). Some shrinkage techniques for estimating the mean. Jour- nal of the American Statistical Association, 63(321):113–122.
[18] Tierney, L. and Kadane, J. B. (1986). Accurate approximations for posterior moments and marginal densities. Journal of the american statistical association, 81(393):82–86.
[19] Van Casteren, P. (1994). Statistical model selection rules (academisch proefschrift). [20] Van Casteren, P. (1996). Pleidooi voor een nieuw selectiecriterium voor het selec-
terenvan regressoren. Kwantitatieve methoden, 17(52):101–129.
[21] Yang, Y. (2005). Can the strengths of aic and bic be shared? a conflict between model identification and regression estimation. Biometrika, 92(4):937–950.