Het Daviesprobleem in een niet-lineaire regressiemodel : een onderzoek naar hypothesetoetsing wanneer de nuisance parameter alleen aanwezig is onder het alternatief

Faculteit Economie en Bedrijfskunde, Amsterdam School of Economics

Bachelorscriptie Econometrie

Het Daviesprobleem in een niet-lineaire regressiemodel

Een onderzoek naar hypothesetoetsing wanneer de nuisance

parameter alleen aanwezig is onder het alternatief

30 december 2017

Tunya Heeres (10748407)

Begeleider: Kees Jan van Garderen

Abstract

In dit onderzoek wordt een niet-lineair regressiemodel beschouwd, waarin de nuisance parameter ver-dwijnt onder de nulhypothese en daardoor niet is ge¨ıdentificeerd. De asymptotische eigenschappen va enkele klassieke hypothesetoetsen, zoals de Wald, Lagrange Multiplier en Likelihood Ratio-toetsen, gaan door dit probleem niet meer op. Om dit op te lossen wordt gesimuleerde data getransformeerd door middel van Box-Cox, en worden de uitkomsten met elkaar vergeleken met behulp van de power curves.

Verklaring eigen werk

Hierbij verklaar ik, Tunya Heeres, dat ik deze scriptie zelf geschreven heb en dat ik de volledige verantwoordelijkheid op me neem voor de inhoud ervan. Ik bevestig dat de tekst en het werk dat in deze scriptie gepresenteerd wordt origineel is en dat ik geen gebruik heb gemaakt van andere bronnen dan die welke in de tekst en in de referenties worden genoemd. De Faculteit Economie en Bedrijfskunde is alleen verantwoordelijk voor de begeleiding tot het inleveren van de scriptie, niet voor de inhoud.

Inhoudsopgave

1 Inleiding 3

2 Benodigde theorie voor de uitvoering van het onderzoek 5 2.1 Voorgaande publicaties over het Daviesprobleem . . . 5 2.2 Box Cox-transformatie . . . 5

3 Onderzoeksmethode 7

3.1 Mogelijke nulhypotheses . . . 7 3.2 Klassieke asymptotische toetsen . . . 7 3.3 Point Optimal-toetsen . . . 8

4 Resultaten en analyse 10

1

Inleiding

Dit onderzoek focust zich op het volgende niet-lineaire regressiemodel met normaal verdeelde storings-termen yi= β1+ β2xi+ β3xγi + i i∼ N 0, σ2
(1.0.1) i = 1, ..., N

In dit model is γ een nuisance parameter. Dit houdt in dat er niet nadrukkelijk gezocht wordt naar de waarde van γ, maar dat de waarde wel invloed heeft op de verdeling van de observaties. De relatie tussen de conditionele verwachting van yi en xi is op verschillende manieren te toetsen, maar in dit

onderzoek staat de volgende hypothese centraal:

H0: β3= 0 Ha: β3> 0 (1.0.2)

Onder de nulhypothese verdwijnt γ, waardoor deze parameter niet is ge¨ıdentificeerd. In de heden-daagse economie doen dit soort problemen zich veelvuldig voor, vooral bij het testen van stochastische co¨effici¨enten in tijdreeksen. Voorbeelden hiervan zijn te vinden in onder andere Bera en Higgins (1992) en Shively (1988). In dit onderzoek wordt echter niet gekeken naar het verdwijnen van de nuisance parameter in een tijdreeks, maar naar een model gebaseerd op gesimuleerde cross sectie-data.

Onder de nulhypothese is de asymptotische verdeling van yionafhankelijk van γ. Dit zorgt ervoor

dat de asymptotische eigenschappen van klassieke toetsen niet meer opgaan. Zo zal de χ2_{-verdeling van}

de Wald, Lagrange Multiplier (LM) en Likelihood Ratio (LR)-toetsen niet gelden, waardoor er geen kritiek gebied vastgesteld kan worden en er ook geen conclusie kan worden getrokken. Dit probleem wordt ook wel het Daviesprobleem genoemd en wordt duidelijk aangekaart in onder andere Davies (1977) en Pavlidis en Tsionas (2017). Ook in dit onderzoek wordt het Daviesprobleem onder handen genomen door het allereerst te analyseren en vervolgens te zoeken naar een vernieuwende oplossing.

Dit onderzoek wordt gedaan op basis van gesimuleerde data. Na het berekenen van de loglikelihood worden de de LR, LM en Wald-toetsen uitgevoerd. Dan wordt er gezocht naar een oplossing om alsnog te kunnen toetsen in een model waarin γ verdwijnt onder de nulhypothese, ondanks de foutieve asymptotische verdelingen van de toetsingsgrootheden. Dit wordt gedaan door middel van een Box

Cox-transformatie op de gesimuleerde data. Daarna worden op basis van de Point Optimal toets de power curves van de toetsen in het oorspronkelijke en het getransformeerde model vergeleken. De resultaten van het onderzoek worden vervolgens geanalyseerd, besproken en vergeleken.

Bovenstaande methode wordt als volgt gedocumenteerd: in deze thesis wordt allereerst relevante theorie besproken, zodat er een duidelijk beeld wordt geschetst van de essentie van het vraagstuk. Deze theorie bevat een aantal bestaande oplossingen voor het Daviesprobleem en is essentieel voor het vervolg van het onderzoek. Daarna volgt hoofdstuk 3 waarin de mogelijke hypotheses en de verdere onderzoeksaanpak worden toegelicht. In hoofdstuk 4 wordt het onderzoek uitgevoerd en worden de verkregen resultaten getoond en geanalyseerd, waarna er in hoofdstuk 5 wordt afgesloten met een conclusie.

2

Benodigde theorie voor de uitvoering van het onderzoek

2.1

Voorgaande publicaties over het Daviesprobleem

In 1977 introduceerde Davies het naar hem vernoemde probleem. In zijn onderzoek wordt het klassieke model omgeschreven naar een Gauss-proces waarna er een toets wordt ontwikkeld. Deze hypothesetoets is te vergelijken met de LR-toets. Ook wordt duidelijk hoe er een interval voor het significantieniveau geconstrueerd kan worden.

In tegenstelling tot Davies (1977) reparameteriseren King & Shively (1993) allereerst het klassieke model, zodat zij binnen een kleine dataset de reguliere hypothesetesten uit kunnen voeren. Vervolgens wordt deze techniek toegepast op twee voorbeelden uit de economische literatuur, waaruit blijkt dat op deze manier de asymptotische eigenschappen van de klassieke toetsen wel te berekenen zijn. Ook Hansen (1996) gereparameteriseert het klassieke model. Hansens stelt dat asymptotische verdelingen van toetingsgrootheden vaak afhangen van een ruim aantal onbekende parameters. Daarom wordt het model getransformeerd op basis van conditionele kansverdeling. Hier komt een asymptotische verdeling uit welke onafhankelijk is van nuisance parameters. Toch hebben King en Shively (1993) een aantoonbaar beter onderscheidingsvermogen.

Recentelijk hebben Pavlidis & Tsionas (2017) de zogenoemde ARCH (Autoregressive Conditio-nal Heteroskedasticity) storingen gebruikt om de onzuiverheid van de LS variantie-covarantie matrix-schatter tegen te gaan. Een verschil met voorgaande onderzoeken is dat Pavlidis en Tsionas (2017) lagged variables gebruiken in plaats van cross-sectiedata. Ook bevat het model een transitiefunc-tie Y (yt−1; γ, c). Er wordt gebruikgemaakt van het Smooth Transition Autoregressive (STAR) model,

waar Taylorbenaderingen in worden gesubstitueerd. De uitkomsten van conventionele toetsen voor line-airiteit zijn volgens Pavlidis en Tsionas (2017) vaak te groot, waardoor de uitkomst is dat nonlineariteit onontkoombaar aanwezig is in dit model. Om dit probleem op te lossen worden de ARCH-storingen getransformeerd en wordt er een alternatieve benadering van de Maximum Likelihood geconstrueerd, waardoor ook op deze manier asymptotische hypothesetoetsing mogelijk wordt gemaakt.

2.2

Box Cox-transformatie

Vergelijkbaar met bovenstaande onderzoeken wordt de data in dit onderzoek getransformeerd, maar ditmaal door middel van de Box-Cox transformatie. Vervolgens zal op de getransformeerde data nogmaals een regressie uitgevoerd worden. De Box Cox-transformatie wordt uitgevoerd door xi op

onderstaande manier te initialiseren:

xj(λ) =

(xλ j − 1)

λ voor λ 6= 0 (2.2.1)

Vervolgens worden de nieuwe variabelen in het oorspronkelijke model gesubstitueerd.

yi= β1+ β2 xλ i − 1 λ + β3  xλ i − 1 λ γ + εi (2.2.2)

Als standaardnormaliteit van εiwordt aangenomen, wordt de loglikelihood van de simultane verdeling

log(p(ε1, ..., εn)) = n X i=1 log(p(εi)) = − n 2log(2π) − 1 2 n X i=1 ε2_i (2.2.3)

Om de likelihoodfunctie te berekenen wordt de volgende gelijkheid gebruikt:

εi= yi− β1− β2xi(λ) − β3xγi(λ) (2.2.4)

Voor de loglikelihood wordt de volgende uitdrukking verkregen:

l(β1, β2, β3, γ, λ) = − 1 2 n X i=1  yi− β1− β2 xλ i − 1 λ − β3 xi− 1 λ
γ 2 (2.2.5)

Deze loglikelihood wordt gebruikt om de ML-schatter voor λ te vinden waarmee hypothesetoetsen uitgevoerd kunnen worden.

3

Onderzoeksmethode

3.1

Mogelijke nulhypotheses

Voordat er gezocht kan worden naar een alternatieve oplossing voor het Daviesprobleem, welke het bovenstaande zal aanvullen, is het essentieel om uit te zoeken of de conditionele verwachting van y afhangt van x. Omdat de parameters van het niet-lineaire model op verschillende manieren te toetsen zijn, worden de vier eerder genoemde mogelijke hypotheses hieronder toegelicht.

(a) H₀(a): γ = 1: toetst de lineariteit van yi in xi.

(b) H₀(b): γ = 0: toets of yi onafhankelijk is van xi.

(c) H₀(c): β = 0: toetst eveneens de onafhankelijkheid van xi.

(d) H₀(d): β = 1: zorgt voor een constante elasticiteit, nadat de storingsterm opnieuw is gedefini¨eerd.

Dit onderzoek zal zich richten op hypothese (c), omdat deze de meest interessante en gecompliceerde hoek van het Daviesprobleem bevat. Omdat yi hier onafhankelijk is van γ, verdwijnt γ onder de

nulhypothese. Hierdoor gaan de eigenschappen van de asymptotische χ2_{-verdelingen van onderstaande}

asymptotische toetsingsgrootheden niet op en kan er geen geldende conclusie getrokken worden door het ontbreken van een kritiek gebied.

3.2

Klassieke asymptotische toetsen

Voor het uitvoeren van deze klassieke toetsen worden de loglikelihood (`(β)), de Score-vector (s(β)), de Hessiaan (H(β)) en de informatiematrix (I) gebruikt (App. I-IV). De toetsen worden uitgevoerd op model (1.0.1) met i ∼ N (0, 1). De likelihood wordt geminimaliseerd met betrekking tot θ =

(β1, β2, β3, γ). Hieruit volgen ˜θ en ˆθ, de Maximum Likelihoodschatters onder respectievelijk H0en Ha.

De Likelihood Ratio-toets wordt uitgevoerd op basis van zowel het restricted als het unrestricted model. Omdat γ in het unrestricted model niet ge¨ıdentificeerd is, wordt er gekozen om γ onder de nulhypothese te defini¨eren door de Maximum Likelihoodschatter onder het alternatief te nemen.

LR = 2`(ˆθ) − 2`(˜θ) (3.2.1)

De Lagrange Multiplier-toets is gebaseerd op het restricted model. Ook hier wordt γ gedefini¨eerd door de Maximum Likelohoodschatter onder de alternatieve hypothese.

LM = (∂` ∂ ˜θ) 0<sub>(I</sub> n)−1( ∂` ∂ ˜θ) (3.2.2)

De Wald-toets berekent toetsingsgrootheid W slechts op basis van Ha. Daarom is het in dit geval niet

nodig om γ opnieuw te defini¨eren en kan W zonder complicaties berekend worden. Echter geld de asymptotische χ2_{-verdeling van deze uitkomsten niet. Daarom wordt een kritieke waarde gevonden op}

basis van het 95emoment.

W = r(ˆθ)0(R1I−1(ˆθ)R01)

−1_{r(ˆθ) (3.2.3)}

3.3

Point Optimal-toetsen

Binnen de econometrie is het dikwijls lastig om een goede hypothesetoets te construeren. Indien er veel data beschikbaar is, maakt het niet veel uit welke toets er wordt gebruikt. Helaas zijn er vaak niet genoeg observaties, waardoor de uniformly most powerful test (UMP) ontbreekt. Er zijn precieze en krachtige toetsen nodig om conclusies te kunnen trekken.

Hypotheses kunnen worden onderverdeeld in twee categori¨een: simple en composite (King & Sria-nanthakumar, 2015). Binnen een simpele hypothese komt de data uit een enkele verdeling en zijn alle parameterwaarden bekend. In een composite hypothese komt de data uit verschillende verdelingen waardoor de parameters verschillende waarden aan kunnen nemen. In het geval van simpele hypothe-ses kan het Neyman-Pearson lemma gebruikt worden om krachtige toetsen te construeren (Lehmann & Romano, 2006). Het Neyman-Pearson lemma constateert dat de most powerful test (MP-toets) voor een simpele H0 tegen een simpele Ha gevonden wordt door H0 te verwerpen voor grote waarden van

de ratio van de kansverdeling onder Ha tegen de kansverdeling onder H0.

Helaas wordt er in dit onderzoek getoetst tegen een composite Ha en kan het Neyman

gemakkelijk concept is om te begrijpen wat de opties in dit geval zijn. De power envelope bevat alle berekende onderscheidingsvermogens, hierna powers genoemd, van de MP-toetsen van H0 tegen Ha.

Geen enkele toets kan een power hebben boven de power envelope en de UMP-toets kan gevonden worden door een power gelijk aan de power envelope te hebben. Dit is vaak onmogelijk, waardoor er wordt gezocht naar toets met een power die zo veel mogelijk overeenkomt met de power envelope. De toets die wordt gevonden wordt dan de optimale toets genoemd.

In dit onderzoek wordt de Point Optimal als volgt aangepakt: na het simuleren van y en het uitvoeren van de klassieke asymptotische toetsen wordt er een verwerpingsgebied gedefini¨eerd voor een significantieniveau van 5%. Hierna wordt de Point Optimal-toets allereerst op het oorspronkelijke model en daarna op het getransformeerde model toegepast en worden er grafieken geconstrueerd voor verschillende waarden van γ, de nuisance parameter. De MP-toets zal in de buurt van de power envelope liggen.

4

Resultaten en analyse

Op basis van gesimuleerde data wordt door middel van Maximum Likelihood ˜θ onder H0 en ˆθ onder

Ha berekend.

ˆ

β

β

ˆ

β

ˆ

γ

ˆ

β

˜

β

˜

minimum

0.2668

0.4429

0.1691

0.7729

0.9256

0.1533

maximum

1.6404

1.5221

1.9929

3.6017

2.6880

1.8064

gemiddelde

0.9771

0.9960

0.7334

2.0111

1.7113

0.9912

Tabel 1:

Vervolgens worden de klassieke toetsen uitgevoerd. In Tabel 2 zijn de uitkomsten van de toetsingsgroot-heden weergegeven. Het is opvallend dat de uitkomsten van de LM- en LR-toets exact overeenkomen. Op basis van een 95%-betrouwbaarheidsinterval van de LR toetsingsgrootheden ˆT_LR(1), ..., ˆT_LR(rep) wordt er een kritieke waarde gevonden: cv = 175.2802.

LM

LR

Wald

minimum

24.2768

24.2768

1.3341

maximum

296.9896

296.9896

26.8275

gemiddelde

100.7444

100.7444

10.4649

Vervolgens wordt er een betrouwbaarheidsinterval afgebakend voor zowel γ als β3. Hierdoor wordt

duidelijk voor welke γ en over welk interval van β3 de Point Optimal-toets moet worden uitgevoerd.

De berekende waarden worden gegeven in Tabel 3.

ˆ

β

γ

ˆ

ondergrens

-0.0463

2.0048

bovengrens

0.8829

3.5641

Tabel 3:

De Point Optimal test wordt uitgevoerd voor ˆγ, γlen γu, over het hele betrouwbaarheidsinterval

van β3. De resultaten worden weergegeven in Figuur 1. In alledrie de gevallen neemt de power toe

naarmate β3 toeneemt. Het is te zien dat de MP-toets in dit model zich voordoet bij een zo hoog

mogelijke waarde van γ. Dit is naar verwachting, doordat de loglikelihood stijgt naarmate γ stijgt, waardoor de LR-waarde toe zal nemen. Het is opmerkelijk dat de power curve doet lijken alsof de size 0% is, terwijl er is gekozen voor een 95%-betrouwbaarheidsinterval.

Wanneer bovenstaande procedure nogmaals wordt uitgevoerd, maar ditmaal op de getransfor-meerde data, worden opnieuw waarden voor de Wald- en LR-toetsingsgrootheden verkregen, getoond in Tabel 4.Omdat de Wald-toetsingsgrootheden voor 100 simulaties van y 8 negatieve waarden bevat-ten, kunnen deze resultaten niet gebruikt worden om een kritieke waarde te vinden. Daarom worden opnieuw de LR-uitkomsten gebruikt waaruit volgt dat cv = 136.3829. De waarden in Tabel 5 worden gebruikt om de Point optimal-toets op het getransformeerde model uit te voeren.

LR

Wald

minimum

89.0620

-217.8446

maximum

148.1191

3.1469

gemiddelde

112.9393

-2.1970

Tabel 4:

ˆ

β

γ

ˆ

ondergrens

-0.7274

-0.5966

bovengrens

1.9431

1.5884

Tabel 5:

De Point Optimal-toets wordt opnieuw uitgevoerd voor ˆγ, γl en γu, over het gehele

betrouwbaar-heidsinterval voor β3. Figuur 2 geeft de verkregen powercurves weer. Er is te zien dat voor γlen γude

powercurve snel naar de power envelope toe stijgt. Voor ˆγ heeft de powercurve echter een ongebrui-kelijk verloop. De power is voor ˆβ3< 1.3 gelijk aan 0, wat betekent dat H0 : β3= 0 niet verworpen

wordt, ondanks dat Ha waar is.

Wanneer de resultaten uit Figuur 1 en Figuur 2 vergelijken, zien we dat de power onder het getransformeerde model aanzienlijk sneller naar de power envelope stijgt. Het onderscheidingsvermogen neemt sneller toe, waaruit blijkt dat de Box Cox-transformatie op de gesimuleerde data ervoor zorgt dat H0sneller wordt verworpen.

5

Conclusie

Wanneer de nuisance parameter in het niet-lineaire regressiemodel verdwijnt onder de nulhypothese, ontstaat het Daviesprobleem. γ uit model (1.0.1) is alleen ge¨ıdentificeerd onder Ha: β36= 0, waardoor

de eigenschappen van de klassieke asymptotische toetsen niet meer opgaan. Er hebben in het verleden verscheidene onderzoeken naar dit probleem plaatsgevonden waarin het klassieke model vaak geher-parameteriseerd wordt. Ook in dit onderzoek wordt er gezocht naar een oplossing waardoor er toch hypothesetoetsen uitgevoerd kunnen worden.

Allereerst wordt er data gesimuleerd, waaruit waarden van de klassieke toetsen volgen. Deze waarden volgen niet de gewoonlijke asymptotische verdeling. Alle uitkomsten van de LM- en LR-toets zijn gelijk aan elkaar. Op basis van de Likelihood Ratio-waarden een kritieke waarde gevonden waarmee de Point Optimal-toets uitgevoerd kan worden op model (1.0.1). Uit de Point Optimal-toets blijkt dat de power in dit model toeneemt naarmate γ toeneemt.

Vervolgens volgt er een Box Cox-transformatie op de gesimuleerde data. De Wald-toetsingsgrootheden die hieruit volgen zijn onbruikbaar, door enkele negatieve waarden. Daarom wordt opnieuw door de LR-toetsingsgrootheden een kritiek gebied vastgesteld. Daarna wordt opnieuw de Point Optimal-toets uitgevoerd op het getransformeerde model. De powercurves die hieruit volgen maken duidelijk dat voor de buitenste waarden van het betrouwbaarheidsinterval van γ de power snel toeneemt richting de power envelope. Voor ˆγ heeft de powercurve een opmerkelijk verloop, omdat de power pas toeneemt voor hoge waarden van β3. Al met al kan er geconcludeerd worden dat het transformeren van de data

Bibliografie

Davies, R. B. (1977). Hypothesis testing when a nuisance parameter is present only under the alter-native. Biometrika, 74 (1), 33-43.

Hansen, B. E. (1996). Inference When a Nuisance Parameter Is Not Identified Under the Null Hypo-thesis. Econometrica: Journal of the Econometric Society, 64 (2), 412-430.

Heij, C., De Boer, P., Franses, P. H., Kloek, T., & Van Dijk, H. K. (2014). Econometric Methods with Applications in Business and Economics. Oxford: OUP.

Higgins, M.L., & Bera, A. K. (1992). A class of nonlinear ARCH models. International Economic Review, 33 (1), 137-158.

King, M. L. (1985). A Point Optimal Test for Autoregressive Disturbances. Journal of Econometrics, 27 (1), 21-37.

King, M.L., & Shively, T. S. (1993). Locally optimal testing when a nuisance parameter is present only under the alternative. The Review of Economics and Statistics, 75 (1), 1-7.

King, M. L., & Sriananthakumar, S. (2015). Point optimal testing: A survey of the post 1987 litera-ture. Model Assisted Statistics and Applications, 10 (3), 179-196.

Lehmann, E. L., & Romano, J. P. (2006). Testing statistical hypotheses. New York: Springer Science & Business Media.

Pavlidis, E. G., & Tsionas, M. (2017). The Spurious Effect of ARCH Errors on Linearity Tests: A Theoretical Note and an Alternative Maximum Likelihood Approach. Studies in Nonlinear Dyna-mics and Econometrics. Berlijn: De Gruyter.

Shively, T. S. (1988). An analysis of tests for regression coefficient stability. Journal of Econometrics, 39 (3), 367-386.

Appendix

I

II

De scorevector van de likelihood:

s(θ) =         PN i=1(yi− β1− β2xi− β3x γ i) PN i=1(yi− β1− β2xi− β3xγi)xi PN i=1(yi− β1− β2xi− β3xγi)x γ i β3P N i=1(yi− β1− β2xi− β3xγi) log (xi) xγi        

III

De Hessiaan van de likelihood: H(θ) = −

N P i=1         −1 −xi,2 −x γ

i,3 −β3log(xi,3)x

γ i,3

−xi,2 −x2i,2 −x

γ

i,3xi,2 −β3log(xi,3)xγi,3xi,2

−xγ_i,3 −xi,2xγi,3 −x 2γ

i,3 (i)log(xi,3)xγi,3− β3log(xi,3)x2γi,3

−β3log(xi,3)xγi,3 −β3xi,2log(xi,3)xi,3γ (yi− β1− β2xi,2− 2β3xγi,3)x γ

i,3log(xi,3) (β3i(log(xi,3)2xγi,3− β32(log(xi,3))2x2γi,3

       

IV

De Informatiematrix van de likelihood: I = E[−H] =         N PN i=1xi P N i=1x γ i β3P N i=1log(xi)x γ i PN i=1xi P N i=1x 2 i PN i=1x γ ixi β3P N i=1log(xi)x γ ixi PN i=1x γ i PN i=1xix γ i PN i=1x 2γ i β3PN_i=1log(xi)x2γi

β3PN_i=1log(xi)xiγ β3PN_i=1xilog(xi)xγi β3PN_i=1xiγlog(xi)xγi β32

PN i=1(log(xi)) 2_x2γ i        