Stochastische modellering van regressie-residuen

(1)

Stochastische modellering van regressie-residuen

Citation for published version (APA):

Winkel, van, E. G. F. (1975). Stochastische modellering van regressie-residuen. Technische Hogeschool Eindhoven.

Document status and date: Gepubliceerd: 01/01/1975

Document Version:

Uitgevers PDF, ook bekend als Version of Record

Please check the document version of this publication:

• A submitted manuscript is the version of the article upon submission and before peer-review. There can be important differences between the submitted version and the official published version of record. People interested in the research are advised to contact the author for the final version of the publication, or visit the DOI to the publisher's website.

• The final author version and the galley proof are versions of the publication after peer review.

• The final published version features the final layout of the paper including the volume, issue and page numbers.

Link to publication

General rights

Copyright and moral rights for the publications made accessible in the public portal are retained by the authors and/or other copyright owners and it is a condition of accessing publications that users recognise and abide by the legal requirements associated with these rights. • Users may download and print one copy of any publication from the public portal for the purpose of private study or research. • You may not further distribute the material or use it for any profit-making activity or commercial gain

• You may freely distribute the URL identifying the publication in the public portal.

If the publication is distributed under the terms of Article 25fa of the Dutch Copyright Act, indicated by the “Taverne” license above, please follow below link for the End User Agreement:

www.tue.nl/taverne

Take down policy

If you believe that this document breaches copyright please contact us at:

openaccess@tue.nl

providing details and we will investigate your claim.

(2)

CUL

75 WIN

STOCHASTISCHE MODEL 1.ERING 'VAN REGRESSIE -RESIDUEN

(3)

REGRESSIE-RESIDUEN

Bob van Winkel

Afd. der Bedrijfskunde Technische Hogeschool Eindhoven i"~ ~

1 ')

'f'j (\ ~ ' ~J ' , .~ jl

- - ·

-

-·----·

· -

· --·

-

··

Voorlopig en vertrouwelijl

(4)

I. Residu-analyse

Het standaard lineaire model

veronderstelt voor de covarianties van de storingsterrn s

waarin de

l

de n x n eenheidsmatrix voorstelt. Minder vergaand is de assumptie

/(~IX)

-

v~:

Vis een n x n symetrische pos. def. matrix met spoor n.

Definieren we een niet singuliere n x n matrix

p

met

P'P

=

v-

1 clan heeft het model

+

_E.

een storingsterm met covariantiematrix

(I)

(2) en kan LS worden toegepast. Tot dusver is

Y

(en dus

p)

bekend

voor-ondersteld. Praktisch is

V vaak onbekend. In dat geval kan men LS

toepassen rnits assurnptie (I) wordt getoetst aan de hand van de ontstane residuvektor

I·

Wordt hypothese (!) niet verworpen clan is toepassing van LS achteraf gerechtvaardigd; in het andere geval kan men proberen

V

te schatten door een analyse van

8 .

Zou men er in slagen een model te

vinden dat verband legt tussen de vektor ' en een tweede vektor 0( waar-bij

c(wel

een scalaire covariantiematrix bezit, clan kan uit dit model in beginsel de matrix taworden gevonden.

De door Box en Jenkins [l] ontwikkelde methoden voor het analysertn en voorspellen van (discrete) tijdreeksen kunnen hier voor worden gebruikt x)

immers, als model voor een reeks z presenteren Zl.J een verzameling t

van stochastische modellen, gedefinieerd door:

;:) Het feit, dat (I) niet noodzakelijk een ontwikk.el.ing i n de tijd poogt te beschrijven, doet h"e-aan geen a~breuk.

(5)

3 (

L)

G {_

L

-j)

cu-t: met

Hierin stelt s de periode van het seizoen voor (bv. s=4 voor kwartaal-reeksen); 1 is een lag-operator, gedefinieerd door

L

~

= AA>-1:.-1

L

2

~ ~ L(L~)

~

L

µrt-I

-

~-2

'f(L) en .9(1) zijn veeltermen i n L van de graad p resp. q: g_

'!(

L)

=-

I - 'ft

L - ..

.

-

<!;.

L

fr

9 (

L

J ::

I -

9,

L - .

.

. - 91 L

. . . s

ziJn veeltermen in L van de graad ps resp. qs.

(3) (4)

f

(Ls) en 6)(Ls)

cp(L~) ~

1-f-i

L-11- ... -

~~s L

5

),~

_Q(

_L

~) ₌₌_{I -}

~

_{L - · ·}

s

_·

_-

8~

Ls

.

ci...s Voorts geldt .it.

~

c

_\7

cL-1~-t

₎

_\l

-1 _'t :: ~

-

'1 ;:. _"V

_l:

_t: '\/' 1.

t

₌

f -t ~-I ch ah-1 1\J-1

~

- ~ _1.:._t

'V-s

'1.1: :.

"Cl,J

'7

~

'1t)

.'f -t - '1: t - 'l t--1 ;:

Laten we veronderstellen dat

£

uit (I) als een eerste orde autoregressief

- AR(I) - proces kan warden beschreven:

(5)

dan kan men voor de autocorrelatiematrix van afleiden [2, hfdst 6]

.

m.-1 I ,(. ~f

I

'f'

'I

'1'

l/J-l

':1

.. ..

'1

v

~ '11.-3

'1

'J'

'f'

(6)

3 -en -'j' 0 0 0 - j

.

'f

2.

-'J

0 0

v

- ' j It-.2 ₀ c::>

(~)

0

-'!'

r

t'f

• 1-'fl. 0 0 0 . I+-lf2.

-'!

I

0 0 C.1 -':f

Men kan echter (5) ook beschouwen als een speciaal geval van (3), nl. voor d=ds=q=qs=ps=O, p=I*),

Laten we de eerste vergelijking uit (I) weg, dan ontstaat

*'I ~

~

(X~)

+

~£

(~

-

~

L)

*

E. =:;-*~

met

iLj(.~)=

o

Het gebruik van de ster geeft aan dat de oorspronkelijke n-kolomvektor

lJ)

in een (n-1)-kolomvektor is getransformeerd door weglating van het eerste element. De transformatie L toegepast op een vektor leidt tot een n1euwe vektor, die uit de oorspronkelijke ontstaat door alle indices

een

eenheid

te verlagen.

~ Uit (7) volgt, na eliminatie van (.

( 1 -

J'

L) ,,:.

~

= [

l -

'f

L )

:1'

C

)(

/$

)

-f-W i 11 en we ook nu aan de bij GLS gebruikelijke voorwaarde (2) voldoen, dan kunnen, omdat voor het stationaire AR(I) proces

:i

=[1-lfi)o:

a-

al c;.

beide leden van vergelijking (8) door

1

!-~--2 - warden

;tf,_

L

';/.°!'

;J, _

12 J

r

u

cl '1

/

i-<.P_, 1 .:;:;

We hebben clan uit (8) (met y 0=0): gedeeld, !I.

I

!Jt immers (8)

x) Het feit dat - indien althans in het regressiemodel een constante term 0 opgenomen - de residuen gem1ddeld uul zijn, zal tot een modelkeuze met d=O leiden.

(7)

..:::

*

p

(

X(\

)

+

met ~

*p

A

~If'°

I Hieruit volgt I

_*

-~ .it

p

v

p

;;:

=

1 0 Q 1 0 0 0 0

-'f

0 0 0 1

t-f

2.

- 'f

-1 -1

-'!"

0 0 0 D 0 0 0 0 0 0 0 1 0 0 0 0 1 0 0 0

- 'f

0 0 .2

_-

_.

_'f

0 0 -1+

'f

2

_-J

0 ... 0 -'j

H'f

0 0 0 -'j

Vergelijken we -I met de in (6) geformuleerde

V

- 1

,

dan blijkt het

0

l+-'f

verschil zich te beperken tot de twee uiterste elementen van de hoofd-diagonaal. Dit verschil neemt af met <ti •

Een tweede eenvoudig model voor het residu is het zogenoemde moving average model van de eerste orde, MA(I); ook dit model is te besc ouwen als een speciaal geval van (3), nl. voor d=ds=p=ps=qs=O, q=I:

met

\EI

L...1

(8)

We hebben dan

*

~

*

£

::::.

=

· 5 ->f.

(

Xp

)

+-

>'-£

( 1-CJL)

it:

0(

Het gebruik van de ster geeft aan dat de n-kolomvector in een (n-I)-kolomvector is,getransformeerd door weglating var. a

1. We vinden

*-

~

=

*(

X('

)

+-l-1-'JL)ot.*

l~-SLr'

"'

;

~

{-i-.9Lr'

~(_

X

f')

+-

"'°'

met y =0 voor t<O

t

Willen we ook ditmaal aan (2) voldoen, dan moet het resultaat wegens

(f~

= (

I

+

f)2.)

tr

~

2 I

nog met (1+0 )~warden vermenigvuldigd, immers

Het toepassen van de operator

t-

!JL

+

(8L):z.

t ....

kan weer warden opgevat als v66rvermenigvuldiging van ~ met een matrix

p,

Ditmaal is de orde van

p

oneindig; breken we (9) af na ( 8L)n-l dan antstaat 1 0 0 0 0 0 0

.9

1 0 0 0 0 0 ;) :J.

3

_·1 0 0

"*

0 0

"P

=

v1

-t-'Ji

_[)

₃

2 _a.

1

0 0

8

v 0

a

.

. ~

.

.-. ,

.

\.,,,/

1

(9)

Voor de inverse van de bijbehorende V-rnatrix leiden we af

~ "~

:

r

'

<t

P

1-

D

2"

0 ,,·~{1-s

4

₎

9

71-1 { -i -f)

4)

2 (

.Hl-t)

.9

1-,

{ (\2'11-"t'

s

1-•J J

9'n-

3

_{1

_-~

_4')

~?"""'-[

1-'Jl.)

':/?-2{

1 -fJ

4-)

s't1·3(1-fJ'')

Ook nu kan de autocorrelatiematrix rechtstreeks warden afgeleid en

geinverteerd. Omdat voor de betreffende autocorrelatiefunktie geldt

Jo ;

1

f

1 ""

-BIL

1 + 'J:l.)

.f

4'

~

c:J vinden we respektievelijk

I

1 +

L>.2.

-J

0 0 0 0 2

_-J

₀ 0 0

-D

1 t'£)

-

CJ

l 0 0 'l+

D

0

V~

,f 0 1-t';)'.l. 0 0 D

1+'J2

-

9

0 C) l 0 0 - v

"'+

fl

I

0 0 I 2. 1-~

(10)

en

'

( h)

(1-c:J') 1

-

'J

3(

1-c.J<Jl1-i

71-l)

c}(

I

fJ1){_

J-~n-J,}

(\ 11

-11,_ri').l

I -.;

i v., - 7

-(1-J'+)(

J-'J

:J.'I!·)

32f_,

_

-l

J{1-J

'J.?I-

;

J

11

-y

J - 0

4){1-f)

We constateren dat ook ditrnaal y-l en

Xy

-

1 overeenkomst vertonen.

1 (. ") . . -I

x

-I

Noteren we het e ement i,J van deze matrices als v .. resp. v .. ,

l.J l.J

clan volgt

=

met k=min[i,j]. Blijkbaar is de overeenkomst groter naargelang 8 kleiner

i.s. Bij gegeven 8 is de afwijking het grootst voor het element linksboven

(11)

t re.al. ver:- real. bak-·

_~

_\

via residu gunnJ_nge.n stee.n regressie (e~) (x ) _(yt) L t I 685 334 378,23 -44.23 2 491 399 345,3! 53,69 3 590 365 362,1 I 2,89 4 655 373 _{373' 14} _{-0' 14} 5 589 359 361 ,94 -2,94 829 379 402,67 -23. 6 7 720 365 384' 17 -19' 17 530 373 351'93 2 j ~07 410 339 331 '56 7,44 I 0 474 342 342,42 -0,42 546 343 354,64 -11 ,64 634 340 369,58 -29,58 525 i 96 351 ) 08 -155.08 447 392 337,84 54, I 6 15 595 387 362, 96 24,04 738 429 387,22 4 I, 77 708 378 382' 13 -4' 13 686 416 378.40 37,60 735 414 386,72 27,28 20 865 420 408,78 I I , 22 729 374 385,70 - I I , 70 857 420 407,42 12,58 931 427 419,98 7,02 1003 412 432,20 -L.0,20 25 901 339 414,89 -75,89 923 474 418,62 55,38 878 442 410,98 3 i '02 922 411 418,45 -7'1+5 1107 359 449,85 -90,85 30 1022 476 !+35,42 40,58 993 !+54 430,50 23,50 1230 4!2 470,72 -58 '72 1021 373 435,25 -62,25 1139 5 i_ 9 455,27 63,27 35 1023 486 435,59 50,41 1087 510 446,45 63,55 954 359 423,88 -64,88 i016 473 434,40 38,60 1068 449 4-43' 23 5. 77 40 1163 469 459,35 9,65

· -

---e 0,00 C) L. = 2093 s e

(12)

·- 9

--2. Een toepassiu15

Tenslotte willen we bet idee illustreren aan de hand van een uitgebreider, numeriek voorbeeld. In een eerder artikel [3] is betoogd dat de binnen-landse afzet van metselbaksteen, y, ten dele bepaald wordt door bet totaal-bedrag aan :iitgegeven bouwvergunningen, x. We kunnen deze relatie pogen te

f orma iseren via regressie 1. . .t) van yt op xt:

u -1(3, +

cft - o (10)

We vinden b

0=262,0 , b1=0,1697.

In tabel I zijn de realisaties van xt en yt weergegeven, alsmede de

residuen et. Zouden we ons bij de analyse van et beperken tot bet onderzoek naar eerste-orde autocorrelatie, dan vinden we voor de Durbin-Watson

toetsingsgrootbeid 4-o :l -.;;;- { .2. - ~. )., L- ' 1-1

d.

=

i =4 - ·-

-to

.e.

/

.2., ISO i "'I 1,85"0 De bypotbese p

1=0 met als alternatief p1#0 wordt derbalve niet verworpen (a= 0 , 0 5 , d L = I , 3 5 , du = I , 4 5 ) •

Rezien we ecbter de geschatte autocorrelat~_efunktie rk gedefinieerd als

met 4o-J.

~

I

L

..et

L-t.+-/ ---·

--

_#o i =I

clan suggereert bet resultaat, in bet bijzonder de waarden voor k=4,8,l2,16 en 20, dat bet residu een. sterke per odieke komponent bevat (zie fig I).

Bet blijkt, dat de gevonden residuen ktmnen warden beschouwd als realisaties van bet proc~s

- - - -

----

-

--

-

--

-

(13)

RESlDJ ~EGRES~IE ~A~STE~~ J~~GU~Nl~~EN o~ 69 8 A 5 E ~ C. n It S 'i I T •W v T 0 l F >T i1 E:O-< C I .-H,

GRAPH O~ AUTOCO~REL~Tl8~ FUNCTl0~

r. I<.. l . 00000000+ * + V1t:0000QuO+ +

..

a

~

-1

i.. • 2000\!0JO+

..

+ +

I

i

'

I

-

- -

..

I

/

/ V, Q{lQOvO•J'),.__ _ _ _ _ _--_- _- _- _- _- _- _{- - - -}_---_{- - -}_- _{- -}_- -+

..

• • 21'10·'JllOU.)+ ~ + + '"'1J.ClJOGL)f'vG-t + + "'' •.1or,40110+ + + •41,l:!OQOOO'JiJ+ + +

\

I

•

-"

•

:t'-* •j,. 01(/0()<j(JQ+ ++••••+•f~A~+·r+9~+++++i·~++++1·+++ fig. ;; j J ! k

Auto.:orrelatiefunktie van het residu e

t

I

'f.

)_ J.-2 .

(14)

·- 11 -·

=

Dit model is een bijzonder g0val van (3), nl. voor

p=d=q=O, ds=qs=l, ps=2, s=4,

Voor de coef f icienten vinden we

,,.

·~

::. - 0,255 B

.,

=

0,315 'C/J2 .::. - o, ?, 5"~

2 2 2

met i =1,17 ens =1159 zodat s /s =0,

554-t a ' a e

Eliminatie van Et uit (10) en (I I) eidt nu tot

Met behulp van

en 1 1-

~

L4 1 o!. t ( I) (12)

kan de samengestelde operator, 4

in een machtreeks in L worden

welke blijkens (12) op yt wordt toegepast,

uitgedrukt.

Vervangen we de coefficienten door hun numerieke waarden~ clan komt er

1

+

'" .29

- 0₁f 1 I

L

-

o, lo/

L

·- ·

Definieren we

Im

=

[hi~

~

J

en breken we de reekso twikkeling irect na Je term met L4m af, dan kan

toepassing van d resterende oper.<itor weer worden beschouwd als een

v66rvermenigvuld" ing van met _en (nxn) matrix

P;

z0 zou voor n=lS ontstaan*):

(15)

r

1.ooooocuo+ " +

.,.

U•@IJOC'UQO!J+ + + ...

•

u 11COu IJ'"' + -+---- - - . ; - - - -- -+- -... u.2000001)t; ..

I

: * J •

j

1 i

•i.;,zrJ. uuooo• + + /\ *

/

\

1

'</

11.000oao

uo

~-- ",V

7~/~

_

1 ,

\

/'(-•-

•

---+---1----~·--1---~-1-~---~~ + V• 00(>00001· + -u.l)<.JQGJP<.,O+ + ., + •(l,t!OQOJOOO+

..

•

·1.oocooovo"'

I

.

~~

. .e

J.,,,~.e +-t+++++-1-'+

.

...

.

...

..

.

l .

.

....

l

.

...

.

. .

+++•+++++-t+++++•+++++++++++++++++++++•++++++++++++++++ :, l u 1:, 2 •J 30 4U 45 k

· ontstaan na modellerin.g van et

f"g.2; Aµtoc.orrel.atiefunkt:t.e van at,

(16)

1.

0

0 0 0 1-,.0 0 0 0.2~8 D 0 0

-

o,

121. 0 - 13

-0

I

D o - o, 12. J o Q CJ 0

11

Fig. 2 toont de autocorrelatiefunktie van a •

t Periodiciteit is niet langer

aantoonbaar.

3. De voorspelkwal~~_ei~,

Tabel 2 laat zien dat de aangebracbte resi. u··mod •llet:ing o k de prognoses

verbetert.

Kolom (6) bevat twaalf B x-Jenkins prognoses Vd.n het: residu e . Opgeteld

t

bij de prognoses die via enkelvoudige regressie zijn berekend, leveren zij

nieuwe prognoses, wel e aanleiding geven t.ot een rij nieuwe voorspellingen. De bijbehorende voorspelfouten zijn i de laatste kolom vermeld. Zij ver-tonen minder spreiding

. 2; 2 6 .

We vinden s s =O. 14~

e a

bij de observatieperio<l

dan de fouten ontstaan ij reg1·essie-zonder-meer.

wat redeliJk overee.nstemt met de waarde 0,554 e

(17)

termij n gunningen steen via regressie fout residu spelling spelfout (1) (x ) t (yt) ( J ) (2) (3) (4) (5) (4)-(5) (6) (5)+(6) (4)- (5)-(6) I 935 314 420.66 -i06.66 -55.4 365.26 -51 .26 2 824 507 401. 82 105. 18 25.0 426.82 80. 8

'

_, _J252 ₄₆₅ ₄₇₄_.4₅ _-9_.₄₅ ₈_.₅ _Li82_{. 94} _-1₇_.₉₅ ._.1 _'-+

1 nso

₄₇₂ ₄₄₅_.₂₆ _26.₇₄ _-3₃_.₇ ₄₁_l.₆ ₆₀_._l_f4 5 n4 411 4 !. 8' 7 9 -7. 7 9 -56.8 36 l . 99 49.0 t) j_ 49 491{ 440.00 54.00 37.5 477. 50 16.50 !051 437 44.o. 34 -3,34 23.8 464. J 4 -2 7, 14 3 I 58 476 475.47 0.53 -3.4 472.07 3.93 '] _I_!9 ₃₉₅ _464._l₀ _{-69 10} _-5₉_.Y ₄₀₄_.20 _-9.2₀ 10 1260 /~84 475 81 8. I 39.2 515.01 -31. OJ ..,_ 5l 11 1307 !•57 483.79 -26.79 ! 8. 9 502.69 -45.69 1'2. 1371 524 491+.65 29.35 4.4 499.05 24. 9_;

e

~0.01

a

=4.40 t t 2 =2968 2 =!821 .s s e a

(18)

- 15

-4. Modellen met overdrachtsfunktie t!n ruis

Behalve modellen van het type (3), die we univariate modellen kunnen noemen omdat de enige economisdte variabele die het model bevat de te voorspellen variabele is, is door Box en Jenkins [I] tevens aangegeven hoe ~~n of rneer verklarenden in bet model kunnen worden opgenomen. In een eerder artikel [3

J

is voor een verklarentle de gedachtengang summier '.veergegeven.

!let meest algernene model blijkt van de vorm (4';1{. L) Jl

l

L

1J

SU-) ~(L")

+-de veel termen

K

LL),

J

l-

(

L 4) en

11.{

L ~) zijn hierin gedefinieerd op de rn

(4) aangewezen manier; voorts geldt

wlL) --= tl,'o -

w

,

L

-

....

-

w...,

L

--s

Merk op dat via de operator L h ee dode tijtl •)f vertraging van b periodes kan worden eergegev

n.

Ook hi.er kunnen de operaties welke op x resp. y orden toegepast als

t l

voorvermenigvuldiging met n x n. driehoeksmatrices worden beschouwd. In tegenstelling tot het eer:der beschouwde geval zijn ·1ier twee verschillende

. . h 1 d . ( 3) ..

matrices in et spe , zo at we pv ,l k .rr en schriJven

'f {

L)

cp [

L

-1

)

D[L)

9f.L-i)

of +

a.

-t-(14) (15)

We zien dat w~t de VO!m van het model betreft (15) twee eerder beschouwde

gevallen implil'eert., inm1ers

- a 1 s

P

=

Q

+

I vn t s L t I e t Gl.S-mod c 1

(19)

7.ij GLS op e vatL n als een generalisatie va LS, zo is het model met overdrachtsfunkLie en ruis weer een genera'isatie van GLS.

Gepoogd is de eerder genoemde relatie tussen baksteenafzet en vergunningen in een model met overdrach sfunktie en ruL. te gieten.

We vinden [3]

[

I&'

]

blijkbaar wordt een vertraging v twee kwar a en gekozen. Zouden we op

grond van a priori argumenten tot et haateren van zo 'n vertraging be·-sluiten, dan zou men regressie kunnen plegen van y op x

2. In plaats

t t

-van ( 1 O) zouden we clan inden

met een residu e gemod lleerd tot

t

(1

+o,1t:.

₂

L

4-t-o

/

b11

L~)

'J'<el::

_

L

1-0/867

L

4) c:i"=

elimineren we e , dan ontstaat hieruit t [ olJ]

4

J

o

.

RtrL

-

8

1 t-- _{0 1}1i.2L4-ro/l::,11L

[-12]

[_.1

2]

We stellen vast dat. de motlellen ( 6) eo (17) nie alleen van dezelfde vorm ZlJll, maar dat O'-'J de gPsChatte coefficienten (bun stanclaardfouten

rn aanmerking nemencl) vriJwel ident ek zijn.

(16)

(I 7)

De overeenkomst in vorm o tstaat door de eenvoud van de overdrac:h_sfunkt:ie; blijkbaar geldt (zie 14)

~

LL)

::

.3LL).::.

J

IL

)

-

1 cf

l

L

~)

.-o @{ L 1)

~

J1.

L

L~)

w

(L)

::

W,,

(20)

- 17

-Dat b · .nen bet rnodel tevens l:0effi.cienten overeenstenunen vloeit voort uir: de schattiogsprocedure. In eide gevallen wordt de lengte van a ge-·

minimaliseerd; bij LS gevolcd door residuanalyse gebeurt dit sequentieel, bij modellen met overdra.chtsfunktie en ruis wordt de algorithme van Marquardt [4} gebruikt en worden de coefficienten simultaan geschat.

(21)

Time Series Analyses, Forecasting and Control; Holden-Day

[2] Theil, H (1971)

Principles of Econometri~s; John Wiley

&

So s

L3] Merkies A.H.Q.M. en E,G.F. van Winkel Beter Voorspellen door mee Inzicht?

Statistica Neerlandica (verschijot binnenkort)

[4] Marquardt D.W. (1963)

An Algorithm for Least- 'quares EsL' raation of Non-linear Parameters .. J. Soc. lndust. Appl. M th.,

I.

pp. 431-441.