Kriging als alternatief voor regressie : een empirische vergelijking van de voorspelkracht van de twee metamodellen

Bachelorscriptie Econometrie

2015-2016

Kriging als alternatief voor regressie:

Een empirische vergelijking van de voorspelkracht van de twee metamodellen

Auteur:

Alexandros Kakakis Studentnummer: 10625127

Begeleider: Dr. Wim van Beers

Faculteit Economie en Bedrijfskunde

Universiteit van Amsterdam

Verklaring eigen werk

Hierbij verklaar ik, Alexandros Kakakis, dat ik deze scriptie zelf geschreven heb en dat ik de volledige verantwoordelijkheid op me neem voor de inhoud ervan.

Ik bevestig dat de tekst en het werk dat in deze scriptie gepresenteerd wordt origineel is en dat ik geen gebruik heb gemaakt van andere bronnen dan die welke in de tekst en in de referenties worden genoemd.

De Faculteit Economie en Bedrijfskunde is alleen verantwoordelijk voor de begeleiding tot het inleveren van de scriptie, niet voor de inhoud.

Inhoudsopgave

1. Inleiding . . . 1

2. Validatietechnieken voor kriging en regressie . . . 3

2.1 Het regressiemodel . . . 3

2.2 Ordinary Kriging . . . 5

2.3 Verschillen tussen regressie en kriging . . . 9

3. Onderzoeksmethode . . . 11 3.1 Data . . . 11 3.2 De twee metamodellen . . . 12 3.3 Validatie . . . 14 4. Resultaten en analyse . . . 15 4.1 Regressieuitkomsten . . . 15 4.2 Krigingmodel . . . 16 4.3 Cross-validation . . . 18 4.4 Correlatiefunctie en de MSE . . . 19 5. Conclusie . . . 21 Literatuur . . . 23

1.

Inleiding

Analyses van huidige gecompliseerde modellen vergen veel rekenkracht van computers. Ondanks de blijvende innovaties op het gebied van technologie, zijn de huidige computers nog altijd niet in staat om deze ingewikkelde analyses snel en goedkoop uit te voeren. Daarnaast is het in sommige gevallen onmogelijk om te bepalen hoe het daadwerkelijke model eruit ziet. Om deze problemen op te lossen, kan er gebruik worden gemaakt van metamodellen. Een metamodel is een benadering van een gecompliseerd model (Forsberg & Nilsson, 2005). Dit kan een simulatiemodel zijn, of een analytisch model gebasseerd op de praktijk.

Er zijn meerdere soorten metamodellen. Een veel gebruikt metamodel is het

regressiemodel. Bij regressie wordt het gecompliseerde model benaderd door een polynoom, die vooraf bepaald dient te worden door de onderzoeker. Hiervoor is theoretische voorkennis over het te onderzoeken onderwerp vereist. Dit kan een nadeel zijn, indien er nog niet veel over dit onderwerp bekend is.

Een metamodel waarbij het niet nodig is om a priori een model te specificeren, is het krigingmodel. Net zoals regressiemodellen kunnen ook krigingmodellen gebruikt worden om voorspellingen te doen. Kriging is bedacht door de mijningenieur Danie Krige (Kleijnen, 2015). Het oorspronkelijke idee van Krige is later geformaliseerd door de wiskundige George

Matheron. De door hem uitgewerkte krigingschatter is een gewogen gemiddelde van een aantal waarnemingen. Waarnemingen die dichter bij het te voorspellen punt liggen, krijgen een grotere weging mee (Cressie, 1991). Het idee hierachter is dat verwacht wordt dat

waarnemingen die dicht bij elkaar liggen, gelijke eigenschappen zullen vertonen. Het voordeel van kriging is dat er alleen een aantal waarnemingen nodig zijn om te kunnen voorspellen.

De voorspellingen die gedaan worden met kriging of regressie, zijn alleen bruikbaar als ze ook daadwerkelijk iets zeggen over het model dat wordt benaderd. De mate waarin het metamodel daadwerkelijk meet wat er gemeten moet worden, wordt validiteit genoemd (Kleijnen, 2015). Een model met kwalitatief goede voorspellingen, is een model met een hoge validiteit. Voorspellingen van een metamodel met een lage validiteit zeggen nauwelijks iets over het te voorspellen model.

De keuze van het metamodel kan van invloed zijn op de validiteit. Er zijn reeds

verschillende onderzoeken gedaan naar de verschillen tussen regressie en kriging. Voorbeelden hiervan zijn de onderzoeken van Simpson et al. (1998) en Forsberg & Nilsson (2005). De

essentie van deze onderzoeken is om te bepalen of kriging een goed alternatief is voor regressie. In beide onderzoeken worden de twee metamodellen gebruikt om een ingewikkeld

simulatiemodel te benaderen. De conclusie is dat de twee metamodellen nauwelijks in nauwkeurigheid verschillen.

Deze conclusie leidt tot de vraag of kriging als alternatief voor regressie kan dienen voor voorspellingen op economisch gebied. In de economische sector is de data vooral afkomstig uit de praktijk, en niet uit simulaties. Het regressiemodel is veruit het meest gebruikte model in deze sector. Er zijn nauwelijks empirische onderzoeken te vinden, waarin kriging wordt toegepast op economische data.

Om die reden wordt dit onderzoek het regressie en het krigingmodel vergeleken. De vraag die hierbij centraal staat, is in hoeverre de kwaliteit van de voorspellingen van het regressiemodel en het krigingmodel van elkaar verschilt. Daarbij worden beide modellen toegepast op een dataset uit de economische sector. Om de voorspellingen van de

metamodellen te kunnen valideren, wordt er gebruik gemaakt van leave-one-out

cross-validation. Deze methode levert een aantal schattingsfouten op, die vervolgens worden verwerkt in de RMSE. De twee modellen worden vergeleken door gebruik te maken van deze statistische grootheid.

Deze scriptie zit als volgt in elkaar. In de volgende paragraaf wordt de bestaande theorie over regressie en kriging besproken. Daarbij komen de modellen, schatters en

validatietechnieken van de twee methodes aan bod. Daarnaast worden verschillende onderzoeken uitgelicht die regressie en kriging vergelijken. In paragraaf 3 worden de twee metamodellen gepresenteerd die in dit onderzoek worden gebruikt. Daarnaast wordt omschreven hoe de modellen worden geschat, en welke data daarvoor wordt gebruikt. De resultaten uit het in paragraaf 3 beschreven onderzoek komen in de daaropvolgende paragraaf aan bod. Deze resultaten zullen in diezelfde paragraaf geanalyseerd worden. Deze scriptie sluit af met een conclusie waarin de bevindingen worden samengevat.

2.

Validatietechnieken voor kriging en regressie

In deze paragraaf wordt de bestaande literatuur over regressie en kriging besproken. In de eerstvolgende subparagraaf komt het regressiemodel aan bod. Vervolgens wordt de theorie over kriging uitgebreid besproken. In beide subparagrafen worden validatiemethodes voor de twee metamodellen genoemd en toegelicht. Deze paragraaf sluit af met een uiteenzetting van bestaande onderzoeken die als doel hebben om regressie en kriging vergelijken.

2.1 Het regressiemodel

Een van de meest bekende metamodellen is het regressiemodel. In het algemeen wordt er uitgegaan van een lineair regressiemodel, dit model is geformuleerd in vergelijking 2.1 (Heij et al., 2004, p. 120).

y =Xβ+ε (2.1)

Hierbij is y gedefinieerd als n x 1 vector met de outputvariabelen. X is een n x k matrix met in de rijen de k inputvariabelen, ook wel verklarende variabelen genoemd. Verder is β (k x 1) een vector met k onbekende regressiecoëfficiënten. Tot slot is ε een n-dimensionale vector met de storingstermen van de regressievergelijking. De onbekende parameters in β kunnen geschat worden met de kleinstekwadratenschatter, deze wordt gegeven door (Heij et al., 2004, p. 122):

b= (X0X)−1X0y (2.2)

Deze schatter wordt verkregen door de som van de gekwadrateerde residuen te minimaliseren.

Deze residuen (e) zijn als volgt gedefinieerd: e=y−Xb, met b de kleinstekwadratenschatter

uit vergelijking 2.2.

De hierboven gedefinieerde schatter is alleen geldig onder een aantal voorwaarden. Indien de belangrijkste voorwaarden worden samengevoegd, levert dat op dat de storingen ongecorreleerd normaal verdeeld zijn met verwachting nul en constante variantie. Een uitgebreid overzicht van de voorwaarden is te vinden in Heij et al. (2004, pp. 125-126). Onder deze voorwaarden kan er onder andere worden aangetoond dat de kleinstekwadratenschatter zuiver is, dat wil zeggen E(b) =β. Daarnaast kan de variantie van de regressie worden

berekend: s2 = _ne₋0e_k. Hierbij is n het aantal observaties en k het aantal regressoren (Heij et al., 2004, p. 128).

Als er wordt aangenomen dat er aan de regressievoorwaarden is voldaan, dan is de verdeling van de kleinstekwadratenschatter bekend: b∼ N(β, σ(X0X)−1). Met dit gegeven kan

er een toetsgrootheid voor regressiecoëffciënt j worden afgeleid. Deze toetsgrootheid kent een studentverdeling. Laat nu sj =s

√

a_jjde standaardafwijking van bj zijn, met ajj het j-de

diagonale element van(X0X)−1. Heij et al. (2004, p. 153) formuleren vervolgens de toetsgrootheid als volgt:

tj =

bj−βj

sj

∼ t(n−k) (2.3)

Met behulp van bovenstaande toetsgrootheid kan er worden getoetst of een regressiecoëfficiënt significant afwijkt van nul.

Als het metamodel is geschat, en alle geschatte coëfficiënten significant verschillen van nul, kan het regressiemodel worden gebruikt om te voorspellen. De validiteit van een

metamodel zegt iets over de kwaliteit van deze voorspelling. Een metamodel heeft een hoge validiteit als het resultaten oplevert die ook daadwerkelijk iets zeggen over het te voorspellen model. Snee (1977) bespreekt in zijn onderzoek meerdere methodes waarmee de validiteit van regressie geanalyseerd kan worden. Hij stelt dat het vergelijken van voorspellingen met nieuw gevonden data een van de meest geschikte methodes is. Deze methode is echter in de meeste gevallen niet toepasbaar, omdat het meestal niet mogelijk is om nieuwe data te verkrijgen. In de meeste gevallen moet deze data namelijk nog worden waargenomen.

Een methode die gebruikmaakt van een bestaande dataset is cross-validation. Bij

cross-validation wordt de beschikbare data opgedeeld in twee groepen: de voorspelgroep en de testgroep (Snee, 1977). Met de data afkomstig uit de voorspelgroep worden voorspellingen gedaan over de verwijderde data. Het verschil tussen de geschatte data en de waargenomen data, wordt de schattingsfout genoemd. Door de schattingsfouten van meerdere

voorspellingen te vergelijken, kan er iets worden gezegd over de voorspelkracht van het model. Picard & Cook (1984) onderzoeken uitgebreid de cross-validationmethode voor

regressiemodellen. Zij beargumenteren dat de Mean Squared Error (MSE) gebruikt kan worden om de onzekerheden in de voorspellingen van het regressiemodel statistisch uit te drukken. De

MSE wordt als volgt weergegeven (Heij et al., 2004, p. 89): MSE= 1 p p

∑

In bovenstaande vergelijking is εide schattingsfout voor voorspelling i. Het aantal

voorspellingen is gegeven door p. Met de MSE kan de voorspelkracht van verschillende modellen eenvoudig worden vergeleken. Een vergelijkbare statistische grootheid is de Root Mean Squared Error (RMSE). De RMSE kan worden berekend door de wortel te trekken van de MSE.

In deze subparagraaf is het regressiemodel en zijn validatie besproken. In de volgende subparagraaf wordt hetzelfde gedaan voor kriging. Daarbij wordt er vooral aandacht besteed aan het schatten van het krigingmodel.

2.2 Ordinary Kriging

In vergelijking met regressie is kriging een nog weinig gebruikte benaderingsmethode. Om die reden wordt er in deze subparagraaf uitgebreid toegelicht wat kriging inhoudt. Allereerst wordt de theorie over kriging besproken, daarna komt de validatie van kriging aan bod.

Kriging is een schattingsmethode die kan worden toegepast om een gecompliceerd model te benaderen. Om te beginnen is er, net zoals bij regressie, een dataset nodig met een aantal observaties. Observaties bestaan uit een inputcombinatie van verschillende variabelen, en een output die bij deze inputcombinatie hoort. Deze waardes van de in- en output zijn afkomstig uit het gecompliceerde model. In dit onderzoek is dit model gebasseerd op de praktijk.

In eerste instantie is het belangrijk om een goede benadering te vinden voor het gecompliseerde model dat vereenvoudigd dient te worden. In het geval van kriging zijn er meerdere opties mogelijk, die ieder hun eigen metamodel kennen. De onderzoeker dient een keuze te maken aan de hand van het onderliggende model dat wordt benaderd in het

onderzoek. Dit onderzoek richt zich op Ordinary Kriging (OK). OK is de meest eenvoudige vorm van kriging en kent het volgende metamodel (Kleijnen, 2015, p. 181):

In bovenstaande vergelijking is y(x)een vector met uitkomsten bij inputcombinatie x. De verwachte waarde van deze vector is gedefinieerd als µ. M(x)is een Gaussiaans stationair proces met gemiddelde nul. Om het metamodel te kunnen gebruiken is het essentieel dat OK een stationair proces volgt.

Als het metamodel is bepaald, kan kriging worden toegepast om voorspellingen te doen over het gecompliceerde model. Om te kunnen voorspellen met kriging is een schatter voor het metamodel in vergelijking 2.5 nodig. OK kent een lineaire schatter die is gedefinieerd als een gewogen gemiddelde van de n observaties. In onderstaande vergelijking wordt de OK-schatter

voor inputcombinatie x0mathematisch weergegeven (Kleijnen, 2015, p. 182).

ˆy(x0) = n

∑

λiwi (2.6)

Hierbij is λ een wegingsvector die afhankelijk is van x0. Daarnaast is wide waargenomen

output van het gecompliceerde model bij inputcombinatie xi.

In de bovenstaande vergelijking ontbreekt er informatie over de wegingsvector λ. De wegingsvector is afhankelijk van de inputcombinatie en kan aan de hand van bepaalde criteria worden gevonden. Kleijnen (2015) beschrijft dat de Best Linear Unbiased Predictor (BLUP) voor λ gevonden kan worden door de MSE van de schatter in vergelijking 2.6 te minimaliseren. Dit gebeurt onder de restrictie dat _∑n

i=1

λi =1. Deze restrictie zorgt ervoor dat kriging een exacte

interpolator is. Daarnaast moet er voor een zuivere schatter gelden dat E(ˆy(xi)) =E(y(xi)).

Kleijnen (2015, p. 183) beweert dat de BLUP voor λ als volgt geschreven kan worden:

λ00 = [σ(x0) +1

1−10Σ−1_σ(x 0)

10Σ−1₁ ]

0_Σ−1 _(2.7)

In vergelijking 2.7 is σ(x0)een n-dimensionale vector met de covarianties tussen y(x0)en y(xi)

voor i=1, ...., n . Verder isΣ de covariantiematrix met de covarianties tussen de input van de observaties uit de dataset, oftewelΣi,j =cov(yi, yj)met i, j=1, ..., n. Tot slot is 1 een vector

met n enen. Door vergelijking 2.5, 2.6 en 2.7 te combineren kan de OK-schatter als volgt worden geschreven (Kleijnen, 2015, p. 183):

Om de schatter uit de bovenstaande vergelijking te kunnen berekenen, is een onderliggend model voor de covarianties vereist. Cressie (1991) introduceert hiervoor een variogram. Een variogram is een functie die de variantie van de afstand tussen twee verschillende punten beschrijft. Cressie (1991) hanteert de volgende definitie voor het variogram:

2γ(h) =E([y(x+h) −y(x)]2) (2.9)

In deze vergelijking is h de afstand tussen twee inputvariabelen: h=|xi−xj|. γ(h)wordt het

semivariogram genoemd. Omdat OK een stationair proces volgt, is het variogram enkel afhankelijk van deze afstand. Daarnaast is het belangrijk om op te merken dat het variogram een stijgende functie is in h. Dit houdt in dat naarmate de afstand tussen twee inputvariabelen groter wordt, de variantie tussen de bijbehorende output stijgt.

Om bovenstaande variogram te kunnen schatten, kan de zuivere schatter (2 ˆγ(h)) van

Cressie (1991) worden gebruikt. Zuiver wil zeggen dat E(2 ˆγ(h)) =2γ(h). De schatter kan

berekend worden op basis van een aantal waarnemingen, en is als volgt gedefinieerd:

2 ˆγ(h) = 1

|N(h)|

∑

(y(xi) −y(xj))2 (2.10)

In vergelijking 2.10 is N(h)de set van alle unieke paren (xi, xj) die op een afstand h van elkaar

verwijderd zijn,|N(h)|is het aantal paren in deze set. Het empirisch variogram in vergelijking 2.10 is niet geschikt als onderliggend variantiemodel voor kriging. Om die reden wordt er een theoretisch variogrammodel gekozen om de voor kriging benodigde varianties te berekenen. De vorm van het empirisch variogram geeft een indicatie voor het type variogrammodel dat wordt gebruikt.

Er zijn meerdere opties mogelijk voor het het type variogrammodel. Hieronder worden de belangrijkste drie gegeven. Cressie (1991) geeft een uitgebreider overzicht.

• Lineair: γ(h) =c0+c1khk

• Exponentieel: γ(h) =c0+c1(1−e−c2khk)

• Gaussiaans: γ(h) =c0+c1(1−e−c2khk

2

)

De parameters c0, c1en c2in bovenstaande vergelijking moeten worden geschat. De meest

de likelihoodfunctie van de data (Lophaven et al., 2002). Omdat dit een rekenintensief maximalisatieprobleem is, wordt in het algemeen een computerprogramma gebruikt om tot een oplossing te komen. Uit de geschatte waardes van de parameters valt een aantal

eigenschappen van het variogrammodel af te leiden. Allereerst is c0de nugget van het

variogrammodel. Dit is de variantie tussen de outputvariabelen, indien de de afstand tussen de twee bijbehorende inputvariabelen gelijk is aan nul (Cressie, 1991). Als c0 >0 dan is er sprake

van een nugget effect. Verder geldt voor het exponentiële en het Gaussiaanse variogrammodel dat c1aangeeft waar de sill van het model zit. Cressie (1991) definieert dit als het limiet van de

variantie als h naar oneindig gaat. Indien geldt dat c0 6=0, is de sill gelijk aan c0+c1. De range

is de afstand waar het limiet van de variantie wordt behaald.

Als het variogram is geschat, kan OK gebruikt worden om te voorspellen. Hierbij is, net zoals bij regressie, validiteit belangrijk. Kleijnen & Van Beers (2004) gebruiken validatie in hun onderzoek naar het sequentieel ontwerp van simulatie experimenten. Twee onderdelen van de methode die ze omschrijven, zijn cross-validation en jackknifing. Kleijnen & Van Beers (2004) gebruiken leave-one-out cross-validation, dit is een vorm van cross-validation waarbij de

testgroep bestaat uit slechts één waarneming. Kleijnen & Van Beers (2004) quantificeren de onzekerheid in de schatting met behulp van jackknifing. Jackknifing is net zoals cross-validation een validatiemethode. Net zoals bij cross-validation, wordt er bij jackknifing een aantal waarnemingen uit de dataset verwijderd. Met de overgebleven observaties wordt vervolgens het model gefit, en de bijbehorende bias en variantie worden berekend. Door deze stap een aantal keer te herhalen kan de variantie van de schattingen van het model uiteindelijk bepaald worden.

In deze subparagraaf is OK nader toegelicht. Samengevat is de OK-schatter een lineaire schatter die afhangt van een wegingsvector. Deze wegingsvetor is op zijn beurt weer

afhankelijk van de inputcombinatie. Om de wegingsvector te kunnen schatten, dient er eerst een variogrammodel voor de varianties te worden bepaald. Als deze stappen zijn doorlopen kan OK gebruikt worden om te voorspellen. De kwaliteit van deze voorspellingen kan

vervolgens getest worden met cross-validation. Hierna wordt literatuur besproken die kriging en regressie vergelijkt.

2.3 Verschillen tussen regressie en kriging

Indien men een van de besproken metamodellen wil schatten om een gecompliceerd model te benaderen, is het belangrijk om te weten wat de verschillen zijn tussen de metamodellen. Een belangrijke eigenschap van kriging, die regressie niet heeft, is dat kriging een exacte

interpolator is. Deze eigenschap houdt in dat ˆy(xi) =wivoor i=1, ...., n (Kleijnen, 2015, p.

182). Hierbij is xide inputcombinatie op locatie i en wi de bijbehorende waargenomen output.

Indien er wordt geschat op een locatie waar al een waarneming is gedaan, dan zal de schatting gelijk zijn aan de waarneming op dat punt.

Een voordeel van regressie ten opzichte van kriging is, dat bij regressie het model slechts één keer geschat hoeft te worden. Nadat de regressiecoëfficiënten zijn berekend, kunnen er relatief eenvoudig meerdere voorspellingen worden gedaan. Bij kriging daarentegen dient er voor elke voorspelling opnieuw, de wegingsvector λ te worden geschat. Daarnaast heeft regressie nog als voordeel dat het model marginale effecten berekend, deze effecten kunnen worden gebruikt om de uitkomsten te interpreteren.

Naast bovenstaande theoretische verschillen, is het ook van belang om te weten welke methode kwalitatief betere voorspellingen oplevert. Er zijn meerdere onderzoeken te vinden die de voorspelkracht van regressie en kriging vergelijken. De meeste van deze onderzoeken richten zich op een simulatiemodel als onderliggend model. Het voordeel van deze methodiek is dat de voorspellingen eenvoudig te vergelijken zijn met de werkelijke uitkomst.

Een voorbeeld van een simulatie experiment is het onderzoek van Simpson et al. (1998). Zij vergelijken in hun onderzoek een tweedegraadsregressiemodel en een krigingmodel. Deze metamodellen worden toegepast op het ontwerp van de aerospike nozzle. De aerospike nozzle is een onderdeel van een raketmotor, dat zich aanpast aan de omgevingsdruk (Simpson et al., 1998, p. 4). Drie eigenschappen van het ontwerp van een aerospike nozzle worden benaderd door de twee verschillende metamodellen. Deze benaderingen worden vervolgens vergeleken met de simulatieuitkomsten. Simpson et al. (1998) gebruiken de MSE als vergelijkingsgrootheid. Ze concluderen dat de twee metamodellen niet veel voor elkaar onder doen als het gaat om het benaderen van een simulatiemodel.

Forsberg & Nilsson (2005) onderzoeken op een vergelijkbare manier de verschillen tussen regressie en kriging. Ze richten zich daarbij op de crashbestendigheid van voertuigen. Drie verschillende crashsituaties worden gesimuleerd om maxima te verkrijgen voor

parameters als bijvoorbeeld de kracht van de impact van de crash. De twee metamodellen worden vervolgens gebruikt als benadering voor het ingewikkelde simulatiemodel. De schattingsfout van de twee modellen wordt in het onderzoek uitgedrukt in de RMSE. Forsberg & Nilsson (2005) concluderen dat, in de meeste van de onderzochtte gevallen, kriging

nauwkeurigere schattingen oplevert dan regressie.

Indien er geen simulatiemodel benaderd wordt, kunnen de voorspellingen niet

eenvoudig vergeleken worden. Cross-validation kan in dat geval wel gebruikt worden om de voorspellingen van metamodellen te vergelijken. Viana et al. (2009) passen deze methode toe om verschillende metamodellen, waaronder kriging, te vergelijken. Ze gebruiken vooral leave-one-out cross-validation om vervolgens de onzekerheid in de voorspellingen uit te drukken in de RMSE. Viana et al. (2009) concluderen dat de cross-validation methode in combinatie met de RMSE geschikt is om onnauwkeurige metamodellen te identificeren.

In deze paragraaf zijn de twee modellen die in dit onderzoek aan bod komen, besproken. Daarbij staan het schatten en valideren van de metamodellen centraal. Daarnaast zijn er onderzoeken besproken die kriging en regressie vergelijken op voorspelkracht. Uit de literatuur kan geconcludeerd worden dat cross-validation een geschikte methode is om een lage orde regressievergelijking en een OK-model te valideren. Door vervolgens de MSE of de RMSE te berekenen kunnen de resultaten van de twee modellen worden vergeleken. In de volgende paragraaf wordt toegelicht wat de methodiek van dit onderzoek is.

3.

Onderzoeksmethode

In de vorige paragraaf zijn modellen en theorieën over regressie en kriging besproken. In deze paragraaf worden de modellen gepresenteerd die in dit onderzoek worden gebruikt. Daarnaast wordt er beschreven hoe de modellen geschat worden en welke data er wordt gebruikt. Deze paragraaf begint met de omschrijving van deze dataset en de aanpassingen daarop. Daarna komen de twee metamodellen en hun schattingsmethodes aan bod. Tot slot wordt er besproken hoe de voorspelkracht van de twee modellen wordt vergeleken.

3.1 Data

Dit onderzoek richt zich voornamelijk op het vergelijken van de voorspelkracht van regressie en kriging. Om die reden is er gekozen voor een dataset die geschikt is om zowel regressie als kriging op toe te passen. De gekozen dataset is reeds met succes toegepast om een

regressiemodel te schatten, en is in theorie ook geschikt voor het schatten van een OK-model. In dit onderzoek wordt data gebruikt over de hoogte van het salaris van topmanagers. Deze topmanagers zijn werkzaam bij Nederlandse bedrijven. De dataset is beschikbaar gesteld via de website van Heij et al. (2004). Heij et al. (2004) hebben deze dataset in het jaar 2000 verkregen via www.volkskrant.nl. De dataset bevat honderd waarnemingen afkomstig van jaarraporten over 1999 van de honderd grootste Nederlandse bedrijven. Per bedrijf zijn er waarnemingen van drie verschillende variabelen gedaan. Ten eerste is het gemiddelde jaarsalaris (in duizenden guldes) van de topmanagers binnen het bedrijf opgenomen.

Daarnaast zijn de winst en de omzet in miljoenen guldes gemeten. Alle waarnemingen hebben betrekking op het jaar 1999.

Om de veranderingen in de data beter te weergeven, wordt er een logaritmische transformatie op toegepast. Hierbij moet worden opgelet dat er geen negatieve waardes voorkomen in de dataset. In dit geval zijn er drie bedrijven die verlies hebben gemaakt over 1999. Daarnaast ontbreekt er bij één bedrijf informatie over de winst. Omdat deze vier waarnemingen problemen kunnen opleveren bij het schatten van het model, worden deze waarnemingen niet meegenomen in dit onderzoek.

Verder staat kriging niet toe dat er twee of meer waarnemingen in de dataset zitten, waarbij de waarde van de inputvariabelen hetzelfde is, maar de output verschilt. De reden

hiervoor is dat kriging een exacte interpolator is. In de gebruikte dataset zitten zeven paren waarnemingen die gelijke input, maar verschillende output hebben. Om dit probleem op te lossen is de output op deze zeven locaties gelijk gesteld aan de gemiddelde output van de twee observaties met gelijke input. De aangepaste data waar de twee modellen mee worden geschat, bestaat uit 89 waarnemingen.

3.2 De twee metamodellen

De data die is beschreven in de vorige subparagraaf, wordt gebruikt om twee metamodellen mee te schatten. In deze subparagraaf worden deze modellen gepresenteerd en toegelicht. Eerst komt het regressiemodel aan bod, daarna het krigingmodel.

In dit onderzoek is er gekozen voor een lineair regressiemodel met een constante en één verklarende variabele, namelijk de winst van het bedrijf. De keuze voor dit regressiemodel is mede gebasseerd op het voorbeeld in Heij et al. (2004). Het model wordt als volgt weergegeven:

yi =β0+β1x1,i+εi (3.1)

In bovenstaande vergelijking is yi het gemiddelde salaris van topmanagers voor bedrijf i

gemeten in logaritmes (LOGSALARY). Verder is x1,ide logaritme van de winst van bedrijf i

(LOGPROFIT). Tot slot is β0de constante en εi de storingsterm. De onbekende paramaters in

vergelijking 3.1 worden geschat met de kleinstekwadratenmethode. Naast de

kleinstekwadratenschatter, wordt ook de toetsgrootheid en bijbehorende p-waarde van de studentverdeling berekend voor de twee regressiecoëfficiënten. De nulhypothese die hierbij hoort is βi =0, met een significantiegrens van 5 procent.

Naast het regressiemodel wordt in dit onderzoek ook een krigingmodel geschat. Zoals eerder vermeld, richt dit onderzoek zich op Ordinary Kriging. Het OK-model is reeds gegeven in vergelijking 2.5. Voor dit model wordt slechts één inputvariabele gebruikt, namelijk

LOGPROFIT. Om het OK-model te schatten, wordt gebruikt gemaakt van de DACE Matlab toolbox van Lophaven et al. (2002). De DACE toolbox is onder andere in staat om de parameters van de correlatiefunctie en de MSE van de krigingschattingen te berekenen.

Zoals vermeld in de vorige paragraaf, vereist kriging een onderliggend correlatiemodel. Om het juiste soort correlatiemodel te kiezen, is er eerst het empirisch variogram geschat op

basis van de observaties (zie vergelijking 2.10). In figuur 1 is het geschatte semivariogram

samen met een Gaussiaans semivariogrammodel geplot. De parameters c0, c1en c2van dit

model, zijn respectievelijk 0,09, 0,5 en 0,03 Het Gaussiaanse semivariogrammodel lijkt het geschatte semivariogram goed te benaderen, op basis van deze waarneming is er gekozen voor een Gaussiaans correlatiemodel.

Figuur 1: Het geschatte semivariogram en een Gaussiaans semivariogrammodel Lophaven et al. (2002, p. 6) gebruiken de volgende Gaussiaanse correlatiefunctie in hun DACE toolbox: C(θ, w, x) = n

∏

In bovenstaande vergelijking is hide afstand tussen twee verschillende inputvariabelen (wi en

xi), en is θ een parameter die geschat dient te worden. De DACE toolbox kan de onbekende

parameter θ met de MLE methode schatten, daarvoor moet vooraf een onder- en bovengrens voor de parameter worden bepaald. Op basis van figuur 1 wordt er geconcludeerd dat er geen sprake is van grote variantie tussen de output, zelfs als de afstand tussen de input toeneemt. Dit duidt op een sterke correlatie tussen de observaties. Als gevolg daarvan zal de parameter θ vermoedelijk laag zijn. Om die reden is er in dit onderzoek gekozen voor een ondergrens van 0,01 en een bovengrens van 1 voor de θ.

Om te onderzoeken of kriging de data nauwkeurig benaderd, wordt er in dit onderzoek op honderd locaties geschat. Deze locaties liggen verdeeld tussen het minimum en het

maximum van LOGPROFIT, en alle schattingen zijn daarom interpolaties. Hier is bewust voor gekozen, omdat het bekend is dat kriging slecht presteert bij extrapolatie. De uitkomsten van de schattingen worden weergegeven in een grafiek.

3.3 Validatie

Om de metamodellen uit de vorige subparagraaf te kunnen vergelijken, wordt in dit onderzoek gebruik gemaakt van cross-validation. In navolging van onder andere Kleijnen & Van Beers (2004) wordt er leave-one-out cross-validation gebruikt. Bij leave-one-out cross-validation

wordt er telkens één waarneming (yi) uit de dataset verwijdert, en met de overgebleven

waarnemingen wordt de verwijderde waarneming geschat ( ˆyi). In dit onderzoek worden de

eerste en de laatste waarnemingen nooit verwijderd, omdat kriging een interpolatiemethode is. Uit eerdere onderzoeken is gebleken dat kriging zeer slechte schattingen oplevert bij

extrapolatie. In totaal worden er dus 87 waarnemingen stapsgewijs verwijderd en geschat. De RMSE kan dan als volgt worden uitgedrukt:

RMSE= v u u t 1 87 88

∑

Op basis van deze statistische grootheid kan de validiteit van de twee metamodellen worden vergeleken.

Naast het vergelijken van de RMSE, wordt er ook een grafische weergave van de voorspellingen gebruikt om regressie en kriging te kunnen vergelijken. Dit gebeurt aan de hand van twee grafieken. De eerste grafiek bevat de absolute waardes van de schattingsfouten. In de andere grafiek zijn de voorspellingen van zowel regressie als kriging geplot samen met de waargenomen waardes.

In deze paragraaf is de methodiek voor dit onderzoek beschreven. Met Matlab zullen een regressiemodel en een krigingmodel worden geschat. De validiteit van deze schattingen kan met de RMSE worden vergeleken. In paragraaf 4 worden de resultaten van deze methode gepresenteerd en geanalyseerd.

4.

Resultaten en analyse

In de voorgaande paragraaf is de methode van dit onderzoek beschreven. In deze paragraaf worden de resultaten van deze methode gepresenteerd en geanalyseerd. Allereerst worden de regressieuitkomsten besproken, daarna komt de schatting van het krigingmodel aan bod. Deze paragraaf sluit af met een vergelijking van regressie met kriging aan de hand van gevonden resultaten. Daarnaast worden de krigingvoorspellingen nader onderzocht.

4.1 Regressieuitkomsten

In tabel 1 zijn de uitkomsten van de lineaire regressie weergegeven. Een hogere winst van een bedrijf leidt tot een hoger salaris voor de manager van dat bedrijf. Dit valt te concluderen uit de positieve coëfficiënt (0,1632) van LOGPROFIT. Dat wil zeggen, een stijging van de winst van het bedrijf met 1 procent, leidt tot een stijging van 0, 1625 procent van het salaris van de manager van het bedrijf. Zowel LOGPROFIT als de constante hebben een p-waarde van nul. De nulhypothese voor een coëfficiënt van nul wordt daarom voor beide variabelen verworpen. Beide variabelen hebben dus een significant effect op LOGSALARY. De R-waarde en de standaardafwijking van de regressie zijn respectievelijk 0,4018 en 0,0983.

Afhankelijke variabele: LOGSALARY

Aantal observaties: 89

Variabele Coëfficiënt t-statistic p-waarde

Constante 6,3425 50,1092 0,0000

LOGPROFIT 0,1632 7,6445 0,0000

R-waarde: 0,4018

Standaardafwijking: 0,0983

Tabel 1: Uitkomsten van de regressie

Ook in een grafische weergave van de data is een positief verband te zien tussen LOGSALARY en LOGPROFIT. In figuur 2 is naast de werkelijke data, ook het met regressie geschatte model geplot. Het geschatte model lijkt de stijgende lijn van de werkelijke data goed te benaderen. Echter, het blijkt ook dat de waargenomen data heviger schommelt dan regressie doet vermoeden. Dit is logisch aangezien er een lineair regressiemodel is geschat.

Figuur 2: De werkelijke data en het geschatte regressiemodel

4.2 Krigingmodel

Om te onderzoeken of het krigingmodel de trend van de data goed kan benaderen, zijn er schattingen gedaan op honderd verschillende punten. De honderd punten liggen tussen het minimum en het maximum van de variabele LOGPROFIT afkomstig uit de dataset. De resultaten van deze schatting zijn gepresenteerd in figuur 3.

Figuur 3: De werkelijke data en de krigingschattingen

Op het eerste gezicht lijkt het krigingmodel de trend in de data nauwkeuriger te schatten dan regressie. Daar waar regressie de data slechts benadert als een constant stijgende

noemen. Verder valt er op dat kriging in dit geval geen exacte interpolator is. Dit is te zien bij het minimum en het maximum van LOGPROFIT. In theorie zouden deze geschatte punten overeen moeten komen met de werkelijke waarde, omdat de inputvariabelen zijn vastgelegd in de dataset. Echter, in de praktijk blijkt er een klein verschil te zitten tussen de voorspelling en de waargenomen waarde. Een mogelijke verklaring hiervoor is het nugget effect waar volgens figuur 1 sprake van is. De variantie tussen de output waarvan de bijbehorende inputvariabelen op een afstand nul van elkaar verwijdert zijn, is volgens het geschatte variogram namelijk groter dan nul.

Figuur 4 geeft de MSE van de genoemde schattingen weer. De gemiddelde MSE van alle schattingen is gelijk aan 0,1115 en is in de grafiek geplot als een rode lijn. Er vallen twee dingen op bij het analyseren van de grafiek. Ten eerste is er te zien dat de MSE bij verreweg de meeste schattingen niet ver afwijkt van nul. Daarnaast zijn er zowel bij de eerste als de laatste

schattingen duidelijk uitschieters in de MSE. Een mogelijke verklaring hiervoor is dat er bij de eerste en de laatste paar schattingen relatief weinig observaties uit de dataset in de buurt liggen. Hierdoor worden de krigingschattingen op die locaties minder nauwkeurig en dit resulteert in een hoge MSE. Dit is vergelijkbaar met de nauwkeurigheid van kriging bij extrapolaties, ook dan liggen er relatief weinig waarnemingen in de nabije omgeving van de locatie waar geschat wordt.

4.3 Cross-validation

Om de voorspelkracht van regressie en kriging te vergelijken is er in dit onderzoek gebruik gemaakt van cross-validation. De resultaten van de cross-validation zijn te zien in figuur 5 en figuur 6. In figuur 5 zijn er voor beide schattingsmethodes de 87 cross-validation schattingen geplot. Bovendien zijn de waargenomen waardes op de geschatte locaties geplot. Uit de figuur valt te concluderen dat kriging hevigere schommelingen in de voorspellingen vertoont dan regressie. Net zoals in figuur 3 lijkt kriging flexibeler dan regressie. Daarnaast lijkt het erop dat geen van beide methodes de uitschieters in de waargenomen data goed weet te voorspellen.

Figuur 5: De cross-validation schattingen

Om iets te concluderen over de nauwkeurigheid van de voorspellingen, zijn de schattingsfouten van de 87 voorspellingen gebruikt. Figuur 6 toont de schattingsfouten in absolute waarde van zowel regressie als kriging. Bij het analyseren van de schattingsfouten valt op dat de schattingsfouten van beide schattingsmethodes een soortgelijk patroon volgen. Met andere woorden, als kriging op een locatie een relatief hoge schattingsfout heeft, dan is dit ook voor regressie het geval. Het ligt daarom voor de hand om te concluderen dat de twee

benaderingsmethodes ongeveer even nauwkeurig schatten. Op basis van de grafiek valt niet duidelijk af te leiden welke schattingsmethode nauwkeuriger voorspelt.

Bij het vergelijken van RMSE valt er wel een verschil te ontdekken in de voorspelkracht. De RMSE is berekend met de opgeslagen schattingsfouten uit figuur 6. De RMSE van kriging is

Figuur 6: De schattingsfouten

aanwezig is, doen beide schattingsmethodes nauwelijks voor elkaar onder als er wordt gekeken naar de voorspelkracht van de twee modellen.

4.4 Correlatiefunctie en de MSE

In deze subparagraaf wordt dieper ingegaan op de cross-validation voorspellingen van kriging, omdat kriging een belangrijke rol speelt in dit onderzoek. In figuur 7 is het verloop van de MSE van kriging te zien bij de verschillende schattingen. De MSE blijft redelijk constant rond de nul, wat duidt op schattingen met weinig onzekerheid. Het verloop van de MSE vertoont

overeenkomsten met figuur 4. De gemiddelde krigingvariantie ligt in dit geval echter een factor tien lager met 0,01.

Naast de MSE, schat de DACE toolbox ook de parameters van de correlatiefunctie. Voor de schattingen in dit onderzoek is gekozen voor het Gaussiaanse correlatiemodel. Voor bijna alle cross-validation voorspellingen ligt de geschatte θ rond de 0,01. Dit is opmerkelijk, omdat dit gelijk is aan de waarde van de gekozen ondergrens voor θ. Het verlagen van de ondergrens levert opnieuw waardes voor θ op, gelijk aan de nieuwe ondergrens. Een lagere θ heeft zelfs effect op de RMSE: hoe dichter de ondergrens bij nul wordt gekozen, hoe lager de RMSE wordt.

Toch verloopt deze verschuiving niet snel, een ondergrens van 10−10_{resulteert in een RMSE}

Figuur 7: De MSE van de cross-validation krigingschattingen

De geschatte correlatiefunctie die is gebruikt voor de krigingvoorspellingen is grafisch weergegeven in figuur 8. De afstand op de horizontale as loopt tot en met zeven, omdat de maximale afstand tussen twee inputvariabelen gelijk is aan 6,7. Uit de figuur valt te

concluderen dat er sterke correlatie is tussen de outputvariabelen uit het model. Ook voor de inputvariabelen die relatief ver uit elkaar liggen, geldt dat de bijbehorende output een

behoorlijke correlatie vertoont. De sterke correlatie is mogelijk het gevolg van de gekozen dataset. Het krigingmodel is namelijk geschat met veel waarnemingen die dicht bij elkaar liggen.

5.

Conclusie

Het doel van dit onderzoek was om te onderzoeken in hoeverre de voorspellingen van kriging en regressie van elkaar verschillen. In tegenstelling tot eerdere onderzoeken, werd er in dit onderzoek voorspeld op een dataset uit de economische sector. In deze sector wordt er

namelijk vooral gebruik gemaakt van regressie, daarom is het van belang om te onderzoeken of kriging wellicht een beter alternatief is. Om de voorspelkracht van beide modellen te

vergelijken, is gebruik gemaakt van leave-one-out cross-validation. De resultaten zijn vergeleken aan de hand van grafieken en de RMSE.

In het algemeen zijn de voorspellingen van beide modellen nauwkeurig. Voor regressie valt dit onder andere af te leiden uit het feit dat alle regressiecoëfficiënten significant

verschillen van nul. De nauwkeurigheid van kriging blijkt uit de lage waardes van de MSE van de schattingen. Daarnaast is in een grafische weergave van de voorspellingen voor beide methodes te zien, dat de stijgende trend in de data goed wordt benaderd.

De belangrijkste conclusie van dit onderzoek is dat kriging en regressie nauwelijks voor elkaar onderdoen op het gebied van voorspellen. Dit valt onder andere af te leiden uit de RMSE. De RMSE van kriging is 0,3223 tegenover 0,3175 voor regressie. Puur op basis van deze statistische grootheid is regressie nauwkeuriger, maar het verschil is niet groot. Dezelfde conclusie is gevonden bij het analyseren van het verloop van de schattingsfouten. De uitschieters in de schattingsfouten van beide modellen, vinden plaats bij dezelfde

voorspellingen. Hieruit valt af te leiden dat de voorspellingen van de twee modellen sterk op elkaar lijken.

Bij het opstellen van de conclusies, dient er rekening te worden gehouden met de beperkingen van dit onderzoek. Ten eerste heeft dit onderzoek zich gericht op een dataset met slechts één verklarende variabele. Wellicht dat de resultaten verschillen, indien er een dataset was gekozen met meerdere verklarende variabelen. Daarnaast zou de keuze van de

correlatiefunctie van invloed kunnen zijn op de resultaten. In dit onderzoek is gekozen voor een Gaussiaanse correlatiefunctie. Hierbij is het opmerkelijk dat de geschatte θ zeer dicht bij nul wordt geschat, dat duidt op sterke correlatie tussen de inputvariabelen.

Bovenstaande beperkingen zouden centraal kunnen staan in een eventueel vervolgonderzoek. Daarbij zou er onderzocht kunnen worden of de conclusie van dit onderzoek overeind blijft, indien dezelfde methode op een andere dataset met meerdere

verklarende variabelen wordt toegepast. Mogelijk geeft een dataset met minder sterk

gecorreleerde waarnemingen andere resultaten. Daarnaast zou de invloed van de keuze van de correlatiefunctie op de voorspelkracht nader onderzocht kunnen worden. Ondanks deze nader te onderzoeken aspecten, lijkt het erop dat de voorspellingen van kriging en regressie

kwalitatief weinig voor elkaar onderdoen. Kriging zou dan ook vaker gebruikt kunnen worden voor voorspellingen in de economische sector.

Literatuur

Cressie, N. (1991). Statistics for spatial data. John Wiley & Sons.

Forsberg, J. & Nilsson, L. (2005). On polynomial response surfaces and kriging for use in structural optimization of crashworthiness. Structural and multidisciplinary optimization, 29(3), 232–243.

Heij, C., De Boer, P., Franses, P. H., Kloek, T., Van Dijk, H. K. et al. (2004). Econometric methods with applications in business and economics. OUP Oxford.

Kleijnen, J. P. (2015). Design and analysis of simulation experiments (Dl. 20). Springer.

Kleijnen, J. P. & Van Beers, W. C. (2004). Application-driven sequential designs for simulation experiments: Kriging metamodelling. Journal of the Operational Research Society, 876–883. Lophaven, S. N., Nielsen, H. B. & Søndergaard, J. (2002). Dace-a matlab kriging toolbox, version

2.0 (Rapport).

Picard, R. R. & Cook, R. D. (1984). Cross-validation of regression models. Journal of the American Statistical Association, 79(387), 575–583.

Simpson, T. W., Korte, J. J., Mauery, T. M. & Mistree, F. (1998). Comparison of response surface and kriging models for multidisciplinary design optimization. , 1, 381–391.

Snee, R. D. (1977). Validation of regression models: methods and examples. Technometrics, 19(4), 415–428.

Viana, F. A., Haftka, R. T. & Steffen Jr, V. (2009). Multiple surrogates: how cross-validation errors can help us to obtain the best predictor. Structural and Multidisciplinary Optimization, 39(4), 439–457.