Waarschijnlijk ´e´en van de meest populaire methoden voor het construeren van predictiesets is gebruik te maken van pivots (Barnard, 1949, 1980), gedefinieerd als
Definitie 6 Laat X = (x1, ...xn) een willekeurige variabele met een onbek-ende samengestelde verdeling F ∈ F, en laat T (F ) een re¨ele waarde parameter zijn. Een willekeurige variabele J (X, T (F )) is een pivot als de verdeling van J (X, T (F )) onafhankelijk is van alle parameters.
Hall (1992) bewees dat pivot methoden, voor het probleem van bootstrap predictie intervallen, moeten verkozen worden boven de niet-pivot methoden. Het belangrijkste probleem voor het construeren van predictie intervallen bij niet-parametrische regressie berust op het feit dat een consistente schatter van m (x) noodzakelijk vertekend is (Neumann, 1995).
Robuuste Predictie Intervallen
Gewogen LS-SVM voor robuuste functie schatting
Smoother matrix voor predictie We vestigen de aandacht op de keuze van een RBF kernel K(xk, xl; h) =expn
− kxk− xlk22/h2o
. In matrix vorm, laat θ = (h, γ)T en voor alle nieuwe input data gedefinieerd als Dx,test ={x : xtest
l ∈ Rd, l = 1, ..., s}: ˆ
mn¡ xtest; θ¢
= Ωtestαˆtrain+ 1nˆbtrain
= · Ωtest µ Z−1− Z−1Jnnc Z−1 ¶ +Jsn c Z −1¸ y = S(xtest, xtrain; θ)y,
waar c = 1T n µ Ωtrain+1 γIn ¶−1 1n, Z = (Ωtrain+1
γIn), Jnneen vierkante matrix met alle elementen gelijk aan 1 is, Jsn is een s× n matrix met alle elementen gelijk aan 1, y = (y1, . . . , yn)T, ˆmn(xtest; θ) = ( ˆmn(xtest
1 ; θ), . . . , ˆmn(xtest s ; θ))T, Ωtest k,l = K¡ xtrain k , xtest l ¢
zijn de elementen van de s×n kernel matrix en Ωtrain k,l = K¡ xtrain k , xtrain l ¢
Robuuste bootstrap
Gegeven een willekeurig sample{(x1, y1) , ..., (xn, yn)} met gemeenschappelijke verdeling F . Definieer voor elk paar (xk, yk) de residuen als ˆek = yk− ˆmn(xk) . Gebaseerd op de residuen, gewichten werden als volgt gedefineerd
vk = ϑ µˆe k ˆ s ¶
waar ϑ (.) een functie is en ˆs een robuuste schaalschatter is. Laat het bemon-steringsschema van de uniforme bootstrap voorgesteld worden door punif = ¡1
n, ...,1 n
¢
en, laat p = (p1, ..., pn) het herbemonteringsschema van de gewogen bootstrap zijn. Laat m het aantal data punten zijn met (vk 6= 1) enPnk=1pk = 1. De hoeveelheid pl, l = 1, ...n− m, wordt gegeven door
pl= 1 n+
Pm
i=1n1(1− vi)
n− m , l = 1, ..., n− m ; i = 1, ..., m en de hoeveelheid pj, j = 1, ..., m, wordt gegeven door
pj= Ã 1− n−mX l=1 pl ! Ã 1−Pmvj j=1vl ! , j = 1, ..., m.
Bepalen van robuuste predictie intervallen
Gegeven een LS-SVM functie schatter ˆmn,h(x0), waar x0een nieuw input data punt is, predictie intervallen worden geconstrueerd door gebruik te maken van een pivot statistic. LaatJ (m(x0), ˆmn,h(x0)) een pivot statistic zijn, gedefineerd als
J (m(x0), ˆmn,h(x0)) = mˆn,h(x0)− m (x0)− B (x0) (V (x0))12
,
waar B(x0) de bias is en V (x0) de variantie is van de LS-SVM functie schatter ˆ
mn,h(x0). De asymptotische pivot J (m(x0), ˆmn,h(x0)) kan niet worden ge-bruikt voor het bepalen van predictie intervallen omdat beiden B(x0) en V (x0) ongekend zijn. We beschouwen een alternatieve methode die de verdeling van de pivot schatten T (m(x0), ˆmn,h(x0)) = mˆn,h(x0) (x0)− m (x0) ³ ˆ V (x0)´1 2
door een externe bootstrap methode. Men benadert de verdeling van de piv-otal statistics T (m(x0), ˆmn,h(x0)) door de corresponderende verdeling van de gebootstrapte statistics V( ˆmn,g(x0), ˆm∗n,h(x0)) = mˆ ∗ n,h(x0)− ˆmn,g(x0) ³ ˆ V∗(x0)´1 2 ,
li waar∗ bootstrap tegenhangers zijn.
Een natuurlijke aanpak voor het robuustifi¨eren van de pivotal V( ˆmn,g(x0), ˆm∗
n,h(x0)) wordt bekomen door het vervangen van de LS-SVM func-tieschatter door een robuuste funcfunc-tieschatter (de gewogen LS-SVM) en het ver-vangen van de variantieschatter ˆV∗(x0) door zijn robuuste tegenhanger ˆV∗⋄(x0)
Z( ˆm⋄n,g(x0), ˆm∗⋄n,h(x0)) = mˆ ∗⋄ n,h− ˆm⋄ n,g(x0) ³ ˆ V∗⋄(x0)´1 2 .
Gegeven nieuwe input data gedefinieerd alsDx,test, robuuste predictie inter-vallen met 1− α zijn gegeven door
IZ = · ˆ m⋄n,h(x0) +³ ˆ V∗⋄(x0)´1 2 Qα/2s, ˆm⋄n,h+³ ˆ V∗⋄(x0)´1 2 Q(1−α)/2s ¸ , waar Qα de α-quantile van de bootstrap verdeling van de pivotal statistic Z( ˆm⋄
n,g(x0), ˆm∗⋄
Hoofdstuk 13: Besluit en verder onderzoek
In this thesis, we have given an overview of basic techniques for non-parametric regression. In this chapter, we first give a chapter by chapter overview of our contributions and the conclusions. Topics for further research are pointed out in the second section of this chapter.
Besluit
De belangrijkste methode in deze thesis is de LS-SVM, een voorbeeld van het geregulariseerde modellerings paradigma. Wij hebben een nieuwe methode, componentwise LS-SVM ge¨ıntroduceerd, voor het schatten van modellen die uit een som van niet-lineaire componenten bestaan (Pelckmans et al, 2004).
We hebben het idee van de ruisvariantie schatter geintroduceerd door Rice (1984) veralgemeend voor multivariate data. We hebben de eigenschappen van de LS-SVM regressie bestudeerd bij afgezwakte Gauss-Markov condities. Kwadratische residuen plots werden voorgesteld om de heteroscedasticiteit te karakteriseren.
In LS-SVM’s worden de oplossing gegeven door een lineair systeem (geli-jkheidsbeperkingen) i.p.v. een QP probleem (ongeli(geli-jkheidsbeperkingen). De SVM aanpak (Mukherjee en Vapnik, 1999) vereisen ongelijkheidsbeperkingen voor kansdichtheid schattingen. Een manier om deze ongelijkheidsbeperkingen te omzeilen, is het gebruik van regressie gebaseerde kansdichtheid schattingen. We hebben de LS-SVM regressie gebruikt voor kansdichtheid schatting.
Wij hebben een robuust kader voor LS-SVM regressie ontwikkeld. Het kader laat toe om een robuuste raming te verkrijgen die op de vorige LS-SVM regressie oplossing wordt gebaseerd, in een opeenvolgende stap. De gewichten worden bepaald welke gebaseerd zijn op de verdeling van de foutvariabelen (Suykens et al, 2002). Wij hebben aangetoond, gebaseerd op de empirische invloeds-functie en de maxbias curve, dat de gewogen LS-SVM regressie een robuuste functieschatting is. Wij hebben hetzelfde principe gebruikt om een LS-SVM regressieraming in het heteroscedastisch geval te verkrijgen. Nochtans zijn de gewichten nu gebaseerd op een gladde raming van de foutvariantie.
Thans bestaat er een variatie van kostfuncties (bvb., least squares, least absolute deviations, M-estimators, generalized M-estimators, L-estimators, R-estimators, S-R-estimators, least trimmed sum of absolute deviations, least median of squares, least trimmed squares). Anderzijds brengt dit de data analyst in een moeilijke situatie. Een idee voor deze situatie, voorgesteld in deze thesis, is als volgt. Gegeven de data, de methode kan gesplitst worden in twee hoofddelen: (i) opbouwen van een robuust niet parametrisch regressie model en berekenen van de residuen, en (ii) de foutverdeling via robuuste bootstrap bekomen en bepalen van de kostfunctie (in een maximum likelihood omgeving).
liii Meest efficiente leeralgoritmen in neurale networken, support vector ma-chines en kernel based methoden (Bishop, 1995; Cherkassky et al., 1998; Vapnik, 1999; Hastie et al., 2001; Suykens et al., 2002b) vereisen de bepaling van extra leerparameters. In praktijk wordt de voorkeur gegeven aan data-gedreven meth-oden voor het selecteren van de leerparameters. Gebaseerd op locatie schatters (bvb. mediaan, M-schatters, L-schatters, R-schatters), hebben we de robuuste tegenhangers geintroduceerd van modelselectiecriteria (bvb. Cross-Validation, Final Prediction Error criterion).
Bij niet-parametrische regressie wordt de regressie vergelijking bepaald via de data. In dit geval kunnen de standaard inferentie procedures niet toegepast worden. Daarom hebben we robuuste voorspellingsintervallen ontwikkeld ge-baseerd op robuuste bootstrap technieken.