Moving Beyond Linearity

Moving Beyond Linearity

David J. Hessen

Utrecht University

March 7, 2019

Statistical learning

Supervised learning I a single response y

I multiple predictors x 1 , . . . , x p

Multiple regression (interval response): y = f (x ₁ , . . . , x _p ) + ε Binary logistic regression: π = exp {f(x 1 , . . . , x p ) }

1 + exp {f(x 1 , . . . , x _p ) }

The assumption of linearity: f (x 1 , . . . , x p ) = β 0 + β 1 x 1 + . . . + β p x p

Statistical learning

Why this inflexible (very restrictive) approach?

I If linearity is true, then there is no bias and no more flexible method competes → the variance of the estimator of f(x 1 , . . . , x p ) will be smaller

I Often the linearity assumption is good enough

I Very interpretable

Statistical learning

What can be done when linearity is not good enough?

1. Polynomial regression 2. Piecewise polynomials 3. Regression splines 4. Smoothing splines 5. Local regression

6. Generalized additive models

Modeling approaches 1 to 5 are presented for the relationship between

response y and a single predictor x

Polynomial regression

linear function : f (x) = β 0 + β 1 x

quadratic function : f (x) = β ₀ + β ₁ x + β ₂ x ²

cubic function : f (x) = β ₀ + β ₁ x + β ₂ x ² + β ₃ x ³

.. . .. .

degree-d polynomial: f (x) = β ₀ + β ₁ x + β ₂ x ² + . . . + β _d x ^d

It’s just the standard linear model

f (x ₁ , . . . , x _d ) = β ₀ + β ₁ x ₁ + β ₂ x ₂ + . . . + β _d x _d where

x ₁ = x, x ₂ = x ² , . . . , x _d = x ^d

Polynomial regression

I The coefficients β 0 , β 1 , . . . , β d can be easily estimated using least squares

I The interest is more in the fitted value

f (x) = ˆ ˆ β ₀ + ˆ β ₁ x + ˆ β ₂ x ² + . . . + ˆ β _d x ^d than in the coefficient estimates ˆ β ₀ , ˆ β ₁ , . . . , ˆ β _d

I Usually, either d is fixed to 3 or 4, or cross-validation is used to choose d

I Especially near the boundary of x the polynomial curve can

become overly flexible (bad for extrapolation)

Polynomial regression

20 30 40 50 60 70 80

50100150200250300

Age

Wage

Degree−4 Polynomial

20 30 40 50 60 70 80

0.000.050.100.150.20

Age

| | | | ||| |||||||||| ||||||| |

|

|

| |

| || || || | | | | ||| || |

|

|

| | | |

|

| |

| | | | ||| | | || || |

| | || | | |

|

||| | || ||||| ||| || |

| | ||||| |||||||| ||| || || | |

|

|

| |

| ||

| | || | || | ||

||| |||||||||||||||||||||||| |||||||| ||||||||||||||||||||||| | ||||| |||||| |

|

|

|

| ||| |||||| | | || |

| | | | | || || |

| |

|

| | |

|

|

| |

|

| |||||| ||| |||| ||||||||||||||||| ||| |

| ||||| || | || ||| |||| || |

||||||||| | |||||||| ||||| |||| || ||||| |||||||| || | |

|

| | | |

| || || ||| | | ||

| | | | |

|

|

| |

|

| |

| |

| | | | |

| |

||||||| ||||||||||||||||||||||||| ||||||||||| ||||| |

| | | || || |

|

|||| || ||||||

|

|| | |

| ||| || |||||||||||||| |||| || |||

|

| ||| | ||| | | || |

|

|

| ||| | | |

| | |

|

|

|

|| | | |||| | ||

| | | || |

|

|

|

| |

| | |

| | |

| | | ||| || | |

| || || | |

|

| | |

|||| | | |

|

|| | | |

|

|

| ||| || | ||| | |

| | | | |

||| ||||| || ||| |||||||||||| ||| |||| | |||| ||||| |

|

| |

|

| | |

| | | | | | | |

|

| | | | |

| |||

| | | ||| | |

| |||| | | ||||||||||| | ||

| | |

| | |

|

|

| ||

|

|

||| | || ||| | |||||| || |||

|

| |

| |

| || || || | ||| | | ||

| | | | || || | |

|

| |

| | | | |

| | | | | | |

||| | | || |||| ||||||

|

|

|

| |

| || |

| | | |

| ||| || || | || | |

| |

| |||| || | | |

|

|

||| | | |

|

| ||| ||||||| ||||||||| || |||||||| |||||||||||||||||||| ||||||| ||| | |

|

| |

| ||||| || | | |

|

|

| | | | |

||| | | || |||| || | |

| | |

|| | | || | || ||| | ||

|

|

| | | | ||

| | | || | |

||| |||||||| ||||||| ||| ||||||||||||||||||||||| |

|

|

| |

|

| | ||| || |||| | ||||| || |

| |||||||||| |||||||||||| ||| || |||||||||||| ||| |

|

| |

| || | |

| | | ||

| | | ||||| ||| | || |

|

| |||| | || |||| | |

|

| |

||||||||||||||||| |||| |||||||| | |

| ||| || | || | |

| | | ||| | | || | | | |

| || |||||||| | ||||| || | |

| ||| || ||| |||||||| | ||||

|

|

|

| ||

| | | | | | || | ||

| | |

||| || | ||| || |||||| || | | |

|

| |

|| | ||

| |

| |

| | |

| | |

| || |

|

| |

|

|

| ||

| | | | |

| | |

|

| |

|

| | | | |

|

| | || | |

|

| |

|| ||| |||||||||| || || |

| ||| | |||| ||||||| || | |

| ||

|

|| |||||||||| || |

| || | |

|

| | || | | ||

|||||||||||||||||||||||||||||||||||||||||||||||||||||| || |||||||||||||||| |||| ||||||

|

| |

|| |

|

|

| |

| ||| || |||||||| |

|||||| |||| ||||||||||||||||||||| |||||||||||||||||||||||| ||||||| ||||||||||| || |

|

| | | |

| |||| | | | | |

|||| | || | || |||| |||| | |

| | ||| | | |

| | |

| | | | |

|

|

||||| ||||||| |||||||||| |||||||||| |

|| | || | || |

| | || | | |

|

|

|| | | || |

| || ||||| ||||||||| |||||||| |||||

| | | |||||||||||| |||||||||| |||

|

|

| | || |

| | | |

| | |

|||||||| ||| || ||||||||||||| ||||||||||||||||| ||||||||||||||| || |

|

|

| | |

|

|

|

| | || || | |

|| ||| | || || | |

| |||| || | | |||| | |||||

| || | | | |

|

|

|

|

|| | | | | | |

| | || |

| | ||||| | || || || |

|| | |||| |

| | | | ||| |||

| | |

||||||||||||||||||||||| ||||||||||||||||| |||||||| |

|

| |

| | |||| ||||| | ||||| ||||||| | ||||| | |

|

| || | | |

|

|

| ||||| | || |

| | | | | ||

|||| | ||||||||||||||||||||||||||||||||||||||| |

| | | | |

| | || | |||| | ||| | |

|

|

|

|

| |

|

|

|| | ||

| | | | | |

|| |||| || | | ||| ||||||

|

|

| | |

| | |

| | | |

| | | | |||| |||| | || |

|||||||||||||||||||||||||||| ||||||||||||| ||| ||||||||| ||||||||||||

| | ||| ||||| |||||||||| | ||

|

| |

| | | | |

|

| | |

| || ||| | |

| |

|

| | | |

| |

| |

|| | | || || ||||||| | |

| | | | |||| || || | | |

| | |||| ||| || |||| ||| || || | |

|

|

| | | ||

|

| | | || | || |

|

|

| || | | | |

| | ||

|

|| |

|

|

| ||| | | |

| |

|

| || ||| |

|

|||||||| |||||||||||||||||||||||||||||||||||||||||||||||||||||| | | ||

|

| | | |

|

|

|

||| ||||||||||||||||||||||||||||||||||||| || | |

|

|

| |

|

| | |

| |

|

| |

| || | | | || |

|| | | ||| ||||||||||| | ||| ||

||| |||||| |||||||||||| |||||||||||||||| |||

|||||||||||||| |||||||||| |||||||| ||||||||||||||| ||||||| ||||||||||||| || | |

|

| | |

|

|

| |

|

|

| |

|

|

|

| | | |

| | ||| |

|

|

|

|| |

|

|

|

| |

| | || || | |

||||| ||||||| | ||||| || ||

| || || ||| | ||| ||

|||| |||||||| ||||||||||||||| | | |

| | | | | |

|

|| |

|| || |||| | ||||| || |||| |

||| || ||| | | | | |

|

| | |

|||||| | ||||||||| || || ||| |

|||| || | || | || | | |

| | |

|

| | |

|

| | || || | |

|

| | |

| ||||| |||| ||| || ||| | |||||||

| |

|

|

| |

|

| | | ||||| ||| | |

||| | | || | | | |

| | |

| | |

|| |||||||||||||||||||||||| ||||||||||||||

P r( W ag e> 25 0 | A ge )

Polynomial regression

I In the left-hand panel of the figure, the solid blue curve is given by f (x) = ˆ ˆ β ₀ + ˆ β ₁ x + ˆ β ₂ x ² + ˆ β ₃ x ³ + ˆ β ₄ x ⁴

and the pair of dotted blue curves indicate an estimated 95%

confidence interval given by

f (x) ˆ ± 2 · se{ ˆ f (x) }

I In the right-hand panel, the solid blue curve is given by ˆ

π(y > 250 |x) = exp{ ˆ f (x) }/[1 + exp{ ˆ f (x) }] = sigm{ ˆ f (x) } and the pair of dotted blue curves indicate an estimated 95%

confidence interval given by

sigm[ ˆ f (x) ± 2 · se{ ˆ f (x) }]

Piecewise polynomials

A step function (a piecewise polynomial of order zero) can be used to avoid imposing a global structure

Cutpoints or knots c ₁ , c ₂ , . . . , c _K in the range of x are chosen and are used to create K + 1 dummy variables

C ₀ (x) = I(x < c ₁ ) C ₁ (x) = I(c ₁ ≤ x < c 2 )

.. . .. .

C _K−1 (x) = I(c _K−1 ≤ x < c K ) C _K (x) = I(x ≥ c K )

Least squares is used to fit

f (x) = β ₀ + β ₁ C ₁ (x) + β ₂ C ₂ (x) + . . . + β _K C _K (x)