Hoofdstuk 3: Numerieke karakteristieken van stochastische veranderlijken

(1)

stochastische veranderlijken

Christophe Ley Universiteit Gent, 2019-2020

Statistiek I

(2)

Outline

1 Verwachtingswaarde of gemiddelde (3.1) Definitie (3.1.1)

Eigenschappen (3.1.2)

Conditionele verwachtingswaarde (3.1.3)

2 Variantie of spreiding (3.2) Definitie (3.2.1)

Eigenschappen (3.2.2) Conditionele variantie (3.2.3) Covariantie (3.3)

3 Momenten en momentgenererende functies (3.4 en 3.5) Momenten en centrale momenten (3.4)

Momentgenererende functies (3.5)

(3)

Nood aan samenvattingsmaten

Verdelingsfunctie karakteriseert gegevens volledig.

Vaak nood aan meer beknopte beschrijving.

voorbeeld

Chemische samenstelling van rivieren in de Catskill Mountains (USA) op 38 sites over een periode van 3 jaren.

(4)

Outline

(5)

Doel

Samenvattingsmaten voor centrale locatie, spreiding, ...

defini¨eren.

Eerst op basis van F_X in de onderstelling dat F_X gekend is.

Laterzullen we dit schatten o.b.v. gegevens.

(6)

Verwachtingswaarde van discrete s.v. X

Wat is het gemiddelde resultaat na een worp met een dobbelsteen?

verwachtingswaarde of gemiddelde van discrete s.v. X maat voorcentrale locatie

E (X) = Z

G

xdFX(x) ≡

∞

X

i=1

xifX(xi)

met G = {x₁, x₂, . . . }.

voorbeeld

Gemiddelde SO²⁻₄ concentratie is 61.92 µmol/l.

(7)

Verwachtingswaarde van continue s.v. X

verwachtingswaarde of gemiddelde van continue s.v. X maat voorcentrale locatie

E (X) = Z

R

xdF_X(x) ≡ Z +∞

−∞

x f_X(x) dx.

Voorbeeld: X = N (µ, σ^d ²) ⇒ E(X) = µ

verwachtingswaarde van stochastische vector (X₁, X₂, . . . , X_n) vector van marginale gemiddelden (E(X₁), E(X₂), ..., E(X_n)).

(8)

Verwachtingswaarde na transformatie

E{g(X)} kan berekend worden zonder verdelingsfunctie van Y = g(X) te kennen

E {g(X)} = Z

R

ydF_Y(y) = Z

R

g (x) dF_X(x)

Voorbeelden

X = χ^d ²₁ ⇒ E(X) = 1.

Kansen kunnen als gemiddelden worden opgevat:

P(A) = Z

A

dF_X(x) = Z

R

I (x ∈ A) dF_X(x) = E {I(X ∈ A)}

(9)

Eigenschappen en beperkingen

E(aX + b) = aE(X) + b E(X1+ X2) = E(X1) + E(X2) Voorbeeld

X= χ^d ²_n⇒ E(X) = n

E(X₁X₂) = E(X₁)E(X₂) als X₁ en X₂ onafhankelijk zijn.

Voor symmetrische verdelingen is E(X) symmetriepunt;

voor scheve verdelingen mogelijks slechte locatiemaat.

Voorbeeld

Over periode van 30 jaar wensen mannen gemiddeld 64.3 partners en vrouwen 2.8.

(10)

Gemiddelde zeer gevoelig aan outliers

(11)

Eigenschappen en beperkingen

Net zoals log van een som 6= som van de log’s is log van gemiddelde 6= gemiddelde van de log’s!

Jensen’s ongelijkheid: als g convex, dan is E {g (X)} ≥ g {E (X)}

(12)

Conditionele verwachtingswaarde

conditionele verwachtingswaarde van Y gegeven X = x verwachtingswaarde van Y in desubgroepwaar X = x:

E (Y |X = x) ≡ Z

R

ydF_{Y |X}(y|x) = Z

yf_{Y |X}(y|x)dy

Als

Y |X = N (−2.45 + 0.35X, 4)^d dan is

E(Y |X) = −2.45 + 0.35X.

(13)

Interpretatie

Terwijl

E(Y ) een constanteis, is

E(Y |X) een stochastische veranderlijke met waarde E(Y |X = x) als X = x.

Drukt uit hoe centrale locatie van Y wijzigt in functie van X.

Oefening

Persoon komt lukraak aan tussen 8u en 9u en krijgt dokter te zien op lukraak tijdstip tussen aankomsttijd en 9u.

Verwachte tijd van doktersbezoek als je aankomsttijd kent?

(14)

Rekenen met conditionele verwachtingswaarden

oefening

Vereenvoudig E(Y + X − XY + 2|X).

Bij het berekenen van een conditionele verwachtingswaarde E (R|X)

vat men X als een constante op.

oefening

Vereenvoudig E [{X − E(X|Z)} Y ] wetende dat Y ⊥⊥ X|Z.

(15)

Regel van herhaalde verwachtingswaarde

Veronderstel dat mannen en vrouwen gemiddeld 80 and 70 kg wegen.

Dan is

E(Y |X) = 70 + 10X

met X = 1 voor mannen en X = 0 voor vrouwen.

Als er 60% vrouwen zijn, wat is dan het gemiddelde gewicht?

Wat we net deden, is volgende berekening:

E(Y ) = E(Y |X = 1)P (X = 1) + E(Y |X = 0)P (X = 0)

= E {E(Y |X)}

Dit is de regel van herhaalde verwachtingswaarde.

(16)

Law of iterated expectation

Regel van herhaalde verwachtingswaarde voor willekeurige functie R ≡ r (X, Y ):

E (R) = E {E (R|X)}

Dit vereenvoudigt de berekening gemiddelden m.b.t. meerdere veranderlijken:

1 Bereken E(Y |X); het gemiddelde heeft enkel betrekking op Y ; X wordt vastgehouden.

2 Bereken het gemiddelde van E(Y |X); het gemiddelde heeft enkel betrekking op X, vermits Y reeds weggemiddeld werd.

Oefening

(17)

Oefening

Oefening Onderstel dat

P (A = 0|X, Y ) = expit{h(X) + γY }

waarbij h een gekende functie van X is en expit(x) = e^x/(1 + e^x).

Toon aan dat (voor elke functie ψ_h(X)):

0 = E {(1 − A [1 + exp{h(X) + γY }]) ψ_h(X)}

(18)

Outline

(19)

Spreiding meten

Typisch aan statistische analyses

is dat ze ook spreiding op gegevens in kaart brengen.

Soms is dat het primaire doel.

voorbeelden

Normale cholesterolwaarden te bepalen.

Nauwkeurigheid van metingen van alcoholconcentratie bepalen.

In alle analyses vormt het ook een secundair doel.

Het verschaft informatie hoe betrouwbaar de resultaten van een steekproef zijn.

(20)

Variantie

Afwijking X − E(X) relevant om spreiding te meten.

Verwachtingswaarde van die afwijkingen is 0.

variantie van stochastische veranderlijke X Var (X) ≡ Eh

{X − E (X)}²i

= E(X²) − E(X)² Voorbeeld: als X = N (µ, σ^d ²) ⇒ Var(X) = σ²

Voorbeeld: als X = P oi(λ) ⇒ Var(X) = λ^d

(21)

Interpretatie

Nadeel van variantie is dat ze niet interpreteerbaar is op oorspronkelijke schaal.

Voorbeeld: variantie SO²⁻₄ concentratie: 27.46 (µmol/l)². standaarddeviatie (SD) of standaardafwijking van s.v. X

SD(X) =p

Var(X)

Voorbeeld: SD SO²⁻₄ concentratie: 5.24 µmol/l.

Voor normaal verdeelde metingen is dit interpreteerbaar.

voorbeeld

voor 95% van de rivieren in de Catskill Mountains wordt SO²⁻₄ concentratie verwacht tussen

61.92 ± 2 × 5.24 = [51.44, 72.40] µmol/l

(22)

Eigenschappen van variantie

eigenschappen

Var(aX + b) = a²Var(X)

Var(X₁+ X₂) = Var(X₁) + Var(X₂) als X₁ ⊥⊥ X₂ Voorbeeld

X= B(n, p) ⇒ Var(X) = np(1 − p)^d

(23)

Conditionele variantie

conditionele variantie van Y gegeven X = x variantie van Y in desubgroep waar X = x:

Var (Y |X = x) ≡ Eh

{Y − E (Y |X = x)}²|X = xi

Als

Y |X = N (−2.45 + 0.35X, 4)^d dan is

Var(Y |X) = 4.

(24)

Motivatie

voorbeeld

Is variabiliteit op gemeten alcoholconcentratie Y in bloed afhankelijk van werkelijke concentratie X in het staal?

(25)

Rekenen met conditionele varianties

Oefening

Vereenvoudig Var(Y + X − XY + 2|X) als Var(Y |X) = σ². Var(Y |X) is een stochastische veranderlijkedie uitdrukt hoe spreiding van Y wijzigt in functie van X.

Bij het berekenen van een conditionele variantie Var (R|X)

vat men X als een constante op.

(26)

Regel van herhaalde variantie

regel van herhaalde variantie

voor toevalsveranderlijken X, Y en een functie r is

Var [r(X, Y )] = E [Var{r(X, Y )|X}] + Var [E {r(X, Y )|X}]

Voorbeeld Variantie van

Y = α + βX +

met gemiddeld 0 en variantie σ² conditioneel op X.

(27)

Variantie van toevalsvector

variantie van stochastische vector (X₁, X₂, . . . , X_n) n × ncovariantiematrixmet elementen

Cov(X_i, X_j) ≡ E [{X_i− E (X_i)} {X_j− E (X_j)}]

= E(X_iX_j) − E(X_i)E(X_j) Diagonaal bevat varianties.

Off-diagonaal druktsamenhang tussen 2 stochastische veranderlijken uit.

(28)

Interpretatie covariantie

Positieve covariantie: X_i % ⇒ X_j %.

Negatieve covariantie: X_i % ⇒ X_j &.

grootteorde moeilijk te interpreteren

(29)

Correlatieco¨ effici¨ ent

Standaardisatie helpt om covariantie te interpreteren.

correlatieco¨effici¨ent van s.v. X₁ en X₂ maat voorsamenhangtussen X1 en X2, steeds gelegen tussen -1 en 1:

Corr(X₁, X₂) ≡ Cov(X₁, X₂) pVar (X1)pVar (X2)

voorbeeld

correlatie tussen SO²⁻₄ en Cl⁻ concentraties bedraagt 0.255

(30)

Correlatie

(31)

Eigenschappen van correlatie

Onafhankelijkheidvan X₁ en X₂ is equivalentmet Cov {r (X₁) , s (X₂)} = 0 voor alle meetbare re¨eelwaardige functies r(.) en s(.) waarvoor E {r (X₁)} en E {s (X₂)} bestaan.

Onafhankelijke toevalsveranderlijken zijn ongecorreleerd.

Ongecorreleerde toevalsveranderlijken vertonengeen lineaire associatie, maar zijn niet noodzakelijk onafhankelijk.

(32)

Eigenschappen van correlatie

variantie van som of verschil

(33)

Variantie van som

(34)

Outline

(35)

Momenten

moment van de k-de orde van stochastische veranderlijke X

µk= E(X^k) voorbeeld: µ₁ = E(X).

voorbeeld: voor exponenti¨ele verdeling is µ_k= k!/λ^k. centrale moment van de k-de orde van s.v. X

µ⁰_k= Eh

{X − E (X)}^ki

voorbeeld: µ⁰₂ = Var(X)

(36)

Gebruik van momenten

scheefheid

α3 ≡ µ⁰₃ (µ⁰₂)^3/2 =

E h

{X − E (X)}³i

Eh

{X − E (X)}²i3/2

is 0 a.s.a. dichtheidsfunctie symmetrisch is.

kurtosis

α₄≡ µ⁰₄ (µ⁰₂)² =

Eh

{X − E (X)}⁴i

Eh

{X − E (X)}²i2

geeft aan hoe zwaar de staarten van de dichtheidsfunctie zijn

(37)

Momentgenererende en karakteristieke functie

momentgenererende functie

ψX : R⁺→ R : ψX(t) ≡ E e^tX Momentgenererende functie niet altijd gedefinieerd.

karakteristieke functie

φX(t) : R → C : φX(t) ≡ E e^itX = E {cos(tX)}+i E {sin(tX)}

Poisson verdeling

ψ_X(t) = exp [λ {exp(t) − 1}] φ_X(t) = exp [λ {exp(it) − 1}]

(38)

Momenten genereren

gebruik van genererende functies

Momenten van een toevalsveranderlijke berekenen.

Als E(X^k) bestaat, dan is E

X^k

= 1

i^k φ^(k)_X (t) t=0

Als ψ_X(t) bestaat in omgeving van t = 0, dan bestaan de momenten van alle orde:

E

X^k

= ψ^(k)_X (t) t=0

(39)

Verdeling van som van onafhankelijke s.v.

gebruik van genererende functies

Verdelingsfunctie afleiden van som vanonafhankelijke toevalsveranderlijken.

Verdeling van som van onafhankelijke Poisson veranderlijken;

normale veranderlijken, wetende dat φ_X(t) = exp

iµt −σ² 2 t²

(40)

Uniciteitsstellingen

In tegenstelling tot momenten, karakteriserengenererende functies volledig de verdeling van toevalsveranderlijke.

uniciteitsstelling X= Y a.s.a.^d

ψX(t) = ψY(t) < ∞ voor alle t in omgeving van 0 of φX(t) = φY(t), ∀t