Bepaling van de attribueerbare mortaliteit van acuut nierfalen bij intensieve zorgen patienten via Targeted Learning

FACULTEIT WETENSCHAPPEN

VAKGROEP TOEGEPASTE WISKUNDE, INFORMATICA EN STATISTIEK

Bepaling van de attribueerbare

mortaliteit van acuut nierfalen bij

intensieve zorgen patienten via Targeted

Learning

Arno De Block

Promotor: Prof. Dr. Stijn Vansteelandt

Masterproef ingediend tot het behalen van de academische graad van master in de wiskunde

FACULTEIT WETENSCHAPPEN

VAKGROEP TOEGEPASTE WISKUNDE, INFORMATICA EN STATISTIEK

Bepaling van de attribueerbare

mortaliteit van acuut nierfalen bij

intensieve zorgen patienten via Targeted

Learning

Arno De Block

Promotor: Prof. Dr. Stijn Vansteelandt

Masterproef ingediend tot het behalen van de academische graad van master in de wiskunde

3

Voorwoord

Het schrijven van deze masterproef heeft mij heel wat kennis bijgebracht. Niet enkel op wiskundig vlak, maar ook over de manier van onderzoek voeren en de moeilijkheden die dit met zich meebrengt. Het heeft veel tijd en energie in be-slag genomen, waarbij de medische context het er niet makkelijker op maakte. Echter ben ik tevreden dat ik met deze masterproef mijn opleiding wiskunde kan volbrengen.

In de eerste plaats wil ik dan ook mijn promotor Professor Vansteelandt be-danken voor de begeleiding en het advies tijdens dit project.

Daarnaast wil ik ook alle professoren en assistenten bedanken om mij in te wijden en te begeleiden in de interessante wereld van de wiskunde.

Daarnaast gaat mijn dank ook uit naar mijn vriendin Johanne, voor haar on-voorwaardelijke steun tijdens de vijf voorbije jaren.

Mijn ouders wil ik bedanken voor de wijze raad en de kans die ze me gaven om wiskunde te studeren. Mijn zus Elisa voor haar luisterend oor en geduld.

Mijn vrienden wil ik bedanken voor hun goede vriendschap en om mij gerust te stellen als ik het even niet meer zag zitten.

Toelating tot bruikleen

De auteur geeft de toelating deze masterproef voor consultatie beschikbaar te stellen en delen van de masterproef te kopi¨eren voor persoonlijk gebruik. Elk ander gebruik valt onder de beperkingen van het auteursrecht, in het bijzonder met betrekking tot de verplichting de bron uitdrukkelijk te vermelden bij het aanhalen van resultaten uit deze masterproef.

5

Introductie

Acuut nierfalen of AKI (acute kidney injury) is een plotse achteruitgang van de nierfunctie die plaatsvindt binnen enkele uren of dagen. Het heeft veel mogelijk oorzaken waaronder bijvoorbeeld een vertraagde bloedsomloop, verstopping van de urinewegen of directe schade aan de nieren zelf. Het is dan ook veelvoorko-mend, zeker op de intensieve zorgen afdeling. Het voorkomen van acuut nierfalen bij pati¨enten op intensieve zorgen varieert tussen 20 en 50 %, afhankelijk van de studie [1, 2, 3]. Echter kan niet miskend worden hoeveel mensen hiermee worden geconfronteerd. Daarnaast zijn de gevolgen ook niet te onderschatten. Er is een sterke associatie tussen acuut nierfalen en een verhoging van de kans op sterfte [2, 3]. Bovendien zijn er veel mogelijk negatieve gevolgen op lange termijn zo-als een verhoogde kans op chronisch nierfalen of zelfs terminaal nierfalen [4, 5]. Evenzeer is acuut nierfalen geassocieerd met een sterke verhoging van de hospi-talisatiekosten [1]. Acuut nierfalen heeft dus een grote impact, zeker vanuit het perspectief van volksgezondheid.

In deze masterproef zal worden op zoek gegaan naar een antwoord op de vraag hoeveel mensen werkelijk sterven aan acuut nierfalen op intensieve zorgen, met de nadruk op ’aan’. Dit is een groot verschil met de hoeveelheid mensen die met deze ziekte sterven, waar mogelijks andere complicaties aan de basis van sterfte liggen. Om een antwoord op deze vraag te vinden zal op zoek gegaan worden naar het causale verband tussen acuut nierfalen en sterfte.

Er zal worden geprobeerd dit causale verband te kwantificeren aan de hand van targeted learning, meer bepaald aan de hand van Targeted Maximum Likelihood Estimation (TMLE). In klassieke analyses of non-targeted learning wordt vaak gebruik gemaakt van technieken die zich niet enkel toespitsen op de kern van de zaak, maar ook op andere elementen die ook in de gegevens aanwezig zijn. Bij targeted learning wordt gefocust op wat echt wil onderzocht worden: het causaal verband tussen acuut nierfalen en sterfte. TMLE staat dan ook centraal in deze masterproef, naast het bieden van een antwoord op de onderzoeksvraag.

In hoofdstuk 1 zullen de concepten worden toegelicht die aan de basis van causale besluitvorming liggen. Indien de lezer hierin al ervaring heeft, kan dit hoofdstuk achterwege gelaten worden. In hoofdstuk 2 worden enkele technieken besproken die het causale verband kunnen kwantificeren, waarna in hoofdstuk 3 wordt toe-gekomen aan de kern van het theoretische kader: TMLE. Vervolgens wordt in hoofdstuk 4 het longitudinale kader besproken, dat nodig is om de analyse in hoofdstuk 5 uit te voeren. In hoofdstuk 5 zal finaal een antwoord worden gezocht op het onderwerp van deze masterproef, op basis van gegevens die verkregen zijn

6

7

Inhoudsopgave

1.2.1 Individueel causaal effect . . . 16

1.2.2 Gemiddeld causaal effect . . . 17

1.2.3 Exchangeability . . . 19

2 G-computation en IPTW 23 2.1 G-computation . . . 24

2.2 Inverse probability of treatment weighting (IPTW) . . . 25

2.2.1 Propensity score . . . 25

2.2.2 Inverse probability of treatment weighting . . . 26

2.2.3 Dubbel robuuste IPTW . . . 29

3 Targeted maximum likelihood estimator 35 3.1 De Basis . . . 35

3.2 Initi¨ele schatter: Super Learner . . . 37

3.3 Update: Targeting Step . . . 39

3.4 Verder eigenschappen . . . 45

4 Longitudinale methoden 49 4.1 Algemeen . . . 49

4.2 Longitudinaal invers wegen . . . 50

4.3 LTMLE . . . 53 4.3.1 Sequenti¨ele g-formule . . . 53 4.3.2 LTMLE methode . . . 54 5 Data-analyse 57 5.1 Dataverzameling en voorbereiding . . . 58 5.1.1 Data-voorbereiding . . . 59 5.1.2 Responders vs non-responders . . . 61

8 Inhoudsopgave

5.2 Methoden . . . 63

5.2.1 LTMLE . . . 63

5.2.2 Longitudinaal invers wegen . . . 65

5.3 Resultaten . . . 66

5.3.1 Beschrijvende analyse . . . 66

5.3.2 LTMLE . . . 68

5.3.3 Longitudinaal invers wegen . . . 70

5.4 Discussie . . . 72 6 Besluit 73 A English summary 75 B Figuren 77 B.1 Beschrijvende analyse . . . 77 B.2 LTMLE: resultaten . . . 79

9

Hoofdstuk 1

Causale besluitvorming

Het gezegde ’associatie impliceert niet causaliteit’ is niet voor niets zo een be-kende uitspraak. In veel gevallen is het moeilijk te onderscheiden welke van de twee mechanismen aan het werk is. Bij causale besluitvorming is het van groot belang om deze twee concepten van elkaar te kunnen onderscheiden. Doorheen dit hoofdstuk wordt de theoretische omkadering toegelicht die nodig is om rela-ties tussen variabelen te kunnen identificeren als een associatie of als een causaal verband. Dit zal echter worden beperkt tot wat nodig is voor later in deze master-proef. Voor een uitgebreidere uiteenzetting kan worden verwezen naar [6]. Laat ons eerst starten met een voorbeeld.

Inleidend voorbeeld

In 1997 publiceerde de New England Journal of Medicine een studie waarbij werd gekeken naar alcohol consumptie en sterftecijfers, naast andere variabelen [7]. Deze studie toonde aan dat matig drinkgedrag (1-2 consumpties per dag) geassocieerd was met een vermindering van sterftecijfers voor alle bekeken oor-zaken, specifiek voor cardiovasculaire aandoeningen. Er zijn echter verschillende manieren waarop de associatie tussen deze twee variabelen tot stand kan komen. Algemeen: stel dat A het drinkgedrag voorstelt en Y de sterfte.

Ten eerste is het mogelijk dat Y door A wordt veroorzaakt. Grafisch kan dit als volgt worden voorgesteld:

A Y

De pijl gaande van A naar Y wijst op een causaal effect van A op Y .

In het algemeen wanneer sprake is van een associatie kan het ook mogelijk zijn dat Y wordt veroorzaakt door A. Echter is dat in dit voorbeeld onmogelijk, aangezien een individu maar eenmaal kan sterven en dit dus onmogelijk het drinkgedrag kan be¨ınvloeden. Voor de volledigheid wordt hier toch ook het omgekeerde causale effect van Y op A getoond:

10 Hoofdstuk 1. Causale besluitvorming Bij de derde en minder voor de hand liggende mogelijkheid is er sprake van een derde variabele L die zowel A als Y veroorzaakt. In bovenstaand voorbeeld kan de gemeenschappelijke oorzaak L bijvoorbeeld de hoeveelheid stress voorstellen. Het is mogelijk dat mensen die elke dag een alcoholische consumptie nuttigen minder gestrest zijn. Anderzijds is het mogelijk dat een hogere hoeveelheid stress leidt tot een kortere levensverwachting. Hierdoor ontstaat er ook een associatie tussen A en Y aangezien individuen die matig alcohol consumeren een langere levensverwachting lijken te hebben. Grafisch kan dit worden voorgesteld als in Figuur 1.1.

A Y

L

Figuur 1.1

De variabele L wordt in deze setting ook een confounder van het effect van A op Y genoemd.

In sommige contexten is er ook een vierde mogelijkheid. De voorgaande alter-natieve settings waren op populatie-niveau. Er kunnen weliswaar ook associaties bestaan tussen A en Y op subpopulatie-niveau zonder dat deze aanwezig zijn op het niveau van de populatie. Stel bijvoorbeeld dat A = academisch talent en Y = sportief talent en dat Z een specifieke school is die studenten toelaten indien ze minstens academisch of sportief getalenteerd zijn. De variabele Z wordt dus be¨ınvloed door zowel A als Y . Dit kan grafisch worden voorgesteld zoals in Figuur 1.2.

A Y

Z

Figuur 1.2

We veronderstellen dat het feit of een persoon een academisch talent of een sportief talent heeft, onafhankelijk is van elkaar in de algemene populatie. Wan-neer gekeken wordt binnen de sub-populatie, binnen de school Z, kan een (nega-tieve) associatie gevonden worden tussen A en Y . Immers indien een student niet sportief getalenteerd is, moet deze een academisch talent hebben, anders zou deze niet toegelaten zijn tot de school. Merk op dat Z omcirkeld is in bovenstaande figuur. Dit wijst op het feit dat er wordt geconditioneerd op Z, namelijk dat er wordt gekeken binnen de sub-populatie.

1.1. Causale diagrammen 11 Er zijn dus meerdere manieren waarop twee variabelen geassocieerd kunnen zijn. Meestal is niet ´e´en van bovenstaande gevallen aanwezig, maar zijn er meerdere factoren die op een verschillende manier een invloed hebben op A en Y . In deze masterproef zal worden gezocht naar hoe het causale effect van A op Y kan wor-den ge¨ısoleerd en hoe dit kan worwor-den gekwantificeerd. Hiervoor is echter een kader nodig dat een belangrijke schakel is in de causale besluitvorming: causale diagrammen.

1.1

Causale diagrammen

Causale diagrammen kunnen als een belangrijk startpunt worden gezien wanneer een causaal effect wordt gezocht. Het is een manier om kennis van experten en moeilijk testbare assumpties over variabelen grafisch weer te geven. Daarnaast kunnen deze diagrammen helpen om het onderzochte probleem duidelijk voor te stellen en vervolgens helpen om een correcte analyse uit te voeren. Later zal ook worden ingegaan op longitudinale contexten. In deze soort setting, waarbij sommige variabelen op meerdere tijdstippen worden gemeten, kan een causaal diagram enorm helpen om het probleem helder en duidelijk voorstellen.

1.1.1

Definitie

Een causaal diagram wordt gevormd door een directe acyclische graaf waarbij de toppen bestaan uit de variabelen in kwestie. Een causaal diagram wordt dus ook een DAG genoemd. Ten eerste moet de graaf direct zijn wat wil zeggen dat elke boog een directe boog is, en elke boog start in een bepaalde variabele en eindigt in een andere. Een directe boog tussen twee variabelen weerspiegelt de mogelijk-heid van een causaal verband tussen deze variabelen: de pijl start in de variabele die de oorzaak is, en wijst naar de variabele die wordt veroorzaakt. Ten tweede mag de graaf geen directe cykels bevatten, aangezien een variabele zichzelf niet mag veroorzaken. Naast de causale verbanden tussen de variabelen, worden ook niet-causale associaties duidelijk zoals in Figuur 1.1. Hier bestaat een associatie tussen A en Y dat duidelijk van niet-causale aard is. De figuren in het inleidend voorbeeld worden gezien als de bouwstenen van een causaal diagram.

Centraal staan telkens de variabelen A en Y . In het verdere verloop van deze masterproef zal de variabele A ook worden benoemd als de behandeling of bloot-stelling en de variabele Y als de uitkomst.

In Figuur 1.3 is de laatste graaf een correct causaal diagram, in tegenstelling tot de eerste twee, welke incorrect zijn. De eerste graaf bevat namelijk een cykel A → Y → L → A, waardoor A zichzelf veroorzaakt. De tweede graaf bevat dui-delijk een boog die niet ´e´enduidig aangeeft welke variabele de andere veroorzaakt.

12 Hoofdstuk 1. Causale besluitvorming A Y L A Y L A Y L Figuur 1.3

1.1.2

De Basis

Veronderstel dat we een simpel gerandomiseerd experiment hebben waarbij wordt gekeken naar individuen met een zekere ziekte. In deze studie wordt een behan-deling A, bijvoorbeeld een medicijn, toegediend en vervolgens wordt er gekeken naar de uitkomst Y , genezing of niet. In deze setting kan het volgende causale diagram worden getekend:

A Y

Aangezien bij een gerandomiseerd experiment individuen willekeurig aan de be-handeling worden toegekend, kan verondersteld worden dat de externe factoren geen invloed meer hebben op de behandeling. Met deze veronderstelling is dit het diagram dat de causale setting grafisch correct voorstelt.

In een observationele studie kunnen er daarentegen wel externe factoren L zijn, die een invloed zullen hebben op zowel A als Y . Denk bijvoorbeeld aan de ernst van de ziekte. Indien een persoon ernstig ziek is, is de kans groter dat deze het medicijn zal nemen, in tegenstelling tot iemand die minder last van heeft van de ziekte. Dus aangezien ziekere personen meer het medicijn innemen, en als wordt verondersteld dat hoe zieker de persoon is hoe minder kans er is dat genezing plaatsvindt, zou het kunnen lijken alsof het medicijn minder effect heeft, dan in werkelijkheid. Als echter wordt gekeken naar het effect van het medicijn op genezing, binnen groepen van mensen die ongeveer even ziek zijn, zal het eer-der genoemd fenomeen zich niet voordoen. Aangezien met deze externe factoren L, of confounders, rekening moet worden gehouden in een observationele studie, moeten deze in het diagram worden opgenomen:

A Y

L

Naast het direct causaal effect van A op Y (A → Y ) dat we willen schatten, is er nu ook een associatie tussen de behandeling en de uitkomst aanwezig via het pad A ← L → Y . Om het causaal effect van A op Y te vinden, moet de invloed van L worden ge¨elimineerd. Dit kan gedaan worden aan de hand van stratificatie

1.1. Causale diagrammen 13 of conditionering. Door te conditioneren op L wordt het pad A ← L → Y dus geblokkeerd. Concreet kan geconditioneerd worden op L, door bijvoorbeeld de confounders L op te nemen in een regressie-analyse.

Herinner uit de introductie dat er tussen A en Y ook een associatie kan ontstaan indien wordt geconditioneerd op een gevolg van beide variabelen (zie Figuur 1.2). Stel dat we een setting hebben zoals in Figuur 1.4. Indien we het effect van A op

A Y

L

Z

Figuur 1.4

Y willen isoleren, moet gekeken worden langs welke paden er andere associaties tussen A en Y ontstaan. Langs het pad A ← L → Y is een associatie aanwezig, dus zullen we moeten conditioneren op L. Echter op Z mag niet worden gecondi-tioneerd. Indien dit wel wordt gedaan, zou er net een associatie ontstaan tussen A en Y . Denk aan het voorbeeld over de toelating tot de school in het inleidend voorbeeld. Men zegt ook dat ’het pad via Z wordt geopend, na conditionering op Z’.

Simpel kan gesteld worden dat een associatie door een variabele loopt, wanneer uit deze variabele twee bogen vertrekken, zoals bij L in Figuur 1.4. Aangezien we deze associatie willen tegenhouden, zal op deze variabele moeten geconditio-neerd worden. Anderzijds wanneer in een variabele twee bogen toekomen, zoals bij Z in Figuur 1.4, wordt de associatie tegengehouden en mag op deze variabele niet worden geconditioneerd. De variabele Z wordt in de literatuur ook wel een ’collider’ genoemd.

1.1.3

Mediatie

Een derde mogelijkheid die nog niet besproken werd, is zoals in Figuur 1.5. Hier is sprake van een zogenaamde mediator. Het effect van A op Y zal gedeeltelijk via de variabele M gaan. Het effect dat via het pad A → M → Y gaat, wordt ook wel het indirect effect genoemd. Een voorbeeld kan gegeven worden in de context van een zwangerschap. Stel dat A = roken van de moeder, M = gewicht bij geboorte van het kind en Y = overleving van het kind. Enerzijds zal het rookgedrag de kans op overleving van het kind be¨ınvloeden. Anderzijds zal het rookgedrag van de moeder een invloed hebben op het gewicht van het kind bij de geboorte, wat op zijn beurt een invloed zal hebben op de overlevingskansen van

14 Hoofdstuk 1. Causale besluitvorming

A Y

M

Figuur 1.5

het kind. Een deel van het effect van roken op de overlevingskans, gaat dus via het geboortegewicht van het kind. Het totale effect bestaat dus uit het directe effect via het pad A → Y en het indirecte effect via het pad A → M → Y . Het pad A − M − Y kan worden geblokkeerd door te conditioneren op M . In de meeste onderzoeken is dit echter niet gunstig, aangezien men meestal het totale effect van A op Y wil weten. In een simpele setting zoals in Figuur 1.5 zal men normaal gezien dus niet willen conditioneren op M .

1.1.4

Overzicht

Simpel gesteld zijn er dus drie mogelijkheden waar een derde variabele (naast A en Y ) toe kan behoren. Als eerste kan een variabele een confounder L zijn, indien het pad er als volgt uit ziet: A ← L → Y . In dit geval willen we conditioneren op L, zodat dit pad wordt geblokkeerd. Dit kan gedaan worden door L bijvoorbeeld toe te voegen aan een regressiemodel. Ten tweede kan eenn variabele een collider Z zijn, waarvoor A → Z ← Y het pad is. Op deze variabele willen we niet conditioneren, aangezien dan geen associatie tussen A en Y via dit pad aanwezig is. Een derde mogelijkheid is dat de variabele een mediator M is: A → M → Y . Afhankelijk van de situatie zal hierop wel of niet worden geconditioneerd. In het geval zoals in Figuur 1.5 willen we niet conditioneren op M omdat we de associatie dat via dit pad gaat, wat een indirect effect van A op Y is, ook willen kunnen identificeren. In andere contexten is het mogelijk dat wel moet worden geconditioneerd op een mediator M . Dit zal later in deze masterproef verduide-lijkt worden.

In een realistische setting kan een causaal diagram echter veel ingewikkelder zijn dan de voorgaande. Meestal komen zowel confounders zoals L, mediators zoals M en colliders zoals Z samen voor in dezelfde setting. In deze gevallen is een nauwkeurige analyse nodig, om te weten op welke variabelen moet geconditio-neerd worden.

Tot nog toe werden enkel settings bekeken waar men op ´e´en punt een behande-ling krijgt. In werkelijkheid wordt een behandebehande-ling vaak op meerdere tijdstippen gegeven, afhankelijk van de ontwikkeling van de ziekte. In dit geval zullen ook de confounders, zoals bloeddruk, op meerdere tijdstippen gemeten worden. Indien dit het geval is, is er sprake van een longitudinale setting. Deze causale diagram-men zijn complexer dan degene die tot hiertoe gezien zijn. In deze context is het

1.2. Counterfactuals 15 mogelijk dat variabelen tegelijk een confounder en een mediator zijn. Hier zal later op worden terug gekomen.

1.1.5

Ongemeten confounders

Tot hiertoe werd enkel gesproken over variabelen die gemeten waren. In realiteit is het ook mogelijk dat in een studie niet alle relevante variabelen worden geme-ten. Stel dat we een setting zoals in Figuur 1.6 hebben. In dit diagram staat de

A Y

L

U

Figuur 1.6

variabele U voor ’unmeasured’ of ongemeten confounders. Hier wordt er vanuit gegaan dat er variabelen zijn die niet gemeten zijn, maar die wel een invloed hebben op het causaal effect van A op Y . Immers, aangezien L een confounder is langs het pad A → L → Y , moet op L worden geconditioneerd. Als echter wordt gekeken naar het pad A → U → Y , zien we dat ook U een confounder is, maar hierop kan niet worden geconditioneerd, aangezien deze ongemeten is. Dus in deze setting kan het causaal effect van A op Y niet correct ge¨ıdentificeerd worden op basis van de gemeten variabelen. Om deze reden is de ’geen ongemeten confounders’-assumptie cruciaal in causale besluitvorming. Deze assumptie zal in het volgende hoofdstuk formeel wiskundig worden gedefinieerd.

Causale diagrammen zijn duidelijk een handig hulpmiddel om de causale struc-tuur van een probleem te visualiseren en het overzicht te behouden. De volgende stap in het kader van causale besluitvorming is het defini¨eren van counterfactuals.

1.2

Counterfactuals

Causale diagrammen zijn een veelgebruikt en handig hulpmiddel in causale be-sluitvorming. Het volgende concept dat zal worden ge¨ıntroduceerd is cruciaal om over causale verbanden te spreken; namelijk counterfactuals. Het idee van counterfactuals zal worden ge¨ıllustreerd aan de hand van een voorbeeld.

16 Hoofdstuk 1. Causale besluitvorming

1.2.1

Individueel causaal effect

Stel dat een klinisch experiment wordt uitgevoerd waarbij men wil testen of een nieuw medicijn helpt tegen buikpijn. Veronderstel bij wijze van voorbeeld dat er 10 individuen aan de studie deelnemen. Noteer A = 1 indien een individu het medicijn heeft genomen en A = 0 indien niet; Y = 1 indien de buikpijn is verdwenen en Y = 0 indien er niets is veranderd.

Op het individuele niveau kan op basis van de geobserveerde data in Tabel 1.1

Tabel 1.1 Individu A Y 1 1 1 2 1 0 3 0 1 4 1 0 5 1 1 6 0 0 7 0 1 8 0 0 9 0 0 10 0 0

niets geconcludeerd worden. Immers, per individu observeren we telkens maar ´e´en waarde voor A en Y . Het is dus niet mogelijk om te zeggen voor individu 1 dat het medicijn echt heeft gewerkt, aangezien we niet weten wat er zou gebeurd zijn met de buikpijn indien het medicijn niet was ingenomen. Om op het indivi-duele niveau zinvolle conclusies te kunnen trekken, zou elk individu een uitkomst Y moeten hebben voor beide behandelingen (wanneer het individu het medicijn niet inneemt en een waarde voor Y indien hij/zij dit wel doet). In een ideale wereld zou men toegang willen hebben tot de data in Tabel 1.2.

In deze tabel staan Y1 _{en Y}0 _{voor de zogenaamde counterfactuals. Zoals de}

naam doet vermoeden geven deze variabelen waarden weer die mogelijk niet ge-observeerd zijn, vandaar ’counter factual’ of ’tegen-feitelijk’. De counterfactual Y1 _{geeft weer of de buikpijn zou verdwenen zijn indien een individu het medicijn}

had genomen. Met andere woorden geeft dit weer wat de uitkomst zou geweest zijn indien A = 1. Analoog voor Y0, met A = 0. Merk op dat telkens ´e´en van de counterfactuals per individu wordt waargenomen, aangezien ´e´en van de counterf-actuals overeenstemt met de in werkelijkheid gegeven behandeling. Bijvoorbeeld, voor individu 1 is A = 1 en Y = 1 dus is ook Y1 = 1. Anderzijds is het onmoge-lijk om te weten wat Y0 _{is voor individu 1. Algemeen kan voor individu i gesteld}

worden dat Ya

1.2. Counterfactuals 17 Tabel 1.2 Individu Y1 _Y0 1 1 1 2 0 0 3 1 1 4 0 1 5 1 0 6 0 0 7 0 1 8 0 0 9 0 0 10 1 0 gelijkheid Y_ia = YAi _{= Y} i, met Ai = a, (1.1)

wordt consistentie genoemd.

Op basis van de counterfactual data zouden wel conclusies kunnen worden ge-trokken op het individuele niveau. Voor individu 1 is er bijvoorbeeld geen effect zichtbaar aangezien de buikpijn verdween bij beide mogelijke behandelingen (i.e. het medicijn wel of niet nemen). Hetzelfde geldt voor individu 2, aangezien de buikpijn niet is verdwenen bij beide behandelingen. Anderzijds is er voor indivi-duen 5 en 10 wel een effect: de buikpijn verdwijnt enkel indien ze het medicijn nemen. Dit in tegenstelling tot individuen 4 en 7, waar er zelfs een omgekeerd effect is. Op basis van de counterfactuals kan dus worden gesteld dat er een individueel causaal effect is indien:

Y1 6= Y0

Indien deze counterfactual gegevens ter beschikking zouden zijn, zouden conclu-sies kunnen worden getrokken. In werkelijkheid is het echter onmogelijk om voor een individu beide counterfactuals te observeren. Er zal dus moeten gekeken wor-den naar een hoger niveau: het populatie-niveau.

1.2.2

Gemiddeld causaal effect

Op het populatie-niveau is het mogelijk om te kijken naar het gemiddeld causaal effect, de grootheid die de individuele effecten samenvat. Er is een gemiddeld causaal effect aanwezig indien: E(Y1_{− Y}0_{) 6= 0 of E(Y}1_{) 6= E(Y}0_{). De grootheid}

18 Hoofdstuk 1. Causale besluitvorming Tabel 1.3 Individu A Y Y1 _Y0 1 1 1 1 1 2 1 0 0 0 3 0 1 1 1 4 1 0 0 1 5 1 1 1 0 6 0 0 0 0 7 0 1 0 1 8 0 0 0 0 9 0 0 0 0 10 0 0 1 0

mogelijk is om Y1 en Y0 te observeren voor elke individu, zullen we deze moeten vervangen door grootheden gebaseerd op de geobserveerde data. Een mogelijkheid is om E(Y1_{) te vervangen door het conditioneel gemiddelde E(Y |A = 1); analoog}

voor Y0. Er kan worden nagegaan aan de hand van de gegevens in Tabel 1.3 of deze grootheden wel degelijk gelijke resultaten bekomen (dit is de combinatie van Tabel 1.1 en Tabel 1.2): ˆ E(Y |A = 1) = 1 + 0 + 0 + 1 4 = 1 2 ˆ E(Y |A = 0) = 1 + 0 + 1 + 0 + 0 + 0 6 = 1 3 ˆ E(Y1) = 1 10 10 X i=1 Y_i1 = 2 5 ˆ E(Y0) = 1 10 10 X i=1 Y_i0 = 2 5,

waarbij ˆE(.) staat voor de schatting, in dit geval het steekproefgemiddelde. Wan-neer voor beide methoden de risk difference wordt berekend, is het duidelijk dat E(Ya_{) niet simpelweg kan worden vervangen door E(Y |A = a): ˆE(Y |A =}

1)− ˆE(Y |A = 0) = 1₆ en ˆE(Y1_{)− ˆE(Y}0_{) = 0. Op basis van de conditionele}

gemid-delden lijkt het alsof er een effect aanwezig is, terwijl blijkt uit de counterfactuals dat dit niet het geval is. De twee grootheden komen dus niet op hetzelfde neer. Dit is echter wel het geval indien een bepaalde voorwaarde is voldaan, namelijk exchangeability.

1.2. Counterfactuals 19 associatie en een causaal verband aangetoond. Bij het vergelijken van de con-ditionele gemiddeldes is er sprake van associatie, aangezien niet geweten is wat er zou gebeurd zijn moest een individu de andere behandeling hebben gekregen. Daarentegen bij de vergelijking van de counterfactuals is er sprake van een cau-saal verband aangezien voor elk individu geweten is wat de uitkomst Y is voor beide behandelingen.

De risk difference E(Y1_{− Y}0_{) kan men ook zien als: wat is het effect moest}

ie-dereen behandeld geweest zijn versus moest niemand behandeld geweest zijn. Voor een onderzoeksvraag is dat een veel duidelijkere vraag dan bijvoorbeeld ”Wat is het effect van het medicijn op buikpijn?”. Dit wijst nogmaals op het belang van counterfactuals. Het stelt onderzoekers in staat om een onderzoeksvraag duidelijk wiskundig te formuleren, wat het vervolgens gemakkelijker maakt om de analyse uit te voeren.

1.2.3

Exchangeability

Om de grootheden E(Y1) en E(Y0) te kunnen omwisselen met E(Y |A = 1) en E(Y |A = 0) moet dus voldaan zijn aan ’verwisselbaarheid’ of ’exchangeability’. In ons voorbeeld zou dit willen zeggen dat de individuen in de behandelde groep, indien ze niet behandeld zouden geweest zijn, eenzelfde verdeling voor Y1 en Y0 als de onbehandelde groep zouden moeten hebben. Simpel gesteld: het zou niet uit gemaakt hebben of we de behandelde groep of de onbehandelde groep hadden behandeld, want het causaal effect zou hetzelfde geweest zijn. Formeler uitge-drukt zijn de counterfactuals Ya_{onafhankelijk van de geobserveerde behandeling}

A. Wiskundig wordt exchangeability als volgt genoteerd:

A ⊥⊥ Y1 en A ⊥⊥ Y0 of nog E(Y1) = E(Y1|A = 1) = E(Y1|A = 0). Als voldaan is aan exchangeability, geldt dus dat E(Y1_{) = E(Y |A = 1):}

E(Y1) = E(Y1|A = 1) = E(Y |A = 1).

De eerste gelijkheid geldt door exchangeability, de tweede door consistentie (zie (1.1)).

Bij wijze van illustratie kan de voorwaarde worden nagegaan aan de hand van het behandelde voorbeeld (zie (1.3) op pagina 18):

E(Y1|A = 1) = 1 + 0 + 0 + 1 4 = 1 2 6= 1 3 = 1 + 0 + 0 + 0 + 0 + 1 6 = E(Y 1_{|A = 0).}

Was deze gelijkheid wel voldaan, dan was E(Y1_{) = E(Y |A = 1); analoog voor}

E(Y0). Als exchangeability voldaan is, kan de risk difference E(Y1 − Y0_{) dus}

berekend worden op basis van de geobserveerde data aan de hand van E(Y |A = 1) − E(Y |A = 0). Naast de risk difference, wordt ook vaak gesproken over de risk

20 Hoofdstuk 1. Causale besluitvorming

ratio en odds ratio: E(Y_E(Y10)₎ en

odds(E(Y1))

odds(E(Y0₎₎ waarbij odds(x) =

x

1−x. Analoog aan de

risk difference kan dit berekend worden onder exchangeability door de gemiddelde counterfactuals te vervangen door de conditionele gemiddelden.

Nu kan de vraag gesteld worden wanneer exchangeability in praktijk is vol-daan. Wanneer de toewijzing van de individuen aan de behandelde of onbe-handelde groep willekeurig gebeurt. Zoals gewoonlijk is het dus ideaal om een gerandomiseerde studie te doen. In werkelijkheid is een gerandomiseerde studie echter niet altijd mogelijk, door bijvoorbeeld ethische normen (denk aan het effect van roken op longkanker). In deze settings moet een observationele studie worden opgezet. In dergelijke studies is het echter heel onwaarschijnlijk dat aan exchan-geability is voldaan. Om terug te komen op het eerder besproken voorbeeld: de kans dat iemand met hevige buikpijn het medicijn zal nemen is veel groter dan een individu dat niet veel last heeft van de buikpijn. Een mogelijk oplossing is de hevigheid van de buikpijn in rekening te brengen, en op basis hiervan de groep eerst op te delen in twee groepen.

Stel dat de variabele L gelijk is aan 1 voor individuen met hevige buikpijn en gelijk is aan 0 voor individuen met milde buikpijn. Deze variabele L is een con-founder. Veronderstel dat in de groep met hevige buikpijn 75% van de individuen het medicijn heeft genomen en dat in de groep waarvoor L = 0 slechts 50% het medicijn heeft ingenomen. Indien wordt verondersteld dat dit het enige kenmerk is waarvoor de individuen in de behandelde en onbehandelde groep verschilden, kan deze studie worden beschreven op twee manieren, die equivalent zijn [6]. Deze studie kan enerzijds beschreven worden als een observationele studie waarbij in de groep met hevige buikpijn 75% van de individuen het medicijn heeft ingenomen en in de groep met milde buikpijn 50% het medicijn heeft ingenomen. Anderzijds kan deze studie beschreven worden als een conditioneel gerandomiseerde studie waarin de onderzoekers de behandeling aan 75% toewezen in de groep met he-vige buikpijn en aan 50% toewezen in de groep waarvoor L = 0. Indien er nog kenmerken zijn waarvoor de groepen verschilden, moeten deze ook in rekening worden gebracht en op basis van deze nog meer groepen of strata gemaakt worden (verdere onderverdelingen binnen de groepen L = 1 en L = 0).

Na deze opsplitsing gemaakt te hebben, kan men zeggen dat de behandelde groep en de niet-behandelde groep conditioneel exchangeable zijn binnenin de strata van de covariaten L. In bovenstaand voorbeeld wil dit zeggen dat de behandelde en onbehandelde individuen die hevige buikpijn (L = 0) hebben vergelijkbaar zijn. Hetzelfde geldt voor de individuen met milde buikpijn (L = 1). Wiskundig kan conditionele exchangeability als volgt worden uitgedrukt:

A ⊥⊥ Y1_{|L en A ⊥⊥ Y}0_|L.

Merk op dat dit enkel voldaan is indien wordt geconditioneerd op alle mogelijke confounders van A en Y . In een studie kan weliswaar niet getest worden of alle confounders in rekening zijn gebracht. Zelfs indien een aanzienlijk aantal

1.2. Counterfactuals 21 confounders gemeten is, is er altijd de mogelijkheid dat er nog covariaten zijn die niet zijn gemeten; herinner de ongemeten confounders in paragraaf 1.1.5. Als onderzoeker moet hier verondersteld worden dat conditionele exchangeability voldaan is. Onder conditionele exchangeability kan E(Y1_{) niet langer op basis}

van de data worden ge¨ıdentificeerd. Dit is wel het geval voor E(Y1_{|L), wat aan}

de hand van E(Y |A = 1, L) kan geschat worden. Wiskundig kan dit als volgt worden ingezien:

E(Y1|L) = E(Y1_{|A = 1, L)}

= E(Y |A = 1, L),

waarbij de eerste stap geldt wegens conditionele exchangeability en de tweede we-gens consistentie (1.1). Merk op dat we in een observationele studie op basis van bovenstaande gelijkheid, uitsluitend causale effecten kunnen berekenen binnen subgroepen voor specifieke waarden van L. In de volgende hoofdstukken zullen verschillende methoden worden ge¨ıntroduceerd, die op basis hiervan, het causaal effect op populatie-niveau kunnen schatten.

Het is duidelijk dat counterfactuals een belangrijke rol spelen in het begrijpen van causaliteit. Het geeft ons een manier over hoe geredeneerd moet worden in onderzoek wanneer men causale verbanden wil onderzoeken. Het geeft ons de mogelijkheid om simpele en interpreteerbare effect grootheden te gebruiken. Ook werden twee belangrijke concepten besproken die nodig zijn voor het schatten van deze causale effecten: consistentie en conditionele exchangeability. Zoals aangetoond moeten beide voorwaarden telkens verondersteld worden wanneer men causale grootheden wil schatten op basis van gegevens in een studie.

23

Hoofdstuk 2

G-computation en IPTW

Nu de theoretische achtergrond van causale besluitvorming is beschreven, kan worden overgegaan naar de volgende stap: methoden om het causale effect te schatten. Herinner dat in het vervolg van deze masterproef wordt verondersteld dat consistentie en conditionele exchangeability voldaan is, en dus dat er geen ongemeten confounders zijn.

In deze en volgende secties zal er van worden uit gegaan dat de data de DAG volgt zoals in Figuur 2.1, waarbij zoals voorheen A de behandeling, Y de

A Y

L

Figuur 2.1

uitkomst en L de verzameling van gemeten confounders is. We willen op zoek gaan hoe we E(Y1 _{− Y}0_{) in een observationele studie kunnen schatten op basis}

van geobserveerde data. Stel dat de uitkomst Y binair is, zoals in het voorbeeld in het voorgaande hoofdstuk; bijvoorbeeld genezing of niet. Zowel E(Y1_{) en E(Y}0₎

worden op een analoge manier geschat. Vandaar dat zal worden gefocust op het schatten van E(Y1) om overbodig rekenwerk te besparen.

Herinner dat indien we het effect van A op Y willen identificeren, het pad A ← L → Y moet worden geblokkeerd. Zoals gezegd in hoofdstuk 1 kan dit door te conditioneren op de confounders L. Binnen subgroepen van L wordt zo het causaal effect in een subgroep van L gevonden. De grootheid E(Y1_{|L) moet}

dus geschat worden. Aangezien verondersteld is dat conditionele exchangeability voldaan is kan E(Y1|L) worden gevonden door het schatten van E(Y |A = 1, L). Dit kan simpelweg gedaan worden door het volgende logistisch regressiemodel voor de uitkomst te schatten:

24 Hoofdstuk 2. G-computation en IPTW waarbij logit(x) = log_1−xx . Er wordt verondersteld dat dit het correcte model is, en dus dat de verbanden tussen de variabelen op deze manier juist worden gemodelleerd. Hierop zal later nog worden teruggekomen.

Aangezien we met een logistisch regressiemodel werken, zullen we hier het causaal effect berekenen op basis van de odds ratio. De subgroep effecten kunnen dan als volgt worden afgeleid:

E(Y1|L) E(Y0_|L) = E(Y |A = 1, L) E(Y |A = 0, L) = expit(β0+ β1 + β2L + β3L) expit(β0+ β2L)

waarbij expit(x) = _1−exp(x)exp(x) de inverse is van logit(x). Hieruit kan niet rechtstreeks een effect op populatie-niveau worden afgeleid. Op basis van dit model kan dit echter wel door gebruik te maken van g-computation.

2.1

G-computation

G-computation [8] is een methode die gebruik maakt van de traditionele regressie methode om een schatter van het causaal effect op het populatie-niveau te ver-krijgen.

Stel dat de uitkomst Y binair is. Een logistisch regressie model voor de uitkomst wordt dan gebouwd zoals in de inleiding:

logit E(Y |A, L) = β0+ β1A + β2L + β3AL.

Dit model kan nu gebruikt worden om voor elk individu de counterfactual Y1 _te

voorspellen. Dit doen we door het model te schatten waarna voor elk individu, behandeld of onbehandeld, A wordt gelijk gesteld aan 1:

ˆ Y1

i = ˆE(Yi|Ai = 1, Li) = expit( ˆβ0+ ˆβ1+ ˆβ2Li+ ˆβ3Li),

waarbij de geschatte versie wordt genoteerd met een hoedje boven de grootheid en de parameters.

Aangezien we E(Y1_{) willen schatten, nemen we het gemiddelde van de voorspelde}

ˆ

Y_i1 over alle individuen in de studie: ˆ E(Y1) = 1 n n X i=1 ˆ Y1 i = 1 n n X i=1 expit( ˆβ0+ ˆβ1+ ˆβ2Li+ ˆβ3Li).

Analoog kan dit worden gedaan voor het schatten van Y0_{, maar dan door de}

behandeling A gelijk aan 0 te zetten bij het voorspellen van ˆY_i0. Nadat beide counterfactuals zijn geschat kan men deze gebruiken om het causale effect te

2.2. Inverse probability of treatment weighting (IPTW) 25 berekenen, bijvoorbeeld aan de hand van een risk ratio:

ˆ E(Y1) ˆ E(Y0₎ = 1 n Pn i=1expit( ˆβ0+ ˆβ1+ ˆβ2Li + ˆβ3Li) 1 n Pn i=1expit( ˆβ0+ ˆβ2Li) .

Indien Y continu zou zijn, kan traditionele lineaire regressie gebruikt worden. Algemeen wordt dus een model gebouwd voor de uitkomst. Dit model wordt geschat, waarna deze wordt gebruikt om de individuele counterfactuals te voor-spellen. Finaal wordt E(Y1_{) geschat door het steekproefgemiddelde te nemen}

over de voorspelde counterfactuals.

2.2

Inverse probability of treatment weighting

(IPTW)

IPTW of inverse probability of treatment weighting [9] is een methode om de causale effecten te schatten waarbij elk individu, zoals de naam zelf zegt, wordt gewogen met ´e´en over de kans op behandeling. Deze kans op behandeling staat in de literatuur bekend als de propensity score (PS) en wordt bepaald op basis van de confounders L. We zullen deze methode in het vervolg van dit hoofdstuk ook ’invers wegen’ noemen. Eerst zal wat dieper worden ingaan op de propensity score, waarna invers wegen uitgebreid aan bod zal komen.

2.2.1

Propensity score

Zoals eerder besproken verschillen in een observationele studie over het algemeen de individuen in de behandelde en onbehandelde groep van elkaar. Eerder zagen we al dat individuen kunnen worden gegroepeerd op basis van de confounders L, waarna ze binnen de subgroepen wel vergelijkbaar zijn. In observationele studies wordt echter een groot aantal convariaten L gemeten, wat kan leiden tot subgroe-pen waarin weinig tot geen individuen zitten, wat kan leiden tot weinig overlap tussen de blootstellingsgroepen. Dit kan vervolgens resulteren in extrapolatie, wat leidt tot vertekening. In de plaats van de uitkomst Y te modelleren op basis van de confounders, kan de blootstelling A worden gemodelleerd. Hier komt de propensity score in het spel.

Concreet is de propensity score de kans dat een individu behandeld geweest zou zijn op basis van de confounders L, welke gemeten zijn voor de behande-ling plaatsvond. Mathematisch wordt de propensity score als volgt genoteerd: p(L) = P (A = 1|L). Deze propensity score kan bijvoorbeeld worden bekomen aan de hand van een logistisch regressie model:

p(L) = expit(α0L) = exp(α

0_L)

26 Hoofdstuk 2. G-computation en IPTW waarbij α0L = α0+ α1L1+ · · · + αnLn met (L1, · · · , Ln) de gemeten confounders.

Stel nu dat twee individuen dezelfde propensity score hebben, bijvoorbeeld 0.6. Dit betekent dat, voor ze de behandeling al dan niet kregen, ze evenveel kans hadden om de behandeling te krijgen. Met andere woorden zijn ze exchangeable of vergelijkbaar. Merk op dat de propensity score correct moet worden gemodel-leerd en dat bovendien alle belangrijke confounders moeten worden opgenomen in het model.

In [10] wordt bewezen dat indien individuen conditioneel exchangeable zijn op basis van de confounders L, ze dit ook zijn op basis van de propensity score: A ⊥⊥ Ya_{|L =⇒ A ⊥⊥ Y}a_{|p(L), voor a = 0, 1.}

De propensity score kan gebruikt worden in bijvoorbeeld sub-classificatie of matching [10]. Bij sub-classificatie worden individuen in een aantal groepen of strata onderverdeeld op basis van gelijke propensity scores. Zo kan men de causale effecten berekenen binnen de groepen, waarna het gewogen gemiddelde over de groepen wordt berekend, om tot het causale effect te komen op populatie-niveau. In het geval van matching, wordt elk behandeld individu gekoppeld aan ´e´en of meerdere onbehandelde individuen op basis van gelijke propensity score. Hier is echter een grote kans op vertekening indien het koppelen niet perfect is [11]. Een derde methode die gebruikt maakt van de propensity score is invers wegen.

2.2.2

Inverse probability of treatment weighting

Stel dat L een confounder is met 2 niveaus en dat de data zoals in Tabel 2.1 is.

Tabel 2.1 Individu A Y L 1 1 1 1 2 0 0 1 3 0 0 1 4 0 1 2 5 1 2 2 6 1 2 2

Wanneer het effect van de behandeling wordt berekend zonder L in rekening te brengen wordt het volgende verkregen:

E(Y |A = 1) − E(Y |A = 0) = 1 + 2 + 2 3 − 0 + 0 + 1 3 = 4 3

Dit is het effect op basis van de associatie, weliswaar zonder de confounder L in rekening te brengen. Voor het causale effect willen we echter gegevens zoals in Tabel 2.2. Hieruit kan het causale effect worden berekend: E(Y1_{) − E(Y}0_{) =}

2.2. Inverse probability of treatment weighting (IPTW) 27 1.5 − 0.5 = 1. Dit is uiteraard niet observeerbaar. Het idee van invers wegen is

Tabel 2.2 Individu Y1 Y0 L 1 1 0 1 2 1 0 1 3 1 0 1 4 2 1 2 5 2 1 2 6 2 1 2

om elk individu te wegen met de inverse van de kans om zijn/haar behandeling te krijgen op basis van de confounders. Een behandelde persoon wordt dus gewo-gen met 1/p(L), een onbehandelde persoon daarentegewo-gen met 1/(1 − p(L)). Neem bijvoorbeeld individu 1, waarvoor L = 1. In deze groep zijn er drie personen, waarvan ´e´en is behandeld en twee niet. Voor individu 1 is de kans op behandeling dus: P (A = 1|L) = 1₃, waaruit het gewicht 3 volgt. Het doel van invers wegen is om een pseudo-populatie te cre¨eren, die dubbel zo groot is als de oorspronkelijke populatie, waarbij op beide behandeling-niveaus evenveel individuen worden ge-observeerd. Tabel 2.3 toont de gewichten voor elk individu. Gewichten worden genoteerd met de variabele W . Aangezien er in grope L = 1 twee van de drie

Tabel 2.3

Individu 1 2 3 4 5 6 Gewicht W 3 3₂ 3₂ 3 3₂ 3₂

individuen onbehandeld zijn, krijgen deze twee individuen (2 en 3) beiden het gewicht W = 1.5, wat in totaal drie onbehandelde individuen geeft in de pseudo-populatie met L = 1. Anderzijds is individu 1 de enige die behandeld werd in L = 1 en krijgt deze het gewicht W = 3. In de pseudo-populatie zitten nu, binnen de subgroep L = 1, zogezegd drie individuen voor elke behandeling. Uit Tabel 2.3 kan worden afgelezen dat dit het geval is binnen elke subgroep van L, alsook voor de gehele populatie: na het wegen heeft men zogezegd 6 behandelde en 6 onbehandelde individuen in de pseudo-populatie. Nu kan het causaal effect worden geschat op basis van de geobserveerde data door het gewogen gemiddelde

28 Hoofdstuk 2. G-computation en IPTW te nemen van de uitkomsten:

ˆ E(Y1) = 1 6 " 1 · 3 + 2 · 3 2 + 2 · 3 2 # = 3 2 ˆ E(Y0) = 1 6 " 0 · 3 2+ 0 · 3 2+ 1 · 3 # = 1 2

Het causale effect is dus correct geschat op basis van de geobserveerde data: ˆ

E(Y1_{) − ˆE(Y}0_{) = 1.}

Algemeen kan de schatter van het causaal effect op basis van invers wegen als volgt worden genoteerd:

1 n n X i=1 AiYi p(Li) − 1 n n X i=1 (1 − Ai)Yi 1 − p(Li) of Pn i=1 AiYi p(Li) Pn i=1 Ai p(Li) − Pn i=1 (1−Ai)Yi 1−p(Li) Pn i=1 1−Ai 1−p(Li) , (2.1)

waarbij de eerste term telkens de schatting is van E(Y1_{) en de tweede van E(Y}0_).

Een belangrijke assumptie die ook moet worden gemaakt bij invers wegen, is de positiviteit-assumptie. Deze veronderstelt dat de propensity score strikt tussen 0 en 1 moet liggen voor eender welke combinatie van waarden voor confounders L. Indien dit niet het geval zou zijn, zouden gewichten gelijk kunnen zijn aan oneindig.

De vraag die ons rest is waarom door invers wegen de vertekening wordt ge¨elimineerd. Herinner dat verondersteld is dat onze gegevens afkomstig zijn van de DAG in Figuur 2.1 (p. 23). Door het cre¨eren van de pseudo-populatie aan de hand van de gewichten wordt het verband tussen de confounders L en de behandeling A verbroken zoals te zien is in Figuur 2.2.

Aangezien in de pseudo-populatie, binnen elke subgroep van de confounders,

A Y

L

Figuur 2.2

evenveel behandelde als onbehandelde individuen zijn, verdwijnt de associatie tussen L en A.

Het feit dat de invers wegen schatter onvertekend is, kan als volgt worden in-gezien. Laat ons op de schatter voor E(Y1_{) focussen. Wegens consistentie kan}

Y ook worden geschreven als Y1_{A + Y}0_{(1 − A). Wanneer we dit substitueren}

in _p(L)AY krijgen we AY_p(L)1, aangezien A binair is. Vervolgens kan aan de hand van conditionele exchangeability en herhaalde verwachtingswaarde E(AY1

2.2. Inverse probability of treatment weighting (IPTW) 29 verder worden uitgewerkt:

E AY1 p(L)  = E  E nAY1 p(L)|Y 1 , L o = E  Y1 p(L)E n A|Y1, L o = E  Y1 p(L)E{A|L}  , wat gelijk is aan E(Y1_{). Op basis hiervan kan worden ingezien dat de invers}

wegen schatter onvertekend is.

In praktijk is het echter vaak onhaalbaar om de gewichten exact te berekenen, door de vele gemeten confounders L of bijna continue confounders zoals leef-tijd. De propensity score wordt in dit geval gemodelleerd, bijvoorbeeld aan de hand van een logistisch regressiemodel. Wanneer er veel confounders zijn kan het daarentegen moeilijk zijn om de verbanden tussen de variabelen correct te modelleren. Indien het model fout gespecificeerd is kan er vertekening optreden en is de schatter niet langer consistent [12]. In de volgende sectie wordt hier een mogelijk oplossing voor gevonden.

De finale schatter maakt ook enkel gebruik van een deel van de gegevens. Kijk naar de schatter van E(Y1_{) in (2.1), waarbij enkel de individuen waarvoor A = 1}

een invloed hebben. Bij bijvoorbeeld g-computation wordt gebruik gemaakt van alle individuen voor het schatten van E(Y1).

Ook heeft de invers wegen schatter meestal een hogere variantie dan klassieke tra-ditionele regressie-analyse. Dit is te verklaren door de variantie van de gewichten die mee in rekening moet worden gebracht. Echter wordt deze variantie aan de hand van conventionele methoden meestal onderschat [13], waardoor testen en betrouwbaarheidsintervallen ongeldig worden. Dit kan worden opgelost door het gebruik van bijvoorbeeld bootstrap [14].

Een uitbreiding van de invers wegen schatter zal meestal effici¨enter zijn en is ook dubbel robuust, een eigenschap waar in volgende sectie dieper op zal wor-den ingegaan. Deze uitbreiding wordt de dubbel robuuste invers wegen schatter genoemd.

2.2.3

Dubbel robuuste IPTW

In vorige secties werd besproken hoe het causale effect kan worden geschat. Wan-neer het verband tussen enerzijds de uitkomst Y en anderzijds de blootstelling A en confounders L fout wordt gemodelleerd, dan zijn de bekomen schatters ongel-dig en dus mogelijk vertekend of inconsistent.

In het vervolg van deze masterproef zal met het uitkomst-model gedoeld worden op een model waar de uitkomst Y wordt geregresseerd op de behandeling en de confounders. In het geval van invers wegen wordt enkel gebruik gemaakt van de propensity score, wat ook een blootstelling-model of behandeling-model zal worden genoemd. Zoals geweten is, wordt in dit model de blootstelling A gere-gresseerd op de confounders.

30 Hoofdstuk 2. G-computation en IPTW invers wegen: het maakt gebruik van zowel een uitkomst-model als de propen-sity score. Indien minstens ´e´en van twee modellen consistent geschat wordt, is de bekomen schatter ook consistent; deze eigenschap is wat bedoeld wordt met dubbel robuustheid, en zal later worden aangetoond. Als beide modellen correct zijn gespecificeerd is deze dubbel robuuste schatter effici¨enter dan gewoon invers wegen [17]. Voor de eenvoud zal in deze sectie worden gefocust op het schatten van E(Y1_{), in plaats van de gehele risk difference E(Y}1 _{− Y}0_{); wat zal worden}

aangetoond of besproken geldt analoog voor E(Y0_).

De dubbel robuuste invers wegen methode maakt dus gebruik van twee model-len. Enerzijds wordt gebruik gemaakt van de propensity score, die werd besproken bij invers wegen: p(L) = P (A = 1|L). Anderzijds zal een uitkomst-model worden geschat samen met de gewichten, voortkomend uit het propensity score model. Herinner dat er twee behandelde groepen zijn: de behandelden A = 1 en de niet-behandelden A = 0. Aangezien we een schatting van E(Y1) willen, zullen we een regressiemodel bouwen op basis van de behandelde individuen. Er zal worden gebruik gemaakt van een gewogen regressiemodel met dezelfde gewichten als bij invers wegen: 1/P S voor de behandelden en 1/(1 − P S) voor de onbehandelde individuen. Nadat het model is geschat, kan voor elk individu, zowel behandel-den als niet behandelbehandel-den, de counterfactual Y1 _{worden voorspeld, net zoals bij}

g-computation. Finaal wordt E(Y1) geschat door het gemiddelde te nemen over alle voorspellingen ˆY1_.

Stel, zoals voorheen, dat Y een binaire variabele is. De echte correcte modellen zullen genoteerd worden als P (A = 1|L) en E(Y |A = 1, L). Vervolgens wordt verondersteld dat de propensity score en het uikomst-model er als volgt uit zien:

P (A = 1|L; α) = α0L en

E(Y |A = 1, L; β) = expit(β0L), gewogen door 1 P (A = 1|L),

waarbij α0L staat voor α0+α1L1+· · ·+αnLn, en analoog voor β0L. Merk op dat we

deze modellen noteren met de co¨effici¨enten in de kans en de verwachtingswaarde. Hiermee wordt het verschil aangeduid met de echte correcte modellen. Wanneer deze modellen worden geschat op basis van de data zal dit worden genoteerd als volgt: P (A = 1|L; ˆα) en E(Y |A = 1, L; ˆβ). De finale schatter voor E(Y1_{) wordt}

dan bekomen door: ˆ E(Y1) = 1 n n X i=1 E(Yi|Ai = 1, Li; ˆβ),

waar in de verwachtingswaarde met A = 1 wordt gedoeld op het feit dat deze variabele voor alle individuen op 1 wordt gezet.

2.2. Inverse probability of treatment weighting (IPTW) 31

1 n

Pn

i=1E(Yi|Ai = 1, Li; β) is identiek aan:

1 n n X i=1 E(Yi|Ai = 1, Li; ˆβ) + Ai P (Ai = 1|Li; ˆα) (Yi− E(Yi|Ai = 1, Li; ˆβ)), (2.2)

omdat de sommatie over de tweede term gelijk is aan 0. Wanneer voor het uitkomst model de co¨effici¨enten β worden geschat, zal de volgende functie worden geminimaliseerd: 1 n n X i=1 Ai P (Ai = 1|Li; ˆα) (Yi− E(Yi|Ai = 1, Li; ˆβ))2.

Dit komt neer op het afleiden van deze uitdrukking naar β en dit vervolgens gelijk te stellen aan nul. Zo kan worden ingezien dat het steekproefgemiddelde van de tweede term in (2.2), gelijk is aan nul.

De uitkomst Yikan wegens consistentie worden herschreven als AiYi1+(1−Ai)Yi0.

In de bovenstaande uitdrukking komt de uitkomst Yi enkel voor in een term met

Ai, waardoor Yi kan worden vervangen door Yi1 aangezien: AiYi = (Ai)2Yi1 +

Ai(1 − Ai)Yi0 = AiYi1. Uitdrukking (2.2) kan nog herschreven worden als:

1 n n X i=1 Y_i1+(Ai− P (Ai = 1|Li; ˆα)) P (Ai = 1|Li; ˆα) (Y_i1− E(Yi|Ai = 1, Li; ˆβ)), (2.3)

Startende vanuit uitdrukking (2.3) kan de dubbel robuustheid worden afgeleid. Door de ’zwakke wet van de grote getallen’ en de stelling van Slutsky geldt dat (2.3) gelijk is aan: E(Y1) + E " (A − P (A = 1|L; α)) P (A = 1|L; α) (Y 1_{− E(Y |A = 1, L; β))} # + op(1) (2.4)

Als kan worden aangetoond dat de tweede term gelijk is aan nul, dan volgt dat de dubbel robuuste schatter consistent is. Stel nu dat maar 1 van beide modellen correct gespecificeerd is, bijvoorbeeld de propensity score. Dan geldt dat:

32 Hoofdstuk 2. G-computation en IPTW of nog dat het gestelde model gelijk is aan de propensity score. De tweede term in uitdrukking (2.4) kan nu worden herschreven als volgt:

E " {A − P (A = 1|L; α)} P (A = 1|L; α) (Y 1_{− E(Y |A = 1, L; β))} # (2.6) =E " {A − P (A = 1|L)} P (A = 1|L) (Y 1_{− E(Y |A = 1, L; β))} # (2.7) =E " E " {A − P (A = 1|L)} P (A = 1|L) (Y 1_{− E(Y |A = 1, L; β))} L, Y 1 ## (2.8) =E " {E(A|L, Y1_{) − P (A = 1|L)}} P (A = 1|L) (Y 1_{− E(Y |A = 1, L; β))} # (2.9) =E " {E(A|L) − P (A = 1|L)} P (A = 1|L) (Y 1_{− E(Y |A = 1, L; β))} # , (2.10)

wat gelijk is aan nul aangezien E(A|L) = P (A = 1|L). Voor (2.5-2.6) wordt gebruik gemaakt van uitdrukking (2.5). In (2.6-2.7) wordt de herhaalde verwach-tingswaarde gebruikt en in (2.8-2.9) de conditionele exchangeability. Hieruit volgt dat de dubbel robuuste invers wegen schatter gelijk is aan E(Y1) + op(1), of dus

een consistente schatter is van E(Y1_{) indien de propensity score correct}

gespeci-ficeerd is.

Stel nu dat het uitkomst-model correct gespecificeerd is, maar de propensity score niet. Dan geldt dat:

2.2. Inverse probability of treatment weighting (IPTW) 33 De tweede term in (2.4) kan nu opnieuw worden herschreven:

E " {A − P (A = 1|L; α)} P (A = 1|L; α) (Y 1_{− E(Y |A = 1, L; β))} # (2.12) =E " {A − P (A = 1|L; α)} P (A = 1|L; α) (Y 1_{− E(Y |A = 1, L))} # (2.13) =E " Eh{A − P (A = 1|L; α)} P (A = 1|L; α) (Y 1_{− E(Y |A = 1, L))} L, A i # (2.14) =E " {A − P (A = 1|L; α)} P (A = 1|L; α) (E(Y 1_{|A, L) − E(Y |A = 1, L))} # (2.15) =E " {A − P (A = 1|L; α)} P (A = 1|L; α) (E(Y 1_{|L) − E(Y}1_|L)) # (2.16) =0 (2.17)

Bij de overgang (2.11-2.12) wordt gebruik gemaakt van uitdrukking (2.11). Voor (2.12-2.13) is de herhaalde verwachtingswaarde gebruikt en bij (2.14-2.15) con-sistentie en conditionele exchangeability.

Opnieuw is aangetoond dat de dubbel robuuste invers wegen methode resulteert in een consistente schatter van E(Y1), met enkel een correct gespecificeerd uitkomst-model. De dubbel robuustheid is aangetoond.

De vraag die nu gesteld kan worden is of in praktijk zelfs ´e´en van beide mo-dellen correct kan gespecificeerd worden. Dit kan in een echte studie moeilijk gecontroleerd worden. Naarmate het aantal confounders stijgt wordt het aantal mogelijk verbanden tussen variabelen dermate groot dat de kans op correcte spe-cificatie klein lijkt.

Dit is waar machine learning, of data-adaptieve methoden in het spel komen. Deze data-adaptieve methoden liggen aan de basis van TMLE.

35

Hoofdstuk 3

Targeted maximum likelihood

estimator

TMLE of voluit Targeted Maximum Likelihood Estimation is een methode in 2006 ge¨ıntroduceerd door van der Laan en Rubin in [18]. Targeted maximum likelihood estimation laat enerzijds toe om gebruik te maken van machine learning technieken, waardoor assumpties over de verdeling van de data niet langer moeten gemaakt worden door de onderzoeker. Anderzijds laat het toe om de schatter te targeten richting de doel parameter, bijvoorbeeld de risk difference, welke de onderzoeksvraag weerspiegelt.

Doorheen dit hoofdstuk zal de werking van TMLE centraal staan. Verder zullen ook de interessante eigenschappen van de bekomen schatter en vergelijkingen met eerder besproken methoden aan bod komen.

3.1

De Basis

Herinner dat de geobserveerde data bestaat uit een uitkomst Y , een behandeling of blootstelling A en de overige covariaten of confounders L. Dit kan samengevat ook worden geschreven als O = (Y, A, L) ∼ P0, met P0 de onderliggende

verde-ling. De verdeling P0 wordt ook de data-genererende distributie genoemd, en is

ongekend. De doel parameter die we zullen proberen schatten is de risk difference E(Y1 _{− Y}0_{) = E(Y}1_{) − E(Y}0_{). Voor de eenvoud zal in dit hoofdstuk worden}

gefocust op de eerste term E(Y1_{). De werking verloopt analoog voor E(Y}0_{). We}

zijn dus op zoek naar E(Y1), de doel parameter in het vervolg van dit hoofdstuk. We zullen dit ook noteren als θ(P0), wat weerspiegelt dat dit de echte waarde

of populatie-waarde is. De TMLE daarentegen kan kort genoteerd worden als: θ(Pn), waarbij Pn staat voor de empirische verdeling van de data, of simpelweg

de data zelf.

Onder de eerder besproken causale assumpties kan E(Y1_{) herschreven worden}

als E[E(Y |A = 1, L)]. De conditionele verwachting E(Y |A = 1, L) zal worden geschat aan de hand van modellering, waarna voor elk individu een predictie voor de uitkomst zal worden verkregen. Over deze predicties zal het empirisch gemid-delde worden genomen om tot de finale schatter van E(Y1) te komen. De TMLE

36 Hoofdstuk 3. Targeted maximum likelihood estimator is dus een plug-in schatter.

Het is in praktijk gangbaar om E(Y |A = 1, L) te schatten aan de hand van parametrische methoden zoals bijvoorbeeld regressie modellen. Deze parametri-sche methoden zijn echter gebaseerd op moeilijk controleerbare assumpties die in veel gevallen niet voldaan zijn. Hierdoor worden vertekende schatters verkregen. TMLE maakt daarentegen gebruik van de super learner, een methode die een opti-male schatter construeert op basis van verschillende machine learning methoden. Door het gebruik van machine learning moeten geen assumpties worden opge-legd over de verdeling van de data, wat de aanpak essentieel niet-parametrisch maakt. Aan de hand van de super learner wordt een functie ¯Q0

n(A, L) bekomen

die het conditioneel gemiddelde E(Y |A, L) modelleert. Op basis van ¯Q0

n kan nu

via g-computation de doel parameter E(Y1) als volgt worden geschat: 1 n n X i=1 ¯ Q0_n(1, Li).

De uitdrukking ¯Q0_n(1, Li) geeft de predictie weer voor een individu waarbij de

be-handeling handmatig op 1 is gezet. Er zijn echter enkele nadelen verbonden aan bovenstaande schatter. Machine learning methoden zijn gebouwd om predicties van data te maken en niet om aan besluitvorming te doen. De predicties conver-geren dan ook traag, waaruit grote variantie volgt (groter dan dan orde 1/n) [19]. Deze grote variantie zet zich door in de variantie van de g-computation schatter. Anderzijds is het moeilijk om de onzekerheid van machine learning predicties in kaart te brengen, wat zich vertaalt in een moeilijk te berekenen standaard error voor deze g-computation schatter. Ook zijn machine learning methoden gemaakt om predicties te maken binnen het bereik van de data, wat zich vertaalt in een vertekening die van dezelfde orde is als de standaarddeviatie van deze predicties. Voor g-computation wordt echter gebruik gemaakt van extrapolaties buiten het bereik van de data. Denk aan een onbehandeld individu, die een heel specifieke set covariaten Liheeft, welke geen enkel behandeld individu heeft. Deze

onbehan-delde persoon zal dan ¯Q0

n(1, Li), als predictie krijgen, wat duidelijke extrapolatie

is aangezien geen enkel individu in de dataset met A = 1, een gelijkaardige set covariaten L als Li heeft. De vertekening zal typisch groter zijn dan de standaard

deviatie indien er extrapolatie is. Dit zet zich vervolgens door in de g-computation schatter wat tot heel vertekende resultaten kan leiden. De initieel voorgestelde schatter zal dus niet voldoen.

Om deze redenen volgt er na de initi¨ele schatting ¯Q0

n van E(Y |A, L), een

targe-ting step, die deze schatter zal updaten, met het doel om de bias te verkleinen. Deze update ¯Q1

n van ¯Q0n zal zich baseren op de theorie van influence curves. De

finale schatter van θ(P0) wordt dan als volgt verkregen:

θ(Pn) = 1 n n X i=1 ¯ Q1_n(1, Li). (3.1)

3.2. Initi¨ele schatter: Super Learner 37 Op basis van deze ge¨updatete schatter ¯Q1

n zullen enkele eigenschappen zoals de

bias en variantie van deze TMLE methode kunnen worden besproken.

3.2

Initi¨

ele schatter: Super Learner

Het doel van de eerste stap is om een functie ¯Q0

n te vinden die het conditioneel

gemiddelde E(Y |A, L) schat. TMLE maakt hierbij gebruik van de super learner [20]. Er bestaan vele mogelijke algoritmes om tot een predictie-model voor de uit-komst te komen. Enkele voorbeelden hiervan zijn de kleinste-kwadratenmethode, random forests of spline regressie. Bij de normale gang van zaken wordt ´e´en optimaal algoritme geselecteerd en worden op basis daarvan predicties voor de uitkomst verkregen. De super learner maakt echter niet gebruik van ´e´en algo-ritme, maar combineert verschillende algoritmes aan de hand van een gewogen combinatie. Enkele vragen kunnen gesteld worden bij deze techniek: hoe wordt bepaald welke algoritmes de beste zijn en hoe worden deze vervolgens gecombi-neerd?

Loss functie

Om te bepalen welke algoritmes het best presteren wordt gebruik gemaakt van een loss functie. Concreet is

L(O, ¯Q(.)) = (Y − ¯Q(A, L))2,

een veel gebruikte loss functie, waarbij ¯Q staat voor een gekozen algoritme. Aan de hand van zo een loss functie kan gezien worden hoe goed de functie de uitkomst voorspelt. Stel dat er 3 algoritmes ¯Qa_{, ¯Q}b_{, ¯Q}c _{in aanmerking komen voor een}

dataset O, waarbij Oi = (Yi, Ai, Li) de variabelen voor individu i voorstelt. Stel

dat de algoritmes worden getraind op de volledige dataset en de getrainde functies ¯

Qa

n, ¯Qbn, ¯Qcn worden verkregen. Vervolgens kan het optimale algoritme worden

bepaald als de minimizer van 1 n n X i=1 L(Oi, ¯Qn(.)) = 1 n n X i=1 (Yi− ¯Qn(Ai, Li))2. (3.2)

Het optimale algoritme bepalen door het op de hele dataset te trainen en evalue-ren, kan weliswaar problematische gevolgen hebben, zoals overfitting. Overfitting is het fenomeen waarbij het algoritme heel goed predicties kan leveren op de ge-geven data, maar mogelijks slechte predicties geeft op ongeziene of nieuwe data, wat dus leidt tot vertekening. Aangezien in de TMLE methode gebruik wordt gemaakt van zogezegd nieuwe data, namelijk wanneer de behandeling voor elk individu op 1 wordt gezet (zie (3.1)), willen we overfitting vermijden. Om deze

38 Hoofdstuk 3. Targeted maximum likelihood estimator reden wordt in de super learner gebruik gemaakt van k-fold cross-validation, een veelgebruikte techniek in de wereld van machine learning.

Cross-validation

Stel dat k = 10, dan werkt cross-validation als volgt. De data wordt verdeeld in 10 groepen van grootte ∼ n/10. Vervolgens wordt groep 1 aan de kant gehouden (de zogenaamde validatie set), waarna elk voorgesteld algoritme ¯Qa_{, ¯Q}b_{, ¯Q}c_wordt

getraind op de overige 9 groepen (de zogenaamde training set). Op basis van de getrainde algoritmes ¯Qa

n,1, ¯Qbn,1, ¯Qcn,1 worden nu predicties gemaakt voor groep 1,

de enige groep die niet is gebruikt om het algoritme te trainen (de subscripten in de Q’s wijzen erop, dat deze getraind zijn op alle groepen, behalve groep 1). Het is belangrijk dat groep 1 hier niet is gebruikt om het algoritme te trainen, maar enkel wordt gebruikt om het getrainde algoritme te evalueren. Voor de andere 9 groepen worden hier dus geen predicties gemaakt. In de tweede stap wordt uit de 10 groepen, groep 2 aan de kant gezet, waarna de algoritmes opnieuw worden getraind, echter deze keer op basis van groep 1, groep 3, ..., groep 10. Nu wor-den voor elk getraind algoritme uitkomst predicties verkregen voor groep 2. Dit wordt iteratief doorgezet, totdat voor elke groep predicties verkregen zijn. Merk op dat in iedere stap ´e´en groep uit het trainingsproces wordt gehaald, en enkel die groep wordt gebruikt om predicties te berekenen. Het is net deze procedure die er voor zorgt dat overfitting wordt vermeden, en een meer eerlijke evaluatie van elk algoritme kan worden bewerkstelligd. Na de cross-validation is voor elk individu een predictie voor de uitkomst verkregen. De drie algoritmes ¯Qa, ¯Qb, ¯Qc worden vervolgens ge¨evalueerd aan de hand van de gemiddelde loss (3.2). Het algoritme dat hiervoor de laagste waarde heeft, zal als ’beste’ algoritme worden bestempeld. De procedure die zonet werd besproken wordt ook wel de discrete super learner genoemd [21].

Super learner

De super learner zelf maakt, zoals eerder vermeld, niet gebruik van ´e´en beste algoritme, maar van een gewogen combinatie van verschillende algoritmes. Stel dat de predicties zijn berekend zoals in de discrete super learner; deze worden genoteerd als ¯Qa

n,CV(A, L), ¯Qbn,CV(A, L), ¯Qcn,CV(A, L). Vervolgens moet aan elk

algoritme een gewicht α = (αa, αb, αc) worden toegekend. Dit kan uitgevoerd

worden door een regressiemodel te fitten, waarbij de co¨effici¨enten de gewichten voorstellen. Stel bij wijze van voorbeeld dat Y binair is, dan kan volgend regres-siemodel worden gefit:

3.3. Update: Targeting Step 39 De gewichten die hieruit voortkomen bepalen de ’beste’ schatter op basis van de gekozen loss functie. Eens de gewichten berekend zijn, wordt elk algoritme finaal getraind op de volledige dataset, waardoor de beste schatter ¯Q0_n van E(Y |A, L) wordt bekomen door:

¯

Q0_n(A, L) = expithαˆaQ¯an(A, L) + ˆαbQ¯bn(A, L) + ˆαcQ¯cn(A, L)

i ,

waarbij ˆα = ( ˆαa, ˆαb, ˆαc) de geschatte gewichten zijn van het regressiemodel. Voor

een schematisch overzicht van de werking van zowel de discrete super learner als de super learner kan men terecht in hoofdstuk 3 van [21]. In datzelfde hoofdstuk wordt ook, op basis van simulaties, aangetoond dat de super learner, gemiddeld genomen over verschillende situaties, beter presteert dan eender welk individueel algoritme. De super learner is ge¨ımplementeerd in R en is te vinden in het SuperLearner pakket [22]. De lijst van algoritmes die kunnen gebruikt worden, worden vermeld in de documentatie.

Zoals in de vorige sectie is aangehaald, zijn er enkele nadelen verbonden aan het gebruik van deze machine learning algoritmes voor inferenti¨ele doeleinden. Vandaar dat de initi¨ele schatter ¯Q0

n(A, L) zal worden ge¨updatet in de targeting

step.

3.3

Update: Targeting Step

Het voornaamste doel van de targeting step is om bias te verminderen, dus om de schatter meer richting de doel parameter te targeten. Om verder toe te lichten wat er juist gebeurt en waarom, zal eerst wat dieper worden ingegaan op een nieuw concept: de influence curve.

Influence curve

In essentie kan de influence curve van een parameter onder een niet-parametrisch model worden gezien als de eerste afgeleide van deze parameter in een bepaalde richting [23]. Formeel definieert Hampel in [23] de influence curve voor re¨eelwaardige parameters als volgt:

Definitie. Neem T een re¨ele functionaal, van de verzameling van 1-dimensionale cumulatieve distributiefuncties Ω, naar R: T : Ω → R. Stel dat F zo een cu-mulatieve distributiefunctie is. Een mixture van F en δx kan worden geschreven

als:

(1 − )F + δx, 0 <  < 1, ∀x ∈ R,

waarbij δx de kansmaat is die kans 1 geeft aan x, en alle andere re¨ele getallen

kans 0 geeft. De influence curve van de parameter T , met F als onderliggende distributie, is puntsgewijs gedefinieerd als:

40 Hoofdstuk 3. Targeted maximum likelihood estimator

IC(x) = lim

→0[T ((1 − ]F + δx) − T (F )]/,

indien deze limiet is gedefinieerd ∀x ∈ R.

Neem als voorbeeld T =R xdF (x), de verwachtingswaarde. Stel dat E(x) = µ, voor X ∼ F . Dan is de influence curve van T over F gedefinieerd als:

IC(x) = lim →0[(1 − ) Z xdF (x) +  Z xdδx− Z xdF (x)]/ = lim →0[(1 − )µ + x − µ]/ = x − µ.

Keer nu terug naar onze parameter die we willen schatten: E(Y1). De TMLE θ(Pn) kan benaderd worden aan de hand van een eerste-orde Taylor-ontwikkeling

rond de ware parameter:

θ(Pn) = θ(P0) + θ0(Pn− P0) + op(

1 √

n).

We zien hierin de afgeleide van de parameter, wat ons doet denken een de hier-boven gedefinieerde influence curve. We kunnen de empirische distributie ook schrijven als: Pn = 1_nPn_i=1δOi, met Oi de gegevens van ´e´en individu. Zo kan

bovenstaande gelijkheid herschreven worden: θ(Pn) = θ(P0) + 1 n n X i=1 θ0(δOi− P0) + op( 1 √ n),

waarin nu intu¨ıtief de influence curve naar voren komt. We kunnen hierin vervol-gens de influence curve substitueren, waardoor tot volgende uitdrukking wordt gekomen: θ(Pn) = θ(P0) + 1 n n X i=1 IC(Oi) + op( 1 √ n). (3.3) Merk op dat bovenstaande uitwerking slechts een schets is en voornamelijk be-doeld is om intu¨ıtie te verkrijgen. De afleiding is in werkelijkheid veel complexer. We zien nu dat de bias van onze schatter θ(Pn) ongeveer gelijk is aan het

steek-proefgemiddelde van de influence curves. Zonder verder te diep in te gaan op de theorie van influence curves, zal deze eigenschap worden gebruikt in de targeting step. Het doel van de targeting step is om te zorgen dat dit steekproefgemiddelde gelijk wordt aan nul.

3.3. Update: Targeting Step 41 Constructie van de targeting step

Herinner dat we E(Y1) = E[E(Y |A = 1, L)] proberen te schatten. Het conditio-neel gemiddelde zal verder ook genoteerd worden als ¯Q0_{. Herinner dat de initi¨ele}

schatter hiervan werd genoteerd als ¯Q0

n. De propensity score P (A = 1|L) die in

hoofdstuk 2 werd besproken, wordt hier als g0 genoteerd, en de schatter zal als

gn worden genoteerd. In deze context zal de propensity score niet langer

para-metrisch worden bepaald, maar ook worden geschat aan de hand van de super learner. Het is van de parameter E(Y1) = E[ ¯Q0(1, L)] dat de influence curve in [24] wordt gegeven door:

IC( ¯Q0, g0)(O) =

A g0(L)

(Y − ¯Q0(1, L)) + ¯Q0(1, L) − θ(P0). (3.4)

Aangezien de afleiding hiervan complex is, wordt deze hier achterwege gelaten. Voor de ge¨ınteresseerde lezer kan de afleiding gevonden worden in appendix A.4 in [21].

Om ervoor te zorgen dat het steekproefgemiddelde van deze influence curve gelijk wordt aan nul, zal een zogenaamd parametrisch sub-model worden gebouwd rond de initi¨ele schatter ¯Q0_n. Dit sub-model, ook wel fluctuatie-model genoemd, zal worden genoteerd als ¯Q0

n(0), waarbij 0 de mate van fluctuatie rond ¯Q0n zal

aan-geven. Voor 0 = 0 is dit model dus juist gelijk aan ¯Q0n. We veronderstellen dat de

uitkomst Y binair is, wat de keuze voor een logistische regressiemodel verklaart. We nemen ¯Q0

n(A, L) als offset en zullen volgend model proberen schatten:

logit ¯Q0_n(0)(A, L) = logit ¯Q0n(A, L) + 0H(A, L).

Hierbij is H(A, L) de zogenaamde ’slimme covariaat’, welke op een heel speci-fieke manier zal worden, gekozen met het doel het steekproefgemiddelde van de influence curve gelijk te krijgen aan nul. We zullen de co¨effici¨ent 0 schatten, wat

voor een aanpassing van de initi¨ele schatter ¯Q0

n zal zorgen. Hierna kunnen nog

updates volgen, iteratief op dezelfde manier, tot er geen updates meer worden uitgevoerd en dus de co¨effici¨ent  gelijk is aan nul.

Bij het schatten van bovenstaand model zal worden gebruik gemaakt van de negatieve log loss functie:

L( ¯Q)(O) = − log[ ¯Q(A, L)Y{1 − ¯Q(A, L)}1−Y].

Met deze loss functie kan nu worden bepaald aan welke voorwaarde het model moet voldoen, om ervoor te zorgen dat het steekproefgemiddelde van de influence curve gelijk wordt aan nul:

− d d0 L( ¯Q0_n(0))(O)|0=0 = A gn(L) (Y − ¯Q0_n(1, L)), (3.5)