Performantie doorheen de tijd

Naast de performantie van de verschillende machine learning technieken op refe- rentiemoment B (geboorte), werd bij EVA en EVI ook bestudeerd in hoeverre de be- schouwde machine learning technieken in staat zijn om bijkomende informatie te ge- bruiken om de modelperformantie te verhogen.

EVA

Wat betreft de productiekengetallen met betrekking tot de eerste lactatie bij EVA (Figuur B.1 - B.16) vertonen alle productiekengetallen een analoog patroon. Vertrek- kende van het performantie-niveau dat de verschillende technieken behalen op re- ferentiemoment B (geboorte) verlopen de curves voor R2

ndejk en

p

MSE vrijwel ho- rizontaal tot en met referentiemoment I (eerste inseminatie). Geen enkele van de machine learning modellen is dus in staat om de extra informatie die beschikbaar komt (maternale eigenprestaties en leeftijd bij eerste inseminatie) om te zetten in een hogere modelperformantie. Hoogstwaarschijnlijk komt dit doordat de leeftijd van eerste inseminatie weinig tot geen invloed heeft op de productiekengetallen tijdens de eerste lactatie. Waarom het beschikbaar komen van de maternale eigenprestaties niet leidt tot een hogere modelperformantie wordt besproken in §3.4.4

Vanaf referentiemoment 7K stijgt echter voor alle productiekengetallen, met uitzon- dering van 305d %V en %E tijdens de eerste lactatie, de performantie van de beste machine learning techniek. Deze stijging is duidelijk, maar relatief beperkt, wat aan- geeft dat de leeftijd bij eerste kalving (die vanaf referentiemoment 7K gekend is) een bescheiden invloed heeft op de productiekengetallen (met uitzondering van %V en %E) die zullen worden gerealiseerd tijdens de eerste lactatie (zie §3.4.7). De meeste machine learning technieken volgen deze stijging in performantie van het best pres- terende model, enkel random forest slaagt er niet in om deze extra bron van nuttige informatie te vertalen in een hogere R2_{ndejk}. Vanaf referentiemoment 7K verlopen de curves terug horizontaal, tot referentiemoment K,vanaf wanneer de performantie stijgt als gevolg van het beschikbaar komen van eigenprestaties van de dieren.

Deze performantiestijging verloopt initieel zeer snel, zo stijgt R2_{ndejk}voor SVR_radial in Figuur B.1 van 0.57 bij kalving op 3 maanden tijd naar 0.84 Aangezien alle be- schouwde machine learning methoden deze snelle stijging vertonen, ligt de oorzaak van deze snelle stijging niet bij het gebruiken van machine learning technieken, maar

wel bij het juist aanreiken van nuttige informatie, wat wijst op het belang van een doordachte primaire dataverwerking (§2.3). Deze stijging vlakt enigzins af naarmate de lactatie vordert, wat aangeeft dat de producties die een bepaald dier realiseert tijdens de eerste maanden van haar lactatie, ook veel informatie bevatten over hoe het verdere verloop zal zijn van de lactatie, wat niet geheel onlogisch is. Opvallend hierbij is dat deze afvlakking meer uitgesproken is voor random forest, wat verklaard kan worden door de modelstructuur die wordt gebruikt bij deze techniek (§A) die maar moeilijk toelaat om waarden voor R2_{ndejk} te realiseren die dicht bij 1 liggen.

Wat betreft de tkt tussen pariteit 1 en 2, is in figuren B.17 en B.18 te zien dat de per- formantie van alle beschouwde machine learning technieken begint te stijgen vanaf referentiemoment K2, wat verklaard kan worden omdat vanaf dat refentiemoment in- formatie beschikbaar komt met betrekking tot de inseminaties van de dieren tijdens de eerste lactatie. Opvallend in Figuur B.17 is de terugval die alle machine learning technieken, met uitzondering van random forest en boosting tree, vertonen op refe- rentiemoment K6. Op dit moment is er nog een beperkt aantal dieren dat nog steeds niet voor de eerste keer geïnsemineerd is (maar dat wel een tkt zal realiseren) en waarvoor de meeste machine learning modellen onrealistische voorspellingen maken als gevolg van het feit dat de modelcoëfficiënten niet geoptimaliseerd zijn om de tkt van dit type dieren te voorspellen. Enkel regressieboom-gebaseerde machine learning technieken produceren door hun robuustheid geen onrealistische voorspellingen voor deze dieren, wat de performantie van deze modellen op referentiemomenten K6-8 ten goede komt.

Ook de performanties van de EVA-modellen voor de kg FPCM-productie op een leeftijd van x jaar vertonen een analoog patroon doorheen de tijd (figuren B.19 - B.30), maar bij deze productiekengetallen begint R2_{ndejk} te stijgen tussen 12 maanden en 24 maanden leeftijd, afhankelijk van welke leeftijd x men beschouwt. Voor lage waarden van x ligt het buigpunt eerder rond 12 maanden, het moment wanneer de eerste pin- ken geïnsemineerd worden. Dit is niet geheel onlogisch, aangezien de leeftijd waarop de dieren afkalven, een grote invloed heeft op de tijdsperiode gedurende dewelke de dieren melk kunnen produceren vooraleer ze de leeftijd van 3/4/5 jaar bereiken. Voor grote waarden van x (7 of 8) is het vooral het productieniveau dat een grote rol speelt bij de kg FPCM-productie die zal worden gerealiseerd, waardoor het buigpunt dan ook eerder op 24 maanden leeftijd ligt, het moment dat van de eerste dieren mpr-gegevens beschikbaar komen. Omdat de leeftijd bij eerste kalving zo belangrijk is voor de gerealiseerde productie op 3/4/5 jaar leeftijd, vertonen, analoog aan hoe dit voor de tkt was, alle modellen met uitzondering van random forest en tree boosting een daling in performantie als de dieren een leeftijd hebben van 19 maanden. Op

3.4. RESULTATEN EN BESPREKING

aantal uitschieters die nog drachtig zullen worden, maar het op 19 maanden leeftijd nog steeds niet zijn. Aangezien het belang van de leeftijd bij eerste afkalving daalt naarmate de waarde van x groter wordt, daalt ook de grootteorde van de performan- tiedip: deze is het grootste bij x = 3, kleiner bij x = 4 en amper nog zichtbaar bij x = 5.

Met betrekking tot de levensproductie is op Figuur B.32 is te zien dat, vertrekkende van de initiële pMSE van ongeveer 16000 kg FPCM,pMSE vanaf een leeftijd van on- geveer 24 maanden langzaam zakt. pMSE blijft echter steeds hoog, zo is pMSE op een leeftijd van 96 maanden, een jaar voor de afknotleeftijd, nog steeds ongeveer 5000 kg FPCM. Dit geeft aan dat de modelvoorspellingen niet enkel voor referentie- moment B inaccuraat zijn, maar dat dit over het gehele beschouwde tijdsinterval het geval is.

EVI

Wat betreft de EVI-modellen, kunnen gelijkaardige patronen waargenomen worden als voor de EVA-modellen, op twee kleine verschillen na. Een eerste verschil is waar te nemen op momenten vlak voordat het productiekengetal effectief wordt gerealiseerd: geen enkele machine learning techniek slaagt er in op deze momenten waarden voor R2_{ndejk} te realiseren hoger dan 0.95, dit als gevolg van de beperkte hoeveelheid waarnemingen die per bedrijfsspecifiek model beschikbaar is. Een tweede verschil is dat de performantiedip die voor tkt en de kg FPCM-productie op 3/4/5 jaar leeftijd kon worden waargenomen bij EVA, niet zichtbaar is bij de EVI-modellen. Dit is op zijn beurt te verklaren aan de hand van het feit dat de dieren die deze dip veroorzaken vaak op een beperkt aantal bedrijven gelokaliseerd zijn, waardoor de EVI-modellen of geen last hebben van deze dieren, of verschillende dergelijke dieren in de trainingsdataset hebben en daardoor geen onrealistische voorspellingen voor deze dieren maken.