Bachelor Informatica
Uitkomst van Het Eurovisie
Song-festival Voorspellen met
Au-dio Features en Ordinale
Re-gressie
Hester Verdenius
20 januari 2020
orma
tica
—
Universiteit
v
an
Ams
terd
am
Samenvatting
Er zijn bergen aan onderzoeken die bewijzen dat er in het Eurovisie Songfestival, door de thuisstemmers, wordt gestemd op buurlanden, of juist niet, of op nummers die in een bepaalde taal zijn geschreven, een bepaalde cultuur hebben etc. Maar onderzoeken naar de invloed van muzikale aspecten op stemgedrag, lijken niet te bestaan. Deze scriptie draagt bij aan een manier om de uitkomst te voorspellen aan de hand van audio features van deelnemende nummers, waarbij er inzicht wordt verkregen in correlaties tussen audio features en klassering. Er wordt in dit onderzoek aangetoond dat er een zwakke trend is te vinden voor nummers die hoog eindigen, namelijk dat die muziek een sterke bas heeft, dat het redelijk harde muziek is, dat het geluid alle frequenties raakt en dat het vervormd geluid is. Verder is er een verschil in correlatie gevonden tussen audio features en stemgedrag voor de jurystemmen respectievelijk thuisstemmers. Hoewel er maar een zwakke trend te vinden is, zijn de voorspellingen verrassend goed. 1 op de 5 keer weet het model een winnaar correct te voorspellen en anders voorspelt het model een winnend nummer in de top 6. Van nummers die in werkelijkheid in de top 10 zijn ge¨eindigd, wist het model meer dan de helft daarvan ook in de top 10 te voorspellen.
Inhoudsopgave
1 Introductie 7 2 Achtergrond en Overzicht 9 2.1 Eurovisie Songfestival . . . 9 2.2 Essentia . . . 9 2.2.1 MFCC . . . 9 2.2.2 SBiC . . . 10 2.2.3 Muziek Extractor . . . 10 2.3 Dataset . . . 10 2.3.1 Uitzonderingen in de Data . . . 10 2.4 Gerelateerd Onderzoek . . . 11 2.5 Algoritmen . . . 12 2.5.1 Regularisatie . . . 12 2.5.2 Logistische Regressie . . . 13 2.5.3 Ordinale Regressie . . . 14 2.5.4 Kruisvalidatie . . . 152.5.5 Mean Average Precision . . . 16
3 Ontwerp en Implementatie 19 3.1 Verwerking van Audiobestanden . . . 19
3.2 Implementatie van Voorspellend Model . . . 19
3.2.1 Categorie¨en . . . 19
3.2.2 Ordinaal Model . . . 21
3.2.3 Performance Berekeningen . . . 21
4 Experimenten en Resultaten 23 4.1 Oneven Verdeelde Categorie¨en Model . . . 23
4.1.1 Resulterend Model . . . 23
4.1.2 Performance . . . 25
4.2 Even Verdeelde Categorie¨en Model . . . 25
4.2.1 Resulterend Model . . . 25
4.2.2 Performance . . . 26
4.3 Modellen over Verschillende Stem Methodes . . . 26
5 Conclusie en Discussie 29
Appendices 31
B Voorspelde Ranglijsten 37 B.1 2019 . . . 38 B.2 2018 . . . 39 B.3 2017 . . . 40 B.4 2016 . . . 41 B.5 2015 . . . 42 B.6 2014 . . . 43 B.7 2013 . . . 44 B.8 2012 . . . 45 B.9 2011 . . . 46 B.10 2010 . . . 47
HOOFDSTUK 1
Introductie
16 Mei 2019 vond in Tel Aviv de finale plaats van het Eurovisie Songfestival waar Nederland, zoals voorspeld door de bookmakers [1], de overwinning binnensleepte met het nummer van Duncan Laurence, Arcade. Sindsdien zijn mensen in Nederland druk bezig met de voorbereidingen voor de organisatie van het Eurovisie Songfestival 2020. Bookmakers peilen de meningen van kijkers thuis en halen daaruit hun voorspellingen. In de afgelopen 12 jaar hebben zij 7 winnaars goed voorspeld [2] [5].
Het merendeel van de onderzoeken rond het Eurovisie Songfestival analyseert patronen in het stemgedrag van stemmers thuis. Hier komt vaak uit dat cultuur, taal en ligging van het land waar stemmers leven, zorgen voor wat biased-voting wordt genoemd [24] [16] [41]. Er wordt niet zozeer gestemd voor de artistieke waarde van een nummer, als wel op basis van “vriendjespolitiek”[21]. Mogelijke factoren hierin zijn het geslacht van de artiest, de economie, gastland of de volgorde van de optredens [20]. Er is ook aangetoond dat de jury beter is dan de thuisstemmers in het beoordelen van de muziek; en niet wordt be¨ınvloed door bovengenoemde factoren [25]. Er lijkt echter geen onderzoek te bestaan over of er een correlatie is tussen score en de muzikale aspecten van nummers in het Songfestival, en of hier voorspellingen mee te doen zijn. Toch hoor je vaak mensen zeggen: “Dit is echt een Songfestival nummertje!”. Dit gegeven brengt de volgende onderzoeksvraag: “Is het mogelijk om de uitkomst van een Eurovisie Songfestival editie te voorspellen aan de hand van audio features van de inzendingen van afgelopen jaren?” Dit onderzoek is een poging om inzicht te krijgen in trends in audio features van nummers die hoog hebben gescoord in het Songfestival, aan de hand van ordinale regressie. Ook wordt er gekeken naar patronen in audio features voor jury-stemmen en tele-stemmen en hoeveel verschil daar tussen zit; en er worden voorspellingen gedaan om te zien in hoeverre het mogelijk is de uitkomst van het Eurovisie Songfestival te voorspellen.
Deze scriptie begint met uitleg over de methoden in dit onderzoek en geeft een overzicht van gerelateerde literatuur en de dataset in hoofdstuk 2. In hoofdstuk 3 is er een uiteenzetting van de implementatie en ontwerpkeuzes. Hoofdstuk 4 bevat experimenten en hun resultaten. Vervolgens sluit het af in hoofdstuk 5 met een conclusie en een discussie.
HOOFDSTUK 2
Achtergrond en Overzicht
Om het werk in dit onderzoek te begrijpen is het noodzakelijk om eerst de onderwerpen en begrippen te introduceren en ook een overzicht te geven van de gebruikte dataset. Sectie 2.1 beschrijft de essentie van het Eurovisie Songfestival. In sectie 2.2 worden de functies om de audiobestanden te verwerken beschreven. In sectie 2.3 staat een overzicht van de dataset en de uitzonderingen binnen de dataset. In 2.4 is een uiteenzetting van gerelateerd onderzoek en tot slot staat in sectie 2.5 een beschrijving van gebruikte algoritmen.
2.1
Eurovisie Songfestival
Het Eurovisie Songfestival wordt al gehouden sinds 1956 [8]. De procedure is als volgt: Elk deelnemend land kiest een artiest en nummer. Alle landen gaan door een halve finale heen, behalve de zogeheten “Big 5”, de vijf grootste financi¨ele bijdragers aan het Songfestival [3], en het winnende land van het vorige jaar, zij mogen automatisch naar de finale. De beste tien van beide halve finales gaan door naar de finale, waar de winnaar wordt bepaald doordat de inwoners van elk land mogen stemmen via tele-stemmen, sinds 2004, en een vakjury. Op deze manier krijgt elk land punten, waarna de deelnemer met de meeste punten het Eurovisie Songfestival wint [9]. Dan nog een paar regels die de organisatie aanhoudt: Per jaar is er een maximum van 44 deelnemende landen, de ingezonden nummers mogen niet langer zijn dan 3 minuten, mag in elke taal dan ook gezongen worden en landen mogen niet op zichzelf stemmen [12].
2.2
Essentia
Er zijn vele methoden en libraries om muziek te analyseren. In dit onderzoek wordt hiervoor Essentia gebruikt. Essentia is een open-source library voor audio en muziekanalyse binnen C++ en Python [4]. Met Essentia worden de nummers geanalyseerd op opmerkelijke veranderingen in de muziek en op basis daarvan in segmenten gehakt. Vervolgens worden er met Essentia audio features (voor de lijst van audio features zie bijlage A) uit de stukjes muziek afgeleid. Er zijn drie functies binnen Essentia die worden gebruikt en hieronder nader worden toegelicht.
2.2.1
MFCC
Mel-Frequency Cepstral Coefficients, is een representatie van hoe het “spectrum”, de audio, zich vormt qua energie [34]. MFCC’s worden berekend door eerst de fouriertransformatie te nemen van het audio signaal, dit door te mappen naar een mel scale, een bepaald soort toonladder.
Figuur 2.1: Pipeline van het berekenen van de MFCC. Bron: A Large Set of Audio Features for Sound Description- G.Peeters [34]
2.2.2
SBiC
SBiC is een functie die veranderingen detecteert [14]. Segmentation Bayesian Information Cri-terion neemt als input een matrix van MFCC’s en geeft een lijstje aan frame indices terug die de segmenten van een nummer omkaderen [13].
2.2.3
Muziek Extractor
De Muziek Extractor van Essentia berekent voor een audio bestand een grote verzameling aan muziekdescriptors. Hierin vallen ritme, toon en lowleveldescriptors [10]. Deze descriptors maken de audio features waarmee in dit onderzoek gaat worden gewerkt.
2.3
Dataset
De dataset bestaat uit een 1552-tal mp3-bestanden van alle nummers die ooit hebben meegedaan aan het Eurovisie Songfestival. Er zijn 64 jaargangen geweest waarin minimaal 7 en maximaal 43 landen deelnamen. Figuur 2.2 en 2.3 laten een overzicht van de data zien.
2.3.1
Uitzonderingen in de Data
In 1956, de eerste editie, werden er geen stem data vrijgegeven en is er dus alleen een winnaar bekend. Ook deden er dat jaar 7 landen mee die allemaal 2 verschillende nummers met verschil-lende artiesten hebben ingezonden. De winnaar is dan niet alleen Zwitserland, maar ook specifiek het nummer ‘Refrain’ van ‘Lys Assia’. De rest van de deelnemers is gedeeld tweede geworden [6], dit jaar is in dit onderzoek buiten de dataset gehouden. Een andere uitzondering is 1969. Vier landen eindigden samen op de eerste plaats met een gelijk aantal punten. Tenslotte, hoewel alle landen sinds 2004 mogen stemmen met tele-stemmen, zijn hier pas sinds 2016 aparte data voor beschikbaar.
Figuur 2.2: Aantal deelnemende landen per jaar
regularization en bagging dat om kan gaan met een grote hoeveelheid predictors om de relatie van audio features en muziekvoorkeuren van een testgroep vast te leggen. Voor 74% van de deelnemers konden zij een model maken met een acceptabele goodness-of-fit [17].
Nijkamp deed onderzoek op Spotify naar of de audio features invloed hebben op de stream count. Het onderzoek heeft de 10 populairste muziek genres (volgens Spotify) gepakt; elke genre heeft andere populaire nummers. Eerst werd er gecheckt welke audio features correleren onder elkaar en daarmee relevant zijn, waarna een lineair regressie model is toegepast. Het resultaat was een model dat voor 20% de variatie in stream count beschrijft [33].
Pham, Kyauk en Park onderzochten of er een relatie is tussen de populariteit van een nummer en karakteristieken van het nummer en de artiest. Support Vector Machines, neurale netwerken, logistische regressie, Gaussian descriminant analyse en lineaire regressie werden uitgetest en ze concludeerden dat er met metadata beter kon worden voorspeld dan met audio features, omdat omdat audio features te algemeen waren per nummer; en dat een SVM met Gaussian kernel het meest accuraat was van alle algoritmen om de populariteit van een nummer te voorspellen. De andere algoritmen zaten echter ook in de buurt [36].
Singhi en Brown probeerden hitjes en niet-hitjes, “flops”, te classificeren door een Bayesian Net-work toe te passen op de tekst van nummers. Het resulteerde in een confusion matrix met goede verhoudingen. Ze concludeerden dat lyrische features leiden tot een beter voorspellings model dan modellen die audio features gebruiken [40].
Borg en Hokkanen gebruikten Youtube kijkcijfers en audio features om populariteit te voorspellen met K-means clustering, Support Vector Machines en Random Forests methoden. Ze conclu-deerden dat populariteit (geoperationaliseerd als kijkcijfer op Youtube) niet zijn te voorspellen aan de hand van audio features [18].
Dhanaraj en Logan classificeerden hitjes en niet-hitjes op simpele audio features. De eerste me-thode die is gebruikt is de Support Vector Machine. De andere is Boosting. Het onderzoek resulteerde in een classifier die in ieder geval beter werkt dan willekeurig kiezen. Ze ondervonden dat lyrische features beter werkten dan audio features om hits van niet-hits te onderscheiden. Ze stellen een onderzoek voor waarbij nummers worden gegroepeerd per decennium [22].
Herremans, Martens en S¨orensen gebruikten SVM, logistische regressie en Naive Bayes om dance hit songs te voorspellen. Zij concludeerden dat top-10 hits zeker zijn te voorspellen met audio features, onder meer door rekening te houden met het feit dat muziek over de tijd verandert. Hun best werkende model is het logistische regressie model [27].
2.5
Algoritmen
Van de ge¨ımplementeerde algoritmen wordt hier de theorie uitgelegd. Eerst een uitleg over regu-larisatie in sectie 2.5.1. Daarna wordt in sectie 2.5.2 logistische regressie uitgelegd. Deze methode wordt weliswaar niet gebruikt in dit onderzoek, maar het is verstandig om eerst logistische re-gressie te begrijpen voor dat er wordt verdiept in ordinale rere-gressie in sectie 2.5.3. Als laatste is er een uitleg over Kruisvalidatie in sectie 2.5.4 en over Mean Average Precision in sectie 2.5.5.
2.5.1
Regularisatie
Overfitting is al jaren een probleem en er zijn hierdoor waarschijnlijk al vele valse conclusies gemaakt binnen bijvoorbeeld de medische wereld [15]. Een van de methodes om overfitting te voorkomen is regularisatie [19]. Deze methode gebruikt penalties, boetes, om variantie in het resultaat en gecorreleerde predictors te voorkomen. De modellen die dit toepassen heten Lasso, Ridge regressie en Elastic Net, een de combinatie van de voorgaande twee modellen. Lasso ge-bruikt de L1boete en Ridge L2[23]. Lasso beboet de som van de absolute regressie-co¨effici¨enten,
Ridge regressie beboet de som van de kwadraten van de co¨effici¨enten [31]. De algemene vorm van Lasso en Ridge zijn volgende functies [11]:
L1= arg min w X j (t(xj) − X i wihi(xj))2+ λ k X i=1 |wi|
L2= arg min w X j (t(xj) − X i wihi(xj))2+ λ k X i=1 w2i
Beide zorgen ervoor dat de waardes van co¨effici¨enten zodanig klein worden gemaakt dat ze niet meer mee doen met het model en alleen de relevante co¨effici¨enten overblijven. Hierin is Lasso een stuk strenger dan Ridge, in de zin dat Lasso vaker veroorzaakt dat co¨effici¨enten zelfs exact 0 worden, zie figuur 2.4. [35] [31].
Figuur 2.4: Voorbeeld van regularisatie methodes L1 (rood) en L2 (blauw). Bron:
medium.com/analytics-vidhya
2.5.2
Logistische Regressie
Logistische regressie geeft de kans dat de uitkomst Y bij een bepaalde klasse hoort, P r(Y = 1|X). Deze klasse is binair, zie figuur 2.5. In logistische regressie wordt de volgende formule gebruikt, de logistische formule [29]:
p(X) = e
β0+β1X
1 + eβ0+ β1X + ... + βpX
Met p(X) = P r(Y = 1|X). Een herschrijving van deze formule luidt: p(X)
1 − p(X) = e
β0+β1X+...+βpX
Hierbij is de linkerhelft van de vergelijking de odds, de kansverhouding [29]. Omdat de kansver-houding van 0 tot ∞ loopt en er van −∞ tot ∞ nodig is (anders is het niet mogelijk om een resultaat te krijgen onder 0), wordt het logaritme van de kansverhouding gebruikt, log-odds of de logit [42]:
log( p(X)
1 − p(X)) = β0+ β1X + ... + βpX
De co¨effici¨enten, β0, β1moeten worden benaderd met trainingdata d.m.v. de maximum likelihood
methode [29]. Deze methode pakt aannemelijke waardes voor β0, β1, ..., βp en haalt met deze
co¨effici¨enten trainingdata door de logistische functie heen, waarvan de uitkomst zo veel mogelijk op de echte uitkomst zou moeten lijken; en past vervolgens de co¨effici¨enten aan, totdat het verschil tussen echt en benaderd niet kleiner kan. Om vervolgens een voorspelling te doen, vul je de logistische formule in; en daaruit komt de kans dat Y = 1.
Figuur 2.5: Voorbeeld van Logistische Regressie. Bron: towardsdatascience.com
2.5.3
Ordinale Regressie
Als je niet alleen data met Y=0 of Y=1 als resultaat hebt, maar meerdere klassen die geordend zijn, zijn deze waardes ordinale waardes, waar een ordinale regressie voor nodig is. Ordinale regressie gaat niet uit van een gelijke afstand tussen verschillende levels van Y [26]. Met X als de verzameling van predictors, kan je de kans berekenen dat Y een gegeven categorie is met P r(Y = j|X = x) = P
xxPjxP r(x = x)/P r(Y = j) waarbij j ´e´en van de categorie¨en is [26].
Het model ziet er zo uit:
P r(Y ≤ j|X) = 1 1 + eαj+Xβ
met j = 1, 2, ..., k, waarbij k is het aantal intercepts. De α’s en β zijn de co¨effici¨enten van de predictors. Elke j binnen het model leidt tot een logistische regressie, zie figuur 2.6. Het ordinale model wordt gefit met dezelfde maximum likelihood methode. Dit schattingsprocess forceert de intercepts tot een volgorde.
Figuur 2.6: Voorbeeld van Ordinale Regressie. Bron: www.researchgate.net
In figuur 2.6 staat er op de y-as de response variabele yi. Deze y kan worden gehaald uit
de latent variabele, een multiplicatie van de co¨effici¨enten en observaties, ofwel de x-as van figuur 2.6. Hieruit kan de response worden gehaald door de latent variabele te vergelijken met de intercepts. De resulterende categorie is gelijk aan tussen welk interval latent variabele valt [44]. Een duidelijkere manier om de intercepts te bekijken is met een verdeling curve in plaats van een cumulatieve curve. De intercepts worden Tao cuts genoemd en staan verdeeld over een bell curve, zie figuur 2.7. De verticale lijnen zijn de tao cuts en verdelen de categorie¨en over de curve, waardoor er per categorie een kans ontstaat, zoals in het staafdiagram in figuur 2.7.
Figuur 2.7: Voorbeeld van tao cuts in een ordinale regressie.
2.5.4
Kruisvalidatie
Kruisvalidatie is een methode om een leeralgoritme, zoals regressie, beter te trainen [39]. De methode splitst de data in train- en valideerdata; deze hoeven niet van gelijke grootte te zijn. De train dataset is voor het trainen van het model, het fitten van een functie aan de train datapunten. De validatie dataset is voor het valideren van het model. Deze handeling kan meerdere keren worden uitgevoerd over verschillende delen van de data, dit heet k-fold kruisvalidatie, zie figuur 2.8.
Figuur 2.8: Voorbeeld van kruisvalidatie
2.5.5
Mean Average Precision
De Mean Average Precision, MAP, is een manier van de performance meten met meer context [28]. Het start bij de precisie, de ratio van true positives ten opzichte van alle voorspelde posi-tieven [38]:
P recisie = T P T P + F P
De recall, de true positive rate van een gegeven klasse, het laat zien hoeveel van de relevante datapunten als positief zijn voorspeld [38]:
Recall = T P T P + F N
Precisie en recall zijn net als accuracy een meting van performance [38]. Voor ordinale systemen is het handig om ook de volgorde waarin de resultaten worden teruggegeven in gedachte te houden, daarom wordt er een Average Precision, AP, berekend [43]. In tekst is de AP de oppervlakte on-der de plot van de precisie als functie van de recall. Dit is equivalent aan de volgende functie [43]:
AP = Pn
k=1(P recisie(k) ∗ relevant datapunt(k))
Aantal relevante datapunten
Omdat P een fractie is en de niet-relevante datapunten worden genegeerd bij deze berekening, geeft de volgorde waarin de datapunten door deze functie gaan, verschillende resultaten. Tabel 2.1 laat een voorbeeld zien van een scenario dat een hoog getal terug geeft; en tabel 2.2 een scenario met een laag getal als resultaat.
Is datapunt relevant? Precisie
Ja 1/1 Ja 2/2 Nee -Nee -Nee -Nee - 1/1+2/22 = 1.0
Is datapunt relevant? Precisie Nee 0/1 Nee 0/2 Nee 0/3 Nee 0/4 Ja 1/5 Ja 2/6 1/5+2/62 = 0.27
Tabel 2.2: Voorbeeld van een AP berekening die een laag getal teruggeeft.
De AP is nuttig voor het voorspellen van een ranking. Als het relevante datapunt bijvoorbeeld de nummer 1 in een ranking is, en dit relevante datapunt bij de voorspelling op nummer 1 is geplaatst in de ranking, geeft dit een AP van 1.0. Als de nummer 1 bij voorspelling op nummer 2 in de ranking is geplaatst, geeft dat een AP van 0.5. Het is namelijk niet slecht dat de nummer 1 is voorspeld als nummer 2 binnen een ranking.
De laatste stap voor het berekenen van de MAP is het nemen van het gemiddelde van de AP’s voor alle queries:
M AP = PQ
q=1AP (q)
Q
In deze formule is Q, de queries, een set van bepaalde condities waar de relevante datapunten aan moeten voldoen.
HOOFDSTUK 3
Ontwerp en Implementatie
In dit hoofdstuk wordt er een uitleg gegeven over de ontwerpkeuzes en implementatie van het voorspellende systeem voor het Eurovisie Songfestival.
Sectie 3.1 geeft de implementatie van de pipeline voor het verwerken van de audiobestanden. Sectie 3.2 geeft de implementatie van het model met de bijbehorende ontwerpkeuzes.
3.1
Verwerking van Audiobestanden
Het voorspellen van een winnaar uit een verzameling nummers vraagt om een uitgebreidere kijk op de muziek. Daarvoor halen we audio features uit de audiobestanden met de eerder in hoofdstuk 2.2 beschreven Essentia Python library. Je zou audio features gelijk uit alle audiobestanden in de dataset kunnen halen, maar dan krijg je descriptors die over het hele audio bestand gaan en die zijn te algemeen. Om een goed model te maken is het beter om de audiobestanden in segmenten op te delen. Daarvoor is de eerste stap om de MFCC’s te berekenen, beschreven in hoofdstuk 2.2.1, per nummer in de dataset. Dit geeft een vrij grote matrix aan MFCC’s. Met deze matrices kunnen de liedjes vervolgens in segmenten worden opgedeeld m.b.v. de SBiC functie, zie hoofdstuk 2.2.2. Dit heeft een variatie van 5 tot 9 segmenten per nummer opgeleverd. Vervolgens kunnen de audio features uit deze segmenten worden gehaald door de Music Extractor functie toe te passen (hoofdstuk 2.2.3). Dit geeft niet alleen een minder algemene dataset, het geeft ook een grotere dataset wat gunstig is bij het maken van een voorspellend model.
3.2
Implementatie van Voorspellend Model
Bij het implementeren van het model is er een aantal ontwerpkeuzes gemaakt. In dit hoofdstuk worden deze keuzes en hun motivaties op een rijtje gezet om inzicht te krijgen in hoe dit onderzoek een resultaat heeft gekregen. In sectie 3.2.1 wordt er uitgelegd hoe de ordinale klassen in elkaar zitten en hoe er met die klassen in het vervolg om wordt gegaan. Hoe het ordinaal model is ge¨ımplementeerd wordt behandeld in sectie 3.2.2. Hoe de performances van het resulterende model worden berekend is uitgelegd in sectie 3.2.3.
3.2.1
Categorie¨
en
Er zijn twee manieren om de categorie¨en in te delen; in dit onderzoek heten ze de oneven verdeelde categorie¨en en de even verdeelde categorie¨en. Dit is goed om met elkaar te vergelijken, gezien het geval dat in de oneven verdeling er meer nummers of segmenten vallen in ´e´en bepaalde categorie,
• Categorie 1: In de top 3. • Categorie 2: In de top 5. • Categorie 3: In de top 10. • Categorie 4: In de finale. • Categorie 5: In de halve finale.
Deze categorie¨en zijn niet overlappend, bijvoorbeeld zijn er 2 nummers die in categorie 1 vallen, namelijk de tweede plaats en de derde plaats. Het regressie model vereist namelijk dat deze categorie¨en niet overlappen. Zie figuur 3.1 voor de geschiedenis van deze categorie¨en per land.
Figuur 3.1: Categorie¨en per land De even verdeling is de 20% kwantiel van de rankings. • Categorie 0: Eerste 20% van de ranking.
• Categorie 1: Tweede 20% van de ranking. • Categorie 2: Derde 20% van de ranking. • Categorie 3: Vierde 20% van de ranking. • Categorie 4: Wat er nog over is.
Overlappende Oneven Categorie¨en
Het model “afstraffen” op dat categorie 1 wordt voorspeld voor een nummer dat eigenlijk in categorie 0 valt, is te streng. Categorie 0 valt namelijk eigenlijk ook in categorie 1, de nummer 1 maakt namelijk ook deel uit van een top 3. Daarom is er de keuze gemaakt om de performance te baseren op een overlapping van categorie¨en. Zo krijg je het voorbeeld dat in tabel 3.1 staat. Er zijn 4 problemen:
Probleem 0: Alleen categorie 0 die voorspeld is als categorie 0 is een true positive. Probleem 1: Categorie 0 en 1 die voorspeld zijn als categorie 0 of 1 zijn true positives.
Probleem 2: Categorie 0,1 en 2 die voorspeld zijn als categorie 0, 1 of 2 zijn true positives. Probleem 3: Eveneens voor categorie 0, 1, 2 en 3.
Zo krijg je een goed inzicht in hoeverre de winnaar, de top 3, de top 5 en de top 10 te voor-spellen zijn. Dat zijn ook de meest interessantste plaatsen om op te eindigen bij het Eurovisie Songfestival. true predict TP0 TP1 TP2 TP3 0 0 ja ja ja ja 0 1 nee ja ja ja 1 0 nee ja ja ja 1 2 nee nee ja ja 0 2 nee nee ja ja 2 1 nee nee ja ja
4 3 nee nee nee nee
3 0 nee nee nee ja
0 5 nee nee nee nee
Tabel 3.1: Voorbeeld van een aantal echte en voorspelde waarden en of dat wel of niet een true positive is.
3.2.2
Ordinaal Model
Voor het Ordinale Regressie model is de H2O Python library gebruikt [7] en voor de regularisatie is de GridSearch functie van H2O gebruikt. De pipeline bestaat uit het verdelen van de data in train, validatie en test data. De functie van het model heet H2OGeneralizedLinearModel ; dit kan voor alle soorten regressies worden gebruikt. In dit geval is het model gedefinieerd als family=’ordinal’. De link is logit, met een k-folds van 4 voor de kruisvalidatie; deze functie voert ook een standaardisatie uit. De functie GridSearch zoekt het beste model met de meest gepaste penalty om de belangrijke co¨effici¨enten te selecteren. Het is dus een elastic net penalty met bepaalde L1 en L2 ratios, α. In dit geval gaat GridSearch zoeken voor α waardes van 0 tot en
met 1 met stapjes van 0.1. Hieruit komen meerdere modellen met een gemiddelde kwadraten error, MSE, als aanduiding van performance. Hiervoor geldt dat een grote MSE een slechtere performance betekent. Dus het beste model wordt hieruit geselecteerd door het model met de laagste MSE waarde te pakken.
3.2.3
Performance Berekeningen
Voor het uitvoeren van voorspellingen en berekenen van performance voor de experimenten bevat het ordinale model een voorspelfunctie. Deze heeft als input de test dataset en geeft een matrix met de voorspelde categorie en kansen per categorie voor elk datapunt uit de dataset als output. Er bestaat een ingebouwde confusion matrix functie, maar die rekent niet op overlappende cate-gorie¨en, daarom is er een eigen functie voor geschreven. De accuracy, recall en precisie worden uit de confusion matrix gehaald. Voor het berekenen van de MAP is een volledige ranking nodig, dat betekent een gesorteerde lijst met ´e´en segment per nummer, zodat de precisie kan worden be-rekend per probleem. Omdat de H2O voorspelfunctie geen latent variabelen geeft, moet dat zelf worden berekend, zie hoofdstuk 2.5.3. Na deze lijst te hebben gesorteerd van klein naar groot, is er per nummer het segment met de hoogste positie, dus de kleinste latent variabele geselecteerd (N.B: Kleinere latent variabele betekent dat het segment dichter bij categorie 0 ligt). De kleinste latent variabele wordt gepakt omdat de problemen een inschatting van de top 10 geven. Daarom worden de hoogste segmenten in de ranglijst geselecteerd, wat een hoger resultaat geeft. Per jaar wordt er zo een dergelijke ranking gemaakt, en per probleem een AP berekend. Dat resulteert in
over dezelfde dataset, hetzelfde moeten zijn als de MAP voor probleem 0. De resultaten zullen laten zien dat dit niet het geval is.
HOOFDSTUK 4
Experimenten en Resultaten
Er zijn drie uitgebreide experimenten gedaan. Het eerste experiment, sectie 4.1, waar dit onder-zoek voornamelijk om draait, is een experiment over de oneven verdeelde categorie¨en. In sectie 4.2 staan de experimenten voor de even verdeelde categorie¨en om de oneven mee te vergelijken en te beoordelen of dat verschil maakt in hoe goed de top is te voorspellen. Het laatste experiment in sectie 4.3 is een vergelijking tussen jury-stemmen en tele-stemmen en bekijkt of er een verschil is tussen hoe de mensen thuis stemmen en hoe de jury stemt.
4.1
Oneven Verdeelde Categorie¨
en Model
Het oneven verdeelde categorie¨en model heeft voor elk land de bijbehorende categorie, dat be-tekent dat elk segment voor elk land dezelfde categorie¨en heeft. Zie hoofdstuk 3.2.1 voor wat de categorie¨en inhouden. Het model bestrijkt de jaren van 1957 tot en met 2019.
4.1.1
Resulterend Model
Geselecteerde Audio Features
Voor de absolute waardes van de co¨effici¨enten geldt dat de waardes van 0.8 en hoger een groot effect op het model hebben, tussen 0.8 en 0.5 een middelgroot effect, tussen 0.5 en 0.2 een klein effect en kleiner dan 0.2 is triviaal. Audio features met negatieve co¨effici¨ent waardes zijn belangrijk voor hoog scorende nummers; en positieve waardes voor laag scorende nummers. De 20 meest belangrijkste audio features voor dit model die uit de regularisatie zijn gekomen staan afgebeeld in tabel 4.1. Alle audio features hebben in dit geval een klein effect op het model.
Plaats Audio feature Co¨effici¨ent Waarde 1 spectral energyband low -0.44
2 beats loudness -0.36 3 spectral energy -0.35 4 erbbands flatness db 0.31 5 tuning frequency 0.30 6 spectral flux -0.29 7 spectral rms -0.28
8 tuning nontempered energy ratio -0.26
9 melbands skewness -0.26
10 tuning equal tempered deviation -0.26
11 melbands crest -0.25 12 erbbands spread -0.24 13 pitch salience 0.24 14 silence rate 30dB 0.24 15 barkbands flatness db 0.23 16 barkbands spread -0.22 17 dissonance -0.22 18 spectral entropy -0.20 19 spectral kurtosis 0.20 20 hfc -0.20
Tabel 4.1: Top 20 geselecteerde audio features voor het oneven verdeelde model
Tao Cuts
De Tao Cuts zijn de intercepts waarin een response in een bepaalde categorie valt, zie hoofdstuk 2.5.3. De tao cuts die uit het model komen op basis van de datatset:
• Intercept (Y ≤ 0) = −4.66 • Intercept (Y ≤ 1) = −2.89 • Intercept (Y ≤ 2) = −0.99 • Intercept (Y ≤ 3) = 0.07 • Intercept (Y ≤ 4) = 1.82
Deze tao cuts zijn bijzonder. Het zijn niet de cuts die je bij de meeste ordinale regressie modellen ziet. Het is gewoon dat de middelste intercepts rond 0 liggen en dat de afstand tussen de andere intercepts ongeveer gelijk is.
4.1.2
Performance
Confusion Matrix Predict 0 1 2 3 4 5 Totaal True 0 10 12 12 5 6 9 54 1 4 17 23 12 9 26 91 2 10 28 32 10 17 30 127 3 31 40 54 19 27 62 233 4 48 69 111 73 82 160 543 5 3 12 19 8 36 123 201 Totaal 106 178 251 127 177 410 1249Tabel 4.2: Confusion matrix van het oneven verdeelde model
De precisie verschilt van de MAP, tabel 4.3. Deze zouden gelijk moeten zijn, maar omdat ze over verschillende datasets gaan, zijn ze verschillend.
Probleem Recall Precisie Accuracy MAP
0 19% 9% 6% 17%
1 30% 15% 11% 23%
2 54% 28% 22% 32%
3 63% 48% 38% 54%
Tabel 4.3: Performances van het oneven verdeelde model
Voorspellingen
Aangezien het veel ruimte inneemt om alle ranglijsten weer te geven, staan de voorspelde rang-lijsten van 2010 tot en met 2019 in bijlage B. Er zitten een aantal opvallende voorspellingen tussen die er volledig naast zitten, het model is, zoals te zien in tabel 4.3, dan ook niet 100% perfect.
4.2
Even Verdeelde Categorie¨
en Model
Dit is hetzelfde experiment als hoofdstuk 4.1, maar dan met het even verdeelde categorie¨en model, zie hoofdstuk 3.2.1 voor wat de categorie¨en inhouden. Er wordt niet zoveel aan performance voor dit model berekend, er is alleen interesse naar de vraag of de audio features hetzelfde betekenen voor dit model en hoe de confusion matrix van dit model eruit ziet.
4.2.1
Resulterend Model
Geselecteerde Audio Features
Ook hier geldt dat negatieve waardes relevant zijn voor hoog scorende nummers en positieve waardes voor laag scorende nummers. De eerste 4 audio features van dit model hebben een middel groot effect. De rest van de afgebeelde features hebben een klein effect, tabel 4.4.
Plaats Audio feature Co¨effici¨ent Waarde 1 spectral rolloff 0.55 2 spectral centroid 0.54 3 zerocrossingrate 0.54 4 spectral spread 0.51 5 melbands spread 0.49 6 chords strength -0.49 7 silence rate 60dB 0.47 8 spectral rms -0.46 9 average loudness -0.41 10 pitch salience 0.41 11 dynamic complexity 0.40 12 spectral flux -0.37 13 hpcp crest -0.36 14 spectral entropy 0.36 15 melbands crest -0.33 16 erbbands crest -0.33 17 spectral energy -0.32 18 melbands flatness db -0.31 19 hpcp entropy -0.29 20 spectral strongpeak -0.28
Tabel 4.4: Top 20 geselecteerde audio features voor het even verdeelde model
Tao Cuts
• Intercept (Y ≤ 0) = −1.16 • Intercept (Y ≤ 1) = −0.42 • Intercept (Y ≤ 2) = −0.08 • Intercept (Y ≤ 3) = 1.57
Deze tao cuts zijn gewoon, je ziet vaker modellen die ongeveer deze representatie van tao cuts hebben. De middelste twee intercepts vallen rond de 0 en er zijn geen extreme uitschieters.
4.2.2
Performance
Confusion Matrix Predict 0 1 2 3 4 totaal True 0 51 33 20 13 142 259 1 50 22 12 4 127 215 2 57 21 15 14 123 230 3 50 21 20 11 128 230 4 73 44 25 15 158 315 total 281 141 92 57 678 1249Tabel 4.5: Confusion matrix van het even verdeelde model.
4.3
Modellen over Verschillende Stem Methodes
Om het verschil tussen jury-stemmen en tele-stemmen te vergelijken is de oneven verdeling van categorie¨en gebruikt, echter niet op de resulterende posities van de landen per jaar, maar op de
punten die de landen hebben gekregen van jury-stemmen en tele-stemmen per jaar. Gezien dat er pas sinds 2016 aparte data beschikbaar zijn over tele-stemmen, gaat dit model over de jaren 2016 tot en met 2019.
Jury-stemmen
Plaats Audio feature Co¨effici¨ent Waarde
1 bpm -0.60
2 bpm histogram first peak bpm -0.60 3 bpm histogram second peak bpm -0.60
4 chords key 0.56
5 spectral entropy -0.38
6 erbbands crest 0.37
7 bpm histogram second peak weight -0.35
8 erbbands flatness db 0.35
9 barkbands flatness db 0.35
10 silence rate 30dB 0.34
11 spectral spread -0.33
12 erbbands spread -0.33
13 spectral energyband low -0.30
14 zerocrossingrate -0.28
15 bpm histogram second peak spread 0.28
16 dissonance -0.27
17 spectral energy -0.27
18 erbbands kurtosis 0.26
19 melbands flatness db 0.25
20 spectral skewness 0.21
Tele-stemmen
Plaats Audio feature Co¨effici¨ent Waarde
1 melbands crest 0.72 2 melbands skewness 0.67 3 barkbands skewness 0.64 4 melbands kurtosis 0.62 5 barkbands crest 0.62 6 pitch salience -0.56 7 melbands spread -0.55
8 spectral energybandd low 0.55
9 silence rated 30dB -0.55
10 melbands flatnessd db 0.53
11 spectral rolloff -0.52
12 spectral energy 0.52
13 barkbands kurtosis 0.51
14 spectral energybandd middled low 0.51
15 beats loudness 0.49 16 spectral rms 0.48 17 zerocrossingrate -0.44 18 beats count 0.40 19 spectral centroid -0.39 20 spectral strongpeak -0.39
HOOFDSTUK 5
Conclusie en Discussie
In dit onderzoek is onderzocht in hoeverre het mogelijk is om de uitkomst van het Eurovisie Songfestival te voorspellen aan de hand van ordinale regressie op audiobestanden van alle deel-nemers aan het festival. De audiobestanden zijn in segmenten verdeeld waaruit audio features zijn gehaald; vervolgens zijn daarop verschillende methoden toegepast om ordinale modellen op te zetten. Zo is er inzicht verkregen in de vraag welke audio features invloed hebben op de uitkomst van het Songfestival. De methoden zijn de twee verschillende manieren van het verde-len van de ordinale categorie¨en, in dit onderzoek zijn dit de “oneven verdeelde categorie¨en” en de “even verdeelde categorie¨en”, beschreven in hoofdstuk 3.2.1. Andere methode om inzicht te krijgen in welke audio features belangrijk zijn is het splitsen van de stemmen in jury-stemmen en tele-stemmen, en die twee methoden te verdelen in de oneven categorie¨en. Dit toont aan of een vakjury op andere aspecten let dan de kijkers thuis.
Het eerste experiment, hoofdstuk 4.1, geeft een model dat een grote afstand laat zien tussen categorie 0 en de rest van de intercepts. Dit is weliswaar abnormaal, maar ook een teken dat het model doet wat het zou moeten doen. Het toont namelijk aan dat het speciaal is dat een datapunt categorie 0 behaalt. De audio features laten zien dat hoog scorende nummers vaak de volgende eigenschappen hebben: sterke bas, harde muziek, inconsistente muziek, muziek die alle frequenties raakt en geluid dat vervormd is, zie tabel 4.1.
De MAP voor het voorspellen van winnaars is 17%. Dat betekent dat het model de winnaar van elk jaar ergens in de top 6 heeft voorspeld. Dus voor elke ranking die het model voorspelt, zou je kunnen zeggen dat de daadwerkelijke winnaar in die top 6 staat. De recall voor probleem (categorie) 0 is 19%, van het aantal daadwerkelijke winnaars was 19% ook als winnaar voorspeld. Dat betekent dat ´e´en op de vijf keer het model de correcte winnaar weet te voorspellen. Voor probleem 3 (categorie 0 t/m 3) is de recall 63%. Dat is meer dan de helft van alle daadwerke-lijke top-10 nummers. ´E´en op de anderhalve keer van alle top-10 nummers heeft het model een datapunt correct in de top-10 geplaatst. De mediaan van aantal het deelnemers per jaar ligt op 21.5 deelnemers, daardoor ligt het recall percentage zo hoog voor probleem 3.
Het even verdeelde model toont een gelijkmatige afstand tussen de tao cuts die het model de-fini¨eren, dat is heel gewoon voor een ordinaal regressie model. Het model is dan ook algemener; alle categorie¨en bevatten ongeveer evenveel datapunten. De top 20 geselecteerde audio features toont dat de belangrijkste audio features voornamelijk gaan over algemene klanken: zerocrossin-grate, spreads, dynamic complexity (tabel 4.4). De confusion matrix (tabel 4.5) laat goed zien dat de categorie¨en zo goed als gelijk verdeeld zijn, behalve dat er meer datapunten in categorie 4 vallen. De voorspellingen zijn echter niet als verwacht, ze zijn niet gelijkmatig verdeeld. De
Dan nog de vergelijking van jury-stemmen en tele-stemmen. De vakjury stemt meer op nummers met een hoog tempo. De hoogste drie audio features voor hoog scorende nummers zijn namelijk bpm, bpm histogram first peak bpm en bpm histogram second peak bpm. De belangrijke tele-stemmen audio features zijn voornamelijk ook weer algemene klanken, net als het even verdeelde model, maar pitch salience is ook belangrijk, wat duidelijke melodie is. Er valt geen conclusie te trekken uit waar mensen thuis graag op stemmen, behalve dat het goed zingbare nummers zijn. Kortom, het oneven verdeelde ordinale regressie model presteert verrassend goed. 1 op 5 win-naars worden goed voorspeld; en anders wordt een winnaar ergens in de top 6 geplaatst door het model. Het is nog geen goed houvast voor gokkers, maar het is heel wat. Een oneven verdeeld model geeft interessantere resultaten dan een even verdeeld model; dat laatste blijkt namelijk te algemeen. Een vakjury kijkt duidelijk meer naar de muziek en in het bijzonder naar het tempo van een nummer. De stemmers thuis stemmen meer op nummers waar je goed bij mee kan zingen, maar verder is het onduidelijk wat de reden is dat ze op bepaalde nummers stemmen. Er zijn twee inzichtfoutjes gemaakt in dit onderzoek. De eerste edities van het Songfestival hadden geen halve finale en sommige zelfs niet meer dan 10 deelnemers. Hierdoor waren er voor die edities geen datapunten in categorie 4 en 5. Er is verder geen rekening gehouden met het feit dat er altijd 6 nummers standaard in de finale zitten die evengoed niet de finale hadden kunnen halen: de Big 5 en de winnaar van het voorgaande jaar.
Het is algemeen bekend dat het Songfestival niet alleen om de muziek draait [45], evenals dat er is bewezen dat er voor 20% de populariteit van muziek in het algemeen is te verklaren aan de hand van audio features [33]. Het komt wel eens voor dat een nummer niet zozeer wint omdat het een muzikaal hoogklassertje is, maar vooral omdat het optreden sensationeel was of er een diep en emotionerend verhaal achter zit of omdat de artiest interessant is. Ook politieke, culturele of geologische factoren spelen een rol. Denk bijvoorbeeld aan het stemmen op buurlanden, of dat populariteit van muziek clustert in landen [37]. In dit onderzoek wordt daar allemaal geen rekening mee gehouden, er is specifiek gekeken naar de muziek van nummers in het Eurovisie Songfestival, waarbij de ranglijsten elk jaar zijn verdeeld in categorie¨en van “winnaar”, “top 3”, “top 5”, “top 10”, “finale behaald” en “niet de finale behaald”.
In een toekomstig onderzoek zou er kunnen worden gekeken naar een andere verdeling van de categorie¨en, of een ander leeralgoritme; en zou er meer rekening kunnen worden gehouden met de net genoemde gebreken. Tezamen zou dat een model moeten opleveren dat de uitkomst beter voorspelt.
BIJLAGE A
Audio Features
Deze audio features zijn gebaseerd op de documentatie pagina van Essentia [10]. • tonal
– chords changes rate
Ratio van verschillende akkoorden. – chords histogram
Genormaliseerde histogram van akkoorden. – chords key
Akkoord sleutel, in welke toonladder de muziek zich speelt. Het meest voorkomende akkoord.
– chords number rate. Aantal akkoorden. – chords scale
Majeur of mineur. – chords strength
Sterkte van akkoorden. – hpcp
32-dimensionale harmonische pitch klas profiel. – hpcp crest
De top van de hcpc vector. – hpcp entropy
Shannon entropy van de hpcp vector. – key edma
Akkoordsleutel benadering, schaal en stertke met Edma profiel. – key krumhansl
Akkoordsleutel benadering, schaal en stertke met Krumhansl profiel. – key temperley
Akkoordsleutel benadering, schaal en stertke met Temperley profiel. – thpcp
Transpositie van de hcpc. – tuning diatonic strength
– tuning nontempered energy ratio Niet gestemde afwijking.
• rhythm
– beats count
Aantal waargenomen beats. – beats loudness
Spectrale energie gemeten per beat segment. – beats loudness band ratio
Spectrale energie gemeten per 6 frequentie bands. – beats position
Tijd posities van waargenomen beats. – bpm
Beats per minuut. – bpm histogram
Histogram van de beats per minuut. – bpm histogram first peak bpm
Hoogste piek in de beats per minuut histogram. – bpm histogram first peak spread
Verspreiding van de hoogste piek in de beats per minuut histogram. – bpm histogram first peak weight
De waarde van de hoogste piek in de beats per minuut histogram. – bpm histogram second peak bpm
Een na hoogste piek in de beats per minuut histogram. – bpm histogram second peak spread
Verspreiding van de een na hoogste piek in de beats per minuut histogram.
– bpm histogram second peak weight De waarde van de een na hoogste piek in de beats per minuut histogram.
– danceability
Hoe goed er kan worden gedanst op de muziek. – onset rate
Aantal waargenomen beginnen van een muzikale noot. • lowlevel
– average loudness Dynamische reeks. – barkbands
Spectrale energie in 27 bark-bands. Dit zijn de banden van het gehoor. – barkbands crest
De top van de gemeten energie¨en in de bark-banden. – barkbands flatness db
De vlakheid van de energie¨en gemeten in bark-banden. – barkbands kurtosis
Centraal-moment-statistiek van de gemeten energie¨en in de bark-banden. – barkbands skewness
Centraal-moment-statistiek van de gemeten energie¨en in de bark-banden. – barkbands spread
Centraal-moment-statistiek van de gemeten energie¨en in de bark-banden. – dissonance
– dynamic complexity
Dynamische complexiteit, de variatie tussen noten. – erbbands
Spectrale energy in 40 ERB-bands. Bandbreedte van de filters in het gehoord. – erbbands crest
De top van de gemeten energie¨en in de ERB-banden. – erbbands flatness db
De vlakheid van de gemeten energie¨en in de ERB-banden. – erbbands kurtosis
Centraal-moment-statistiek van de gemeten energie¨en in de ERB-banden. – erbbands skewness
Centraal-moment-statistiek van de gemeten energie¨en in de ERB-banden. – erbbands spread
Centraal-moment-statistiek van de gemeten energie¨en in de ERB-banden. – gfcc
De eerste 13 gammatoon functie cepstrum co¨effici¨enten. – hfc
Hoge frequentie descriptor. – loudness ebu128
Maximum level van audio signalen. – melbands
Spectrale energy in 40 mel-bands. Schaal van tonen die een gelijke afstand hebben. – melbands128
Spectrale energy in 128 mel-bands. – melbands crest
De top van de gemeten energie¨en in de mel-banden. – melbands flatness db
De vlakheid van de gemeten energie¨en in de mel-banden. – melbands kurtosis
Centraal-moment-statistiek van de gemeten energie¨en in de mel-banden. – melbands skewness
Centraal-moment-statistiek van de gemeten energie¨en in de mel-banden. – melbands spread
Centraal-moment-statistiek van de gemeten energie¨en in de mel-banden. – mfcc
De eerste 13 mel-freuentie cepstrum co¨effici¨enten. – pitch salience
Toonhoogtes die merkbaar zijn. – spectral centroid
Centraal-moment-statistiek die de spectrale vorm beschrijven. – spectral complexity
Spectrale complexiteit. – spectral contrast coeffs
– spectral energyband high
Spectrale energie in frequentie band 4kHZ tot 20kHz. – spectral energyband low
Spectrale energie in frequentie band 20Hz tot 150Hz. – spectral energyband middle high
Spectrale energie in frequentie band 800Hz tot 4kHz. – spectral energyband middle low
Spectrale energie in frequentie band 150Hz tot 800Hz. – spectral energy
Energie of intensiteit van het audio signaal – spectral entropy
Shannon entropy van het spectrum. – spectral flux
Meet hoe snel de energie in het audio signaal verandert. – spectral kurtosis
Centraal-moment-statistiek die de spectrale vorm beschrijven. – spectral rms
Root Mean Square, de waarde van de algemene energie over een frequentie reeks. – spectral rolloff
Een frequentie waarvan er een bepaald percentage van de totale energie is die kleiner is.
– spectral skewness
Centraal-moment-statistiek die de spectrale vorm beschrijven. – spectral spread
Centraal-moment-statistiek die de spectrale vorm beschrijven. – spectral strongpeak
Sterkste piek van het audio signaal. – silence rate 20dB
Aantal stille stukjes in het audio signaal met een drempelwaarde van 20 decibel. – silence rate 30dB
Aantal stille stukjes in het audio signaal met een drempelwaarde van 30 decibel. – silence rate 60dB
Aantal stille stukjes in het audio signaal met een drempelwaarde van 60 decibel. – zerocrossingrate
BIJLAGE B
Voorspelde Ranglijsten
B.1
2019
Plaats Voorspeld Daadwerkelijk
1 Nederland Nederland 2 Belgi¨e Itali¨e 3 Georgi¨e Rusland 4 Oostenrijk Zwitserland 5 Duitsland Zweden 6 Noord-Macedoni¨e Noorwegen 7 Denemarken Noord-Macedoni¨e 8 Tsjechi¨e Azerbeidzjan 9 Hongarije Australi¨e 10 Portugal IJsland 11 Polen Tsjechi¨e 12 Roemeni¨e Denemarken 13 Isra¨el Cyprus 14 Zwitserland Malta 15 Wit-Rusland Sloveni¨e 16 Armeni¨e Frankrijk 17 Estland Albani¨e 18 Malta Servi¨e
19 Moldavi¨e San Marino 20 Australi¨e Estland 21 Frankrijk Griekenland
22 Sloveni¨e Spanje
23 Spanje Isra¨el
24 Cyprus Wit-Rusland
25 Verenigd Koninkrijk Duitsland
26 Zweden Verenigd Koninkrijk
27 Finland Polen 28 Rusland Hongarije 29 Montenegro Litouwen 30 Servi¨e Moldavi¨e 31 Griekenland Roemeni¨e 32 Albani¨e Belgi¨e 33 Kroati¨e Kroati¨e 34 Letland Georgi¨e 35 Noorwegen Portugal 36 Itali¨e Letland 37 IJsland Armeni¨e 38 Ierland Montenegro 39 Litouwen Finland 38
B.2
2018
Plaats Voorspeld Daadwerkelijk
1 Litouwen Isra¨el 2 Portugal Cyprus 3 Duitsland Oostenrijk 4 Spanje Duitsland 5 Wit-Rusland Itali¨e 6 Montenegro Tsjechi¨e 7 Armeni¨e Zweden 8 Ierland Estland 9 IJsland Denemarken 10 Roemeni¨e Moldavi¨e 11 Estland Albani¨e 12 Georgi¨e Litouwen 13 Belgi¨e Frankrijk 14 Servi¨e Bulgarije 15 Polen Noorwegen 16 Itali¨e Ierland 17 Rusland Oekra¨ıne 18 Oostenrijk Nederland 19 Malta Servi¨e 20 Finland Australi¨e 21 Cyprus Hongarije 22 Zweden Sloveni¨e 23 Letland Spanje
24 Zwitserland Verenigd Koninkrijk 25 Griekenland Finland 26 Sloveni¨e Portugal 27 Noord-Macedoni¨e Roemeni¨e 28 Albani¨e Letland 29 Frankrijk Malta 30 Oekra¨ıne Azerbeidzjan 31 Azerbeidzjan Belgi¨e 32 San Marino Zwitserland 33 Noorwegen Griekenland
34 Isra¨el Polen
35 Verenigd Koninkrijk Armeni¨e 36 Denemarken Wit-Rusland 37 Australi¨e Rusland 38 Tsjechi¨e Kroati¨e
39 Kroati¨e Montenegro
40 Bulgarije San Marino
41 Hongarije Noord-Macedoni¨e 42 Nederland Georgi¨e
B.3
2017
Plaats Voorspeld Daadwerkelijk
1 Malta Portugal 2 Armeni¨e Bulgarije 3 Australi¨e Moldavi¨e 4 Portugal Belgi¨e 5 Bulgarije Zweden 6 Georgi¨e Itali¨e 7 Servi¨e Roemeni¨e 8 Finland Hongarije 9 Sloveni¨e Australi¨e 10 Ierland Noorwegen 11 Tsjechi¨e Nederland 12 Albani¨e Frankrijk
13 Verenigd Koninkrijk Kroati¨e 14 Oekra¨ıne Azerbeidzjan 15 Letland Verenigd Koninkrijk 16 Hongarije Oostenrijk 17 Moldavi¨e Wit-Rusland 18 Griekenland Armeni¨e 19 Kroati¨e Griekenland 20 Zwitserland Denemarken 21 Noord-Macedoni¨e Cyprus 22 Duitsland Polen 23 Nederland Isra¨el 24 Noorwegen Oekra¨ıne 25 Isra¨el Duitsland 26 Frankrijk Spanje 27 Polen Georgi¨e 28 Oostenrijk Servi¨e 29 Belgi¨e Zwitserland 30 Montenegro Finland 31 Estland Ierland 32 Spanje Estland 33 Roemeni¨e Tsjechi¨e 34 Zweden Albani¨e 35 Itali¨e Noord-Macedoni¨e 36 San Marino IJsland
37 Wit-Rusland Montenegro
38 IJsland Malta
39 Denemarken Litouwen
40 Litouwen Sloveni¨e
41 Cyprus Letland
B.4
2016
Plaats Voorspeld Daadwerkelijk
1 Litouwen Oekra¨ıne 2 Estland Australi¨e 3 Isra¨el Rusland 4 Wit-Rusland Bulgarije 5 Duitsland Zweden 6 IJsland Frankrijk 7 Albani¨e Armeni¨e 8 Ierland Polen 9 Griekenland Litouwen 10 Zweden Belgi¨e 11 Noord-Macedoni¨e Nederland 12 Azerbeidzjan Malta 13 Oekra¨ıne Oostenrijk 14 Australi¨e Isra¨el 15 Moldavi¨e Letland 16 Polen Itali¨e 17 Rusland Azerbeidzjan 18 Hongarije Servi¨e 19 Nederland Hongarije 20 Frankrijk Georgi¨e 21 Finland Cyprus 22 Spanje Spanje 23 Itali¨e Kroati¨e
24 Servi¨e Verenigd Koninkrijk 25 Noorwegen Tsjechi¨e
26 Oostenrijk Duitsland
27 Tsjechi¨e Bosni¨e en Herzegovina 28 Verenigd Koninkrijk Noord-Macedoni¨e
29 Sloveni¨e Wit-Rusland
30 Bulgarije San Marino
31 San Marino Noorwegen
32 Kroati¨e Montenegro 33 Armeni¨e Sloveni¨e 34 Malta IJsland 35 Belgi¨e Finland 36 Montenegro Ierland 37 Cyprus Albani¨e 38 Georgi¨e Griekenland
39 Bosni¨e en Herzegovina Denemarken
40 Letland Moldavi¨e
41 Denemarken Zwitserland
B.5
2015
Plaats Voorspeld Daadwerkelijk
1 Polen Zweden 2 Wit-Rusland Rusland 3 Montenegro Itali¨e 4 Azerbeidzjan Belgi¨e 5 Noord-Macedoni¨e Australi¨e 6 Roemeni¨e Letland 7 Tsjechi¨e Estland 8 Spanje Noorwegen 9 Noorwegen Isra¨el 10 Ierland Servi¨e 11 Nederland Georgi¨e 12 Hongarije Azerbeidzjan 13 Servi¨e Montenegro 14 Isra¨el Sloveni¨e 15 Oostenrijk Roemeni¨e 16 Denemarken Armeni¨e 17 Frankrijk Albani¨e 18 Itali¨e Litouwen 19 Griekenland Griekenland 20 Armeni¨e Hongarije 21 Litouwen Spanje 22 Sloveni¨e Cyprus 23 Zweden Polen
24 San Marino Verenigd Koninkrijk
25 Duitsland Frankrijk 26 Cyprus Duitsland 27 Albani¨e Oostenrijk 28 Australi¨e Malta 29 IJsland Moldavi¨e 30 Estland Wit-Rusland
31 Verenigd Koninkrijk Ierland
32 Rusland Denemarken 33 Letland Nederland 34 Zwitserland Tsjechi¨e 35 Portugal Noord-Macedoni¨e 36 Malta Portugal 37 Georgi¨e IJsland 38 Moldavi¨e Finland
39 Finland San Marino
B.6
2014
Plaats Voorspeld Daadwerkelijk
1 Noorwegen Oostenrijk 2 Armeni¨e Nederland 3 Zweden Zweden 4 Azerbeidzjan Armeni¨e 5 Belgi¨e Hongarije 6 Montenegro Oekra¨ıne 7 Spanje Rusland 8 Nederland Noorwegen 9 Albani¨e Denemarken 10 Zwitserland Spanje 11 Oostenrijk Finland 12 Finland Roemeni¨e 13 Letland Zwitserland 14 Duitsland Polen 15 Roemeni¨e IJsland 16 Estland Wit-Rusland
17 San Marino Verenigd Koninkrijk 18 Moldavi¨e Duitsland 19 Griekenland Montenegro 20 Sloveni¨e Griekenland 21 Portugal Itali¨e 22 Frankrijk Azerbeidzjan 23 Oekra¨ıne Malta
24 Itali¨e San Marino
25 Malta Sloveni¨e
26 Polen Frankrijk
27 Georgi¨e Portugal
28 Wit-Rusland Estland 29 Verenigd Koninkrijk Litouwen
30 Isra¨el Ierland 31 Rusland Letland 32 Ierland Noord-Macedoni¨e 33 Litouwen Belgi¨e 34 IJsland Albani¨e 35 Hongarije Isra¨el 36 Denemarken Georgi¨e 37 Noord-Macedoni¨e Moldavi¨e
B.7
2013
Plaats Voorspeld Daadwerkelijk
1 Estland Denemarken 2 Moldavi¨e Azerbeidzjan 3 Letland Oekra¨ıne 4 IJsland Noorwegen 5 Cyprus Rusland 6 Oekra¨ıne Griekenland 7 Nederland Itali¨e 8 Noord-Macedoni¨e Malta 9 Georgi¨e Nederland 10 Itali¨e Hongarije 11 Denemarken Moldavi¨e 12 Servi¨e Belgi¨e 13 Albani¨e Roemeni¨e 14 Finland Zweden 15 Noorwegen Georgi¨e 16 Azerbeidzjan Wit-Rusland 17 Rusland IJsland
18 San Marino Armeni¨e
19 Malta Verenigd Koninkrijk
20 Belgi¨e Estland 21 Kroati¨e Duitsland 22 Spanje Litouwen 23 Roemeni¨e Frankrijk 24 Isra¨el Finland 25 Griekenland Spanje 26 Verenigd Koninkrijk Ierland
27 Frankrijk San Marino
28 Bulgarije Servi¨e 29 Sloveni¨e Bulgarije 30 Zweden Montenegro 31 Litouwen Zwitserland 32 Hongarije Isra¨el 33 Oostenrijk Kroati¨e 34 Armeni¨e Albani¨e 35 Ierland Noord-Macedoni¨e 36 Wit-Rusland Oostenrijk 37 Duitsland Letland 38 Zwitserland Cyprus 39 Montenegro Sloveni¨e
B.8
2012
Plaats Voorspeld Daadwerkelijk
1 Belgi¨e Zweden 2 Albani¨e Rusland 3 Servi¨e Servi¨e 4 Estland Azerbeidzjan 5 Kroati¨e Albani¨e 6 Noord-Macedoni¨e Estland 7 Denemarken Turkije
8 Verenigd Koninkrijk Duitsland
9 Hongarije Itali¨e 10 Itali¨e Spanje 11 Litouwen Moldavi¨e 12 Spanje Roemeni¨e 13 Azerbeidzjan Noord-Macedoni¨e 14 Slowakije Litouwen 15 Portugal Oekra¨ıne 16 Finland Cyprus
17 Bosni¨e en Herzegovina Griekenland
18 Zweden Bosni¨e en Herzegovina
19 Rusland Ierland 20 Sloveni¨e IJsland 21 Oekra¨ıne Malta 22 Montenegro Frankrijk 23 Turkije Denemarken 24 Nederland Hongarije
25 Wit-Rusland Verenigd Koninkrijk
26 IJsland Noorwegen
27 Roemeni¨e Zwitserland
28 Isra¨el Bulgarije
29 Georgi¨e Kroati¨e
30 San Marino Finland
31 Moldavi¨e Portugal
32 Duitsland Georgi¨e
33 Frankrijk Nederland
34 Griekenland Wit-Rusland 35 Zwitserland Isra¨el
36 Noorwegen San Marino
37 Bulgarije Sloveni¨e 38 Malta Slowakije 39 Cyprus Montenegro 40 Ierland Letland 41 Letland Belgi¨e 42 Oostenrijk Oostenrijk
B.9
2011
Plaats Voorspeld Daadwerkelijk
1 Litouwen Azerbeidzjan
2 Nederland Itali¨e
3 Estland Zweden
4 Armeni¨e Oekra¨ıne
5 Itali¨e Denemarken
6 Frankrijk Bosni¨e en Herzegovina
7 Oostenrijk Griekenland
8 Slowakije Ierland
9 Oekra¨ıne Georgi¨e
10 Rusland Duitsland
11 San Marino Verenigd Koninkrijk 12 Moldavi¨e Moldavi¨e
13 Zwitserland Sloveni¨e
14 Turkije Servi¨e
15 Albani¨e Frankrijk
16 Bosni¨e en Herzegovina Rusland 17 Azerbeidzjan Roemeni¨e 18 Georgi¨e Oostenrijk 19 Isra¨el Litouwen 20 Cyprus IJsland 21 Duitsland Finland 22 Roemeni¨e Hongarije 23 Denemarken Spanje 24 Finland Estland
25 Verenigd Koninkrijk Zwitserland
26 Malta Malta 27 IJsland Armeni¨e 28 Belgi¨e Belgi¨e 29 Sloveni¨e Bulgarije 30 Hongarije Slowakije 31 Servi¨e Turkije 32 Kroati¨e Albani¨e 33 Noorwegen Wit-Rusland 34 Bulgarije Kroati¨e 35 Portugal Isra¨el 36 Spanje Noord-Macedoni¨e
37 Noord-Macedoni¨e San Marino
38 Wit-Rusland Noorwegen 39 Griekenland Letland 40 Polen Portugal 41 Zweden Polen 42 Ierland Cyprus 43 Letland Nederland
B.10
2010
Plaats Voorspeld Daadwerkelijk
1 Estland Duitsland 2 Noorwegen Turkije 3 Georgi¨e Roemeni¨e 4 Ierland Denemarken 5 Oekra¨ıne Azerbeidzjan 6 Azerbeidzjan Belgi¨e 7 Belgi¨e Armeni¨e 8 Isra¨el Griekenland 9 Armeni¨e Georgi¨e 10 Portugal Oekra¨ıne 11 Bulgarije Rusland 12 Spanje Frankrijk 13 Zweden Servi¨e
14 Verenigd Koninkrijk Isra¨el
15 Wit-Rusland Spanje
16 Cyprus Albani¨e
17 Kroati¨e Bosni¨e en Herzegovina 18 Bosni¨e en Herzegovina Portugal
19 Moldavi¨e IJsland 20 Denemarken Noorwegen 21 Rusland Cyprus 22 Turkije Moldavi¨e 23 Finland Ierland 24 Roemeni¨e Wit-Rusland
25 IJsland Verenigd Koninkrijk
26 Malta Zweden 27 Sloveni¨e Finland 28 Zwitserland Malta 29 Frankrijk Polen 30 Nederland Litouwen 31 Noord-Macedoni¨e Estland 32 Polen Noord-Macedoni¨e 33 Slowakije Kroati¨e 34 Duitsland Nederland 35 Servi¨e Slowakije 36 Letland Bulgarije 37 Griekenland Letland 38 Litouwen Sloveni¨e 39 Albani¨e Zwitserland
Bibliografie
[1] 2019 Odds Eurovision World. https://eurovisionworld.com/odds/eurovision.
[2] Analysing Ten Years of Eurovision Odds: Why they Are a Good but Imperfect Indicator Escxtra. https://escxtra.com/2017/03/16/ analysing-ten-years-eurovision-odds-good-imperfect-indicator.
[3] Big Five Eurovision Song Contest Fandom. https://eurosong-contest.fandom.com/ wiki/Big_Five.
[4] Essentia Library. http://essentia.upf.edu.
[5] Eurovision Odds Eurovisionworld. https://eurovisionworld.com/odds.
[6] Final of Lugano 1956 Eurovision Song Contest. https://eurovision.tv/event/ lugano-1956/final.
[7] Generalized Linear Model (GLM) H2O 3.26.0.10 documentation. http://docs.h2o.ai/ h2o/latest-stable/h2o-docs/data-science/glm.html#.
[8] History by Events Eurovision Song Contest. https://eurovision.tv/events.
[9] How it works Eurovision Song Contest. https://eurovision.tv/about/how-it-works. [10] Music Extractor Essentia Library. https://essentia.upf.edu/documentation/
streaming_extractor_music.html.
[11] Regularization in Machine Learning and Deep Learning Medium. https://medium.com/
analytics-vidhya/regularization-in-machine-learning-and-deep-learning-f5fa06a3e58a. [12] Rules Eurovision Song Contest. https://eurovision.tv/about/rules.
[13] SBiC Essentia Library. https://essentia.upf.edu/documentation/reference/std_ SBic.html.
[14] Audio Segmentation Toolkit Release 1.2. https://gforge.inria.fr/frs/download.php/25187/audioseg-1.2.pdf., 2010.
[15] Michael A Babyak. What You See May Not Be What You Get: A Brief, Nontechnical Introduction to Overfitting in Regression-Type Models. Psychosomatic Medicine, 66(3):411– 421, 2004.
[16] Marta Blangiardo and Gianluca Baio. Evidence ofBias in the Eurovision Song Contest: Modelling the Votes using Bayesian Hierarchical Models. Journal of Applied Statistics, 41(10):2312–2322, 2014.
[18] Nicholas Borg and George Hokkanen. What Makes for a Hit Pop Song? What Makes for a Pop Song. Unpublished Thesis, Stanford University, California, USA, 2011.
[19] Arno Candel, Viraj Parmar, Erin LeDell, and Anisha Arora. Deep Learning with H2O. H2O. ai Inc, 2016.
[20] Stengos Clerides, Sofronis and Thanasis. Love Thy Neighbor, Love Thy Kin: Voting Biases in the Eurovision Song Contest. Technical report, University of Cyprus Department of Economics, 2006.
[21] Anthony Dekker. The Eurovision Song Contest as a ‘Friendship’network. Connections, 27(3):53–58, 2007.
[22] Ruth Dhanaraj and Beth Logan. Automatic Prediction of Hit Songs. In ISMIR, pages 488–491, 2005.
[23] Jerome Friedman, Trevor Hastie, and Rob Tibshirani. Regularization Paths for Generalized Linear Models via Coordinate Descent. Journal of Statistical Software, 33(1):1, 2010. [24] Victor A. Ginsburgh and Abdul Noury. Cultural Voting: The Eurovision Song Contest.
2005.
[25] Marco A. Haan, S. Gerhard Dijkstra, and Peter T. Dijkstra. Expert Judgment Versus Public Opinion – Evidence from the Eurovision Song Contest. Journal of Cultural Economics, 29(1):59–78, Feb 2005.
[26] Frank E. Harrell, Jr. Regression Modeling Strategies With Applications to Linear Models, Logistic and Ordinal Regression, and Survival Analysis. Springer Series in Statistics. Sprin-ger International Publishing, Cham, 2nd ed. 2015. edition, 2015.
[27] Dorien Herremans, David Martens, and Kenneth S¨orensen. Dance Hit Song Prediction. Journal of New Music Research, 43(3):291–302, 2014.
[28] Peter Howarth and Stefan R¨uger. Fractional distance measures for content-based image retrieval. In Advances in Information Retrieval: 27th European Conference on IR Research, ECIR 2005, Santiago de Compostela, Spain, March 21-23, 2005. Proceedings, volume 3408 of Lecture Notes in Computer Science, pages 447,456. Springer Berlin Heidelberg, Berlin, Heidelberg, 2005.
[29] Gareth James, Daniela Witten, Trevor Hastie, and Robert Tibshirani. An Introduction to Statistical Learning, volume 112. Springer, 2013.
[30] Junghyuk Lee and Jong-Seok Lee. Predicting Music Popularity Patterns Based on Musical Complexity and Early Stage Popularity. In Proceedings of the Third Edition Workshop on Speech, Language & Audio in Multimedia, SLAM ’15, pages 3–6, New York, NY, USA, 2015. ACM.
[31] Daniel M. McNeish. Using Lasso for Predictor Selection and to Assuage Overfitting: A Me-thod Long Overlooked in Behavioral Sciences. Multivariate Behavioral Research, 50(5):471– 484, 2015. PMID: 26610247.
[32] Yizhao Ni, Raul Santos-Rodriguez, Matt Mcvicar, and Tijl De Bie. Hit Song Science Once again a Science. In 4th International Workshop on Machine Learning and Music. Citeseer, 2011.
[33] Rutger Nijkamp. Prediction of Product Success: Explaining Song Popularity by Audio Features from Spotify data, July 2018.
[34] Geoffroy Peeters. A Large Set of Audio Features for Sound Description (Similarity and Classification) in the CUIDADO Project. CUIDADO IST Project Report, 54(0):1–25, 2004.
[35] Jose Manuel Pereira, Mario Basto, and Amelia Ferreira da Silva. The Logistic Lasso and Ridge Regression in Predicting Corporate Failure. Procedia Economics and Finance, 39:634– 641, 2016.
[36] James Pham, Edric Kyauk, and Edwin Park. Predicting Song Popularity. nd): n. pag. Web, 26, 2016.
[37] Laura Pollacci, Riccardo Guidotti, Giulio Rossetti, Fosca Giannotti, and Dino Pedreschi. The Fractal Dimension of Music: Geography, Popularity and Sentiment Analysis. In In-ternational Conference on Smart Objects and Technologies for Social Good, pages 183–194. Springer, 2017.
[38] David Martin Powers. Evaluation: From Precision,Recall and F-measure to ROC, Infor-medness, Markedness and Correlation. 2011.
[39] Payam Refaeilzadeh, Lei Tang, and Huan Liu. Cross-Validation, pages 532–538. Springer US, Boston, MA, 2009.
[40] Abhishek Singhi and Daniel G Brown. Hit Song Detection using Lyric Features Alone. Proceedings of International Society for Music Information Retrieval, 2014.
[41] Laura Spierdijk and Michel Vellekoop. Geography, Culture, and Religion: Explaining the Bias in Eurovision Song Contest Voting. Enschede: Department of Applied Mathematics, University of Twente, page 33, 2006.
[42] Wikipedia-bijdragers. Logistische Regressie — Wikipedia, De Vrije Encyclopedie, 2019. [Online; accessed 16-juli-2019].
[43] Wikipedia contributors. Evaluation Measures (Information Retrieval) — Wikipedia, The Free Encyclopedia. https://en.wikipedia.org/w/index.php?title=Evaluation_ measures_(information_retrieval)&oldid=916698026, 2019. [Online; accessed 10-December-2019].
[44] Wikipedia contributors. Ordinal Regression — Wikipedia, The Free Encyclopedia, 2019. [Online; accessed 12-December-2019].
[45] Irving Wolther. More Than Just Music: The Seven Dimensions of the Eurovision Song Contest. Popular Music, 31(1):165–171, 2012.
