4. RESULTATEN
4.1 ONCE UPON A TIME…IN HOLLYWOOD (COMEDY/DRAMA, 2019)
4.1.1 Korte beschrijving
Once Upon a Time in Hollywood is een tragikomedie die geregisseerd werd door Quentin Tarantino. Het verhaal speelt zich af in het Los Angeles van 1969, waar een acteur en zijn stuntman hun plek proberen te veroveren in de filmindustrie. De film is een melancholische terugblik op een industrie die in de afgelopen 50 jaar sterk veranderd is. De reviews die voor de testen zijn opgenomen bestaan uit 500 positieve en 500 negatieve reviews, allemaal met een rating van 10 of 1.
4.1.2 Samenvatting testfase
Tabel 3: Samenvatting testfase Once Upon a Time in Hollywood Test Algoritme IDTFT Lower
-case Stem- mer SW Handler Max. # words Token Accuracy/ ROC-Area 1 Beslissings- boom
False True Null Null 1000 Words 80.1% 0.845 4 Simple
Logistic
False True Null Null 1000 Words 88.5% 0.953 5 Support
vector machines
False True Null Null 1000 Words 88% 0.880
8 KNN
(K=10)
False True Null Null 1000 Words 77.7 0.866
19 Naive Bayes (MN)
False True Null Null 1000 Alpha- betic
92.7% 0.972
Tabel 3 toont aan dat het meest accurate model wordt behaald met het Naive Bayes algoritme en de Alphabetic tokenizer. Dit model maakt noch gebruik van een stemmer, noch van een stopwoordenlijst. Het gebruik van die laatste twee zorgt telkens voor een klein doch negatief effect op de accuraatheid en ROC-waarde. Het valt op dat het verschil in accuraatheid tussen de verschillende algoritmes vrij substantieel is. Het k-nearest neighbor (KNN) algoritme lijkt hier op het eerste zicht vrij slecht te scoren, ongeacht naar hoeveel neighbors er gezocht wordt. Het aantal neighbors heeft wel degelijk invloed, maar zelfs bij een optimaal aantal komt de
accuraatheid niet in de buurt van die van de betere algoritmes.
Wat ook opvalt aan deze testfase is dat, ondanks het feit dat de resultaten in testen 15, 16 en 17 nagenoeg hetzelfde lijken, de confusion-matrices er toch volledig anders uitzien. Zo zijn er in test 15 zo’n 35 valse negatieve, in test 16 zijn dat er maar 28 en in test 17 zijn het er 26.
Aangezien een (valse) negatieve voor deze tests geen groter of kleiner belang heeft dan een (valse) positieve, worden deze modellen als gelijkwaardig beschouwd.
4.1.3 Confusion-matrix van het meest accurate model
Tabel 4: Confusion-matrix Once Upon a Time in Hollywood
Voorspeld: positief Voorspeld: negatief
Werkelijk: Positief 465 35
Werkelijk: Negatief 39 461
Tabel 4 geeft de confusion-matrix weer van het model dat van alle modellen voor de hoogste accuraatheid zorgt. Wat volgt zijn vier reviews die elk in een verschillend kwadrant van de confusion-matrix zijn ingedeeld.
• Voorbeeld van een correct positief geclassificeerde review:
“After just watching it I need a day or two to process everthing. I loved it and every minute of it. I'm sorry some did not enjoy this remarkable film but it was a brilliant
cinematic experience I've had in a very long time. I just simply wanted to leave this: Brad Pitt's character is a legend!! I found his scenes the most enjoyable and feel like his
• Voorbeeld van een correct negatief geclassificeerde review:
“I love watching quality movies, but this one ... It was the first time i had to walk out the cinema because i felt like i was gonna fall asleep. Half the people there walked out as well.”
• Voorbeeld van een vals positief geclassificeerde review:
“Leonardo DiCaprio, Brad Pitt, Margot Robbie are three of my favorite actors. However, in the previews I did not realize this was a gruesome semi-true story of what happened to Sharon Tate and others, until I had invested all of my time in the film. What started off as a 75% great film ended in a gruesome and unwatchable horror film that I had to turn off. The preview showing for this movie made no correlation that it would end as a horror film based on the charles manson murder in Hollywood. Gross film, don't know how people can watch horror and rate it as a good film. Disgusted”
• Voorbeeld van een vals negatief geclassificeerde review:
“The only bad thing about this movie is that we only have one Quentin Tarantino movie left.”
Op de correct geclassificeerde reviews valt weinig aan te merken. Het model slaagt erin om, ondanks een aantal schrijffouten, toch de juiste klasse toe te kennen aan beide reviews. De reden dat de derde review verkeerdelijk als positief geclassificeerd wordt, lijkt de samenstelling van de review te zijn. De review begint namelijk met een positieve noot over de acteurs en ook verder in de tekst wordt gesproken over “a 75% great film”. De foutief negatief geclassificeerde review lijkt dan weer om een andere reden in de verkeerde klasse te zitten. De review is namelijk vrij kort en bevat slechts één negatief statement. Dat dit statement een sarcastische ondertoon heeft, is door Weka niet te detecteren.
4.1.4 Information Gain
Tabel 5: Information Gain Once Upon a Time in Hollywood (hoge scores)
Score Woord Score Woord
0.10895 boring 0.10081 best 0.10007 waste 0.10007 worst 0.07298 tarantino 0.06895 hollywood 0.06852 masterpiece 0.06366 love 0.05914 brad 0.05846 rick 0.05809 amazing 0.05324 money 0.05176 ending 0.0504 pitt 0.0481 cliff 0.04783 dalton 0.04551 once 0.04517 dicaprio 0.04434 loved 0.04401 s
Tabel 6: Information Gain Once Upon a Time in Hollywood (lage scores)
Score Woord Score Woord
0 poor 0 positive 0 pretty 0 painful 0 satisfied 0 sad 0 insult 0 nonsense 0 misleading 0 wastes 0 tedious 0 enjoyable 0 horrible 0.00301 disgusting
Op vlak van woorden die zorgen voor een duidelijk onderscheid tussen positieve en negatieve reviews, zien we in tabel 6 een aantal logische woorden zoals “boring”, “best”, “waste”, “worst” en “masterpiece” die elk een duidelijke positieve of negatieve ervaring uitdrukken. Daarnaast zien we ook dat een aantal protagonisten relevant zijn voor het onderscheid: acteurs “pitt” en “dicaprio”, regisseur “tarantino” en hoofdpersonage “rick” “dalton”. Op basis van de alfabetische tokenizer maakt het model hier de opsplitsing tussen “rick” en “dalton”, terwijl deze wel bij elkaar lijken te horen. Hoewel de N-gram tokenizer deze twee woorden wel samenneemt, levert dit geen hogere accuraatheid op.
Wat opvalt aan de woorden met een lage onderscheidingskracht zien we in tabel 7 bij de score van “wastes”. “Waste” als zelfstandig naamwoord heeft namelijk een vrij hoge
onderscheidingskracht, terwijl een vervoeging van het werkwoord “to waste” niet zorgt voor een onderscheid tussen positief en negatief.