AI-Algoritmes in de Maatschappelijke Context
Een onderzoek naar vertrouwen onder Nederlandstalige studenten
Julia van Oosten
11876204
26-06-2020
Begeleider: Loek Stolwijk
2e Examinator: Roman Pankow
Bachelorscriptie Informatiekunde
Faculteit der Natuurwetenschappen, Wiskunde en Informatica
Universiteit van Amsterdam
Voorwoord
Deze scriptie is geschreven in kader van mijn afstuderen aan de Universiteit van Amsterdam. Het schrijfproces begon in februari 2020 en eindigde in juni 2020.
Gedurende het hele onderzoek werd ik begeleid door Loek Stolwijk. Voor iedere vraag kon ik bij mijn scriptiebegeleider terecht en hier heb ik dan ook uitvoerig gebruik van gemaakt. Het beantwoorden van de onderzoeksvraag was namelijk best een flinke uitdaging. Ik gebruikte immers een voor mij
onbekende, statistische methode op aanraden van mijn scriptiebegeleider. Uiteindelijk ben ik zeer tevreden met het resultaat. De onderzoeksvraag heb ik uitgebreid kunnen beantwoorden met behulp van survey-onderzoek waarna de data geanalyseerd is met verschillende statistische methoden.
Ik wil graag mijn scriptiebegeleider bedanken voor zijn enthousiasme en uitgebreide steun tijdens dit project. Ook wil ik mijn tweede examinator, Roman Pankow, bedanken voor zijn interesse en
enthousiasme. Verder had dit onderzoek niet uitgevoerd kunnen worden zonder de vele respondenten, vaak collega’s, vrienden en kennissen. Veel dank daarvoor! Ook wil ik mijn vrienden bedanken waarmee ik altijd kon sparren en discussiëren. Door hen kwam ik dikwijls tot nieuwe inzichten tijdens het onderzoeksproces. Tot slot wil ik mijn ouders bedanken voor de onvoorwaardelijke steun die ik van hen heb mogen ontvangen tijdens dit proces. Vooral mijn vader, Anton van Oosten, dacht vaak met mij mee. Zonder al deze mensen had ik dit onderzoek nooit tot een goed einde kunnen brengen.
Ik wens u veel leesplezier toe.
Julia van Oosten
Samenvatting
De opkomst van Big Data en AI heeft geleid tot vele, innovatieve toepassingen binnen verschillende sectoren. Één van die sectoren is de maatschappelijke sector. Algoritmes zoals COMPAS en PredPol worden ingezet ter ondersteuning of zelfs vervanging van het maken van belangrijke, maatschappelijke beslissingen. Deze algoritmes zijn echter niet zonder gevaren. Als AI-algoritmes getraind zijn op bevooroordeelde data kunnen zij ook bevooroordeeld handelen. Bovendien wordt de output van AI-algoritmes vaak onterecht aangezien voor objectief.
Het doel van dit onderzoek is om te achterhalen hoe het met het vertrouwen in deze technologie bij Nederlandstalige studenten gesteld is. Hiervoor is de volgende onderzoeksvraag opgesteld: “Welke factoren beïnvloeden het vertrouwen van studenten in AI-algoritmes in de maatschappelijke context?”. Aan deze vraag zijn de volgende deelvragen toegevoegd: “Welke rol speelt objectiviteit bij het
vertrouwen van studenten in AI-algoritmes in de maatschappelijke context?” en “In hoeverre verschilt dit vertrouwen tussen IT- en overige studenten?”. Een algoritme is objectief als de output bepaald wordt aan de hand van feiten en verder niet beïnvloed wordt door meningen, perceptie of emoties.
Om de onderzoeksvraag te kunnen beantwoorden is er een conceptueel model opgesteld op basis van een gevalideerd model van vertrouwen in technologie van Gulati et al. (2019). Hieraan is de component Objectiviteit toegevoegd. Vervolgens is het conceptueel model bevraagd met behulp van een enquête. De vragen uit de enquête kwamen uit de gevalideerde vragenlijst behorende bij het model. Verder zijn hier vragen omtrent Objectiviteit aan toegevoegd. De relaties tussen de componenten in het model en Vertrouwen zijn getoetst met behulp van de functies PLS calculate en multi-group analysis binnen het programma SmartPLS. Mogelijke verschillen tussen de IT- en overige studenten zijn getoetst met de t-toets in SPSS. Uit de resultaten bleek dat Wederkerigheid, Competentie en Waargenomen Risico het Vertrouwen beïnvloeden. De relatie tussen Objectiviteit en Vertrouwen was bijna significant. Tussen de twee groepen zat er weinig verschil. Op de component Competentie scoorden IT-studenten hoger binnen het model. Ook op een stelling omtrent Objectiviteit scoorden IT-studenten significant hoger.
Op basis van de resultaten wordt aanbevolen om meer bewustzijn te creëren onder alle studenten over de mogelijke gevaren van AI-algoritmes in de maatschappelijke sector of context. Het bleek namelijk dat zowel IT-studenten als studenten uit andere richtingen gevoelig zijn voor de illusie van objectiviteit (zie thesis). Er zou vervolgonderzoek kunnen worden gedaan naar de invloed van Objectiviteit op
Vertrouwen. Ook kan er verder onderzoek worden gedaan naar mogelijke andere factoren op Vertrouwen. Dit bijvoorbeeld met behulp van interviews.
De Inhoudsopgave
Voorwoord ... 3
Samenvatting ... 4
De Inhoudsopgave ... 6
Inleiding ... 8
1. Big data: definitie en technologische ontwikkelingen ... 8
2. AI-algoritmes en hun toepassingen ... 8
2.1. COMPAS ... 9
2.2. PredPol ... 10
2.3. Over discriminatie en objectiviteit bij AI-algoritmes ... 11
De Onderzoeksvraag ... 12
Methode ... 13
1. Proefpersonen ... 13
2. Design ... 13
2.1. Het conceptueel model ... 13
2.2. Het conceptueel model - Over de enquêtevragen ... 16
3. Procedure ... 17
4. Validiteit en Betrouwbaarheid van het onderzoek ... 17
Resultaten ... 19
1. Descriptives ... 19
1.1. Beschrijving van de steekproef ... 19
1.2. Descriptives per stelling ... 19
2. Het Conceptueel Model ... 20
2.1. Betrouwbaarheid en validiteit van het conceptueel model ... 20
2.2. Het toetsen van het conceptueel model ... 24
3. Het Definitieve model ... 27
3.1. Betrouwbaarheid en validiteit van het definitieve model ... 27
3.2. Het toetsen van de hypotheses op het definitieve model ... 29
4. De vergelijking tussen de twee groepen ... 29
4.1. De onafhankelijke t-toets per stelling ... 30
4.2. De onafhankelijke t-toets per component ... 33
4.3. De multi-group analysis ... 34
1.1. Welke factoren beïnvloeden het vertrouwen van studenten in AI-algoritmes in de
maatschappelijke context? ... 35
1.2. Discussie met betrekking tot de onderzoeksvraag en deelvraag ... 35
2.1. In hoeverre verschilt dit vertrouwen tussen IT- en overige studenten? ... 37
2.2. Discussie met betrekking tot de deelvraag ... 38
3. Overige Beperkingen ... 39
Conclusie ... 40
Bronnen ... 41
Inleiding
1. Big data: definitie en technologische ontwikkelingen
Er zijn meerdere definities te vinden voor Big Data. Volgens Wu et al. (2013) betreft Big data constant groeiende, grote, gecompliceerde datasets die tegelijkertijd en vanuit verschillende autonome bronnen gegenereerd kunnen worden. Een andere veelvoorkomende definitie van big data, zoals hier gegeven door Russom (2011), is gebaseerd op de 3V’s, namelijk volume, variety en velocity. Het volume duidt op de grote hoeveelheid data die wordt opgeslagen door verschillende organisaties. De variety doelt op de verscheidenheid aan bronnen en datatypes binnen big data. Ten slotte wijst de velocity op de snelheid waarin deze data wordt gegenereerd en opgeslagen. In kader van dit onderzoek wordt een ingekorte samenvatting van deze voorgaande definities gehanteerd, namelijk: “big data is data, bestaande uit diverse datatypes uit verscheidene bronnen, dat met hoge snelheid in grote volumes gegenereerd wordt”.
De ontwikkeling van cloud computing, waarbij data niet meer opgeslagen wordt op lokale servers maar op de cloud, maakt het mogelijk om big data toe te passen in verschillende sectoren en organisaties. Eerdere beperkingen om grote hoeveelheden data op te slaan, zoals opslagcapaciteit, worden namelijk tenietgedaan (Wu et al., 2013). De toegankelijkheid van grote hoeveelheden data is dus verbeterd. Door onder andere deze technologische ontwikkeling groeit de hoeveelheid gegenereerde data per jaar exponentieel. Deze data komt onder andere van persoonlijke apparaten zoals smartphones en tablets. Opgeslagen data uit verschillende bronnen kan vervolgens worden gebruikt door organisaties om bepaalde beslissingen te maken of te ondersteunen. Een van de doelen van dit proces is de efficiëntie binnen de organisatie te verhogen en dus kosten te besparen (Villars et al., 2011).
2. AI-algoritmes en hun toepassingen
In de retailsector wordt data vaak verzameld om het gedrag van consumenten te ontdekken, voorspellen en te beïnvloeden. Consumenten worden geprofileerd en daarna worden producten aanbevolen op basis van de data die over hen beschikbaar is. Dit soort aanbevelingssystemen worden gecreëerd met artificial
intelligent (AI) of kunstmatig intelligente algoritmes die steeds beter worden door de constante stroom van nieuwe data over de gebruiker of soortgelijke gebruikers (McAfee et al., 2012).
Deze thesis is echter toegespitst op de toepassing van algoritmes en geautomatiseerde beslissingen die gebaseerd zijn op big data in de maatschappelijke sector. Deelgebieden van de
naatschappelijke sector over de hele wereld waar deze technologieën in voorkomen, zijn onder andere de gezondheidszorg, handhaving, huisvesting en financiën. Het onderzoeksonderwerp dat in deze thesis aan bod zal komen, namelijk vertrouwen in AI-algoritmes gebaseerd op big data in de maatschappelijke context, is een maatschappelijk relevant onderzoeksonderwerp. De motivatie is dat algoritmes in deze sectoren een grote impact kunnen hebben op het leven van het individu. Als deze algoritmes
discrimineren op basis van bv. ras, etniciteit, gezondheid, geslacht of financiële achtergrond, beïnvloedt dit het welzijn van een individu namelijk op een negatieve manier (Haijan et al., 2016). In de volgende alinea’s zullen er enkele voorbeelden worden gegeven van AI-algoritmes in de maatschappelijke sector, namelijk de handhavingsector. Er worden hier twee voorbeelden van Predictive policing software aangehaald. Predictive policing software is een verzameling van verschillende AI-algoritmes die gebruikt worden door de politie in verschillende Amerikaanse staten. Deze algoritmes hebben als doel bepaalde patronen in data te herkennen en reproduceren. Deze algoritmes worden getraind op voorgaand verzamelde data, dus in dit geval gegenereerd uit het handelen van politieagenten, rechters, etc. Als deze data bevooroordeeld zijn, e.g. door bevooroordeelde rechters, zal het algoritme ook bevooroordeeld zijn (Lum & Isaac, 2016).
2.1.
COMPAS
Er zijn verschillende situaties waarin algoritmes, gebaseerd op big data, werden verdacht van dit soort vooroordelen. Een bekend voorbeeld hiervan is het risicobeoordelingssysteem Correctional Offender Management Profiling for Alternative Sanctions (COMPAS), dat gebruikt is door verschillende staten in de VS. Het algoritme berekent per veroordeelde de kans op recidivisme in het algemeen en de kans op recidivisme met geweld. Het team van Angwin et al. (2016) analyseerde dit algoritme op
nauwkeurigheid. In dit geval duidt nauwkeurigheid op de juistheid van de voorspellingen. Zo vergeleken de onderzoekers het aantal beklaagden dat volgens het algoritme zou recidiveren met het werkelijke aantal recidivisten (tot en met 2 jaar na de voorspelling) en kwamen tot de conclusie dat het algoritme discriminatoire neigingen had. Zo werden zwarte beklaagden, volgens Angwin et al. (2016), vaker verkeerd geclassificeerd dan witte beklaagden. Het aantal vals positieve classificaties lag relatief een stuk hoger bij zwarte dan bij witte beklaagden. Omgekeerd zou het aantal vals negatieve classificaties juist hoger liggen bij witte beklaagden. Beide ontdekkingen zouden zowel van toepassing zijn bij gewelddadig recidivisme als bij “algemeen” recidivisme. Het is belangrijk om dit onderzoek met enige nuance te beoordelen. Een onderzoek naar aanleiding van dit artikel, uitgevoerd door Flores et al. (2016), kon in tegenstelling tot Angwin et al. (2016) namelijk geen bewijs vinden van bevooroordeeld oordelen op basis van ras in COMPAS. Echter is het wel mogelijk dat er op andere eigenschappen wordt
geprofileerd die sterk correleren met ras, bv. woonsituatie of -locatie. De waarheid is moeilijk te achterhalen, aangezien het algoritme van COMPAS niet openbaar beschikbaar is.
2.2.
PredPol
Een ander voorbeeld waar een algoritme verdacht werd van discriminatieve beoordeling is de predictive policing software PredPol. Predpol wordt gebruikt om te voorspellen waar en wanneer misdaden zullen plaatsvinden, met als doel agenten effectiever en efficiënter in te kunnen zetten tegen deze misdaden. Volgens het artikel van Lum en Isaac (2016) zijn de data waarop dit predictieve model getraind is, bestaande uit politieregistraties of politiedossiers, vaak bevooroordeeld op basis van ras en etniciteit. Ook zou het algoritme vaker mogelijke misdaden in bepaalde buurten voorspellen waarin, in het verleden, vaak gepatrouilleerd werd door bevooroordeelde of misschien wel racistische agenten. De reden is dat er over die buurten daardoor meer data, bv.geregistreerde arrestaties en misdaden, beschikbaar zijn. Deze werking kan leiden tot feedback loops waarin vooroordelen juist versterkt worden (Ensign et al., 2017) met als gevolg dat bepaalde buurten op hun beurt extra geviseerd worden (Lum & Isaac, 2016). Opnieuw is het algoritme van PredPol niet open voor het publiek.
Opvallend is dat beide algoritmes uit de voorbeelden niet open zijn voor het publiek. Op deze manier weet een individu niet hoe een bepaalde beslissing omtrent hem of haar tot stand gekomen is en kan hij of zij dus ook niet beoordelen of deze beslissing gerechtvaardigd is. Voor het publiek zijn deze algoritmes een soort black boxes, waar input ingaat en output uitkomt zonder transparantie over hoe dit gebeurt (Driscoll & Walker, 2014).
2.3.
Over discriminatie en objectiviteit bij AI-algoritmes
Zoals getoond in de vorige alinea’s kunnen AI-algoritmes wel degelijk bevooroordeeld zijn. Dit is tegenstrijdig met het doel waarmee deze algoritmes zijn ingezet. Voorstanders van AI-algoritmes stellen namelijk dat de inzet hiervan de human bias juist kan verminderen bij het maken van beslissingen
(Barocas & Selbst, 2016). Uit de eerdergenoemde voorbeelden blijkt dat dit niet klopt. Barocas & Selbst (2016) stellen dat een algoritme net zo bevooroordeeld is als de data waarop deze getraind is. Ook merken de onderzoekers op dat AI-algoritmes per definitie “rationeel” discrimineren. Het hele doel van bepaalde AI-algoritmes is het vaststellen van een rationele basis waarop verschillende groepen gescheiden kunnen worden. Echter, “echte” discriminatie ontstaat bij het opstellen van het algoritme. Zo kan er bij feature selection bepaald worden welke criteria er mee worden genomen in het model. Op deze manier kunnen de makers van een machine learning model toch human bias toevoegen aan het keuzeproces (Barocas & Selbst, 2016). Het “verraderlijke” aan deze biased algoritmes is dat hun ontwerp vaak niet transparant is voor het publiek. Dit is ook te zien in de maatschappelijke voorbeelden die genoemd zijn. De output die gegenereerd wordt door het algoritme wordt daardoor vaak als objectief en onpartijdig waargenomen. Dit noemt Burk (2019) de Illusion of Objectivity.
De Onderzoeksvraag
Door de enorme groei van big data, mogelijk gemaakt door nieuwe technologische ontwikkelingen zoals cloud computing, zijn er steeds meer toepassingen van big data-analyse en predictie mogelijk. Deze toepassingen in de maatschappelijke context, zoals in de handhaving, kunnen negatieve gevolgen hebben op individuele burgers in ons land. Ook is er bewezen dat het publiek, al dan niet onderhevig aan deze algoritmes, deze technologie vaak als objectief en onpartijdig ziet. Om deze redenen is het interessant te onderzoeken in hoeverre Nederlandstalige studenten zich bewust zijn van de objectiviteit-illusie van AI-algoritmes en of deze factor het vertrouwen in deze technologie beïnvloedt. De reden dat er voor studenten gekozen is, is omdat dit een afgebakende en goed te benaderen groep is. Een andere, belangrijke motivatie is de waarschijnlijkheid dat deze groep bekend is met deze relatief nieuwe ontwikkeling. Deze bekendheid met de technologie, zelfs in basale vorm, is noodzakelijk om te kunnen participeren aan het onderzoek.
Het is verder ook belangrijk om te onderzoeken welke andere factoren het vertrouwen
beïnvloeden. Een interessante vraag die vervolgens gesteld kan worden is of er dan verschil zit tussen IT-studenten en overige IT-studenten als het gaat om het vertrouwen in deze technologie. Er kan namelijk beredeneerd worden dat een hogere hoeveelheid kennis over IT het vertrouwen in deze technologie beïnvloedt. De uiteindelijke onderzoeksvraag die in deze thesis beantwoord zal worden, luidt als volgt: “Welke factoren beïnvloeden het vertrouwen van studenten in AI-algoritmes in de maatschappelijke context?” met als deelvragen: “Welke rol speelt objectiviteit bij het vertrouwen van studenten in AI-algoritmes in de maatschappelijke context?” en “In hoeverre verschilt dit vertrouwen tussen IT- en overige studenten”.
De onderzoeksvragen werden onderzocht met behulp van een gevalideerd model over vertrouwen, toegepast op het onderzoeksdomein met behulp van een enquête.
Methode
1. Proefpersonen
De proefpersonen van dit onderzoek waren mannen en vrouwen die een HBO of WO-studie volgen en woonachtig waren in België of Nederland. De precieze opleidingen van deze proefpersonen werden in de categorieën alfa, bèta of gamma geregistreerd. Alfa-opleidingen bestuderen producten ontstaan uit het menselijk handelen (bv. rechten en filosofie), bèta-opleidingen bestuderen de niet-menselijke natuur (bv. fysica en informatica) en gamma-opleidingen bestuderen het menselijk handelen zelf (psychologie en sociologie). Om praktische redenen werden de respondenten vervolgens gecategoriseerd in IT-studenten en overige studenten. De classificaties alfa, bèta en gamma werden verder niet meer gebruikt in dit onderzoek. Verder bevonden de proefpersonen zich dus zowel in Nederland als in België. Hier is uit praktische overwegingen voor gekozen.
2. Design
2.1. Het conceptueel model
In dit onderzoek werd gebruik gemaakt van een online enquête. Deze enquête is gebaseerd op de door Gulati et. al (2019) ontwikkelde human-computer trust scale. Deze onderzoekers stelden een basismodel voor vertrouwen tussen de mens en human-like technologies op. Dit model bestaat uit vier componenten met elk een hypothese of relatie die getoetst moet worden, namelijk het Waargenomen Risico (van het systeem), Welwillendheid, Competentie en Wederkerigheid of Wisselwerking. Aan dit basismodel is voor het onderzoek de component Objectiviteit toegevoegd. De enquêtevragen, zoals vertaald uit Gulati et. al (2019), dienen als measurements voor dit model.
Het Waargenomen Risico duidt op de subjectieve inschatting van de gebruiker op de kans dat het computersysteem een bepaald incident veroorzaakt. De nulhypothese die met dit component getest wordt, op basis van de componenten van Gulati et. al (2019), is:
H01: Er bestaat geen statistisch significante relatie tussen het Waargenomen Risico dat geassocieerd wordt met de technologische interactie met AI-algoritmes in de maatschappelijke context en het vertrouwen in deze toepassing.
Het tweede element van de trust scale, namelijk Welwillendheid, wordt in de technologische context gedefinieerd als de mate waarin het systeem of de gebruikte technologie de gebruiker effectieve, adequate en responsieve hulp kan bieden. Bijgevolg werd de volgende nulhypothese voorgesteld:
H02: Er bestaat geen significante relatie tussen de Welwillendheid van AI-algoritmes in de
maatschappelijke context en de mate van het vertrouwen die met deze toepassing geassocieerd wordt. Verder betekent de Competentie vanuit het gebruikersperspectief dat de technologie alle nodige functionaliteiten bezit om een bepaald doel te kunnen bereiken. De volgende nulhypothese is bij deze component opgesteld.
H03: Er bestaat geen significante relatie tussen de Competentie die wordt geassocieerd met AI-algoritmes in de maatschappelijke context en het vertrouwen dat gebruikers hebben in deze toepassing.
Ten slotte duidt Wederkerigheid in deze context op het toepassen van sociale regels op het
computersysteem. Zo blijkt dat als de gebruikers een systeem als behulpzaam beschouwen, zij dit systeem zullen accepteren en blijven gebruiken. Vervolgens ontstaat er dan een soort symbiotische relatie met dit systeem. Bij deze component hoort de volgende nulhypothese:
H04: Er bestaat geen significante relatie tussen Wederkerigheid en Vertrouwen bij deze toepassing.
In kader van dit onderzoek werd dit model van Gulati et. al (2019) uitgebreid met een vijfde component, namelijk Objectiviteit. Dit ter bijdrage van de wetenschappelijke kennis omtrent vertrouwen. Volgens Galison (1998) duidt de term “objectief” op een methode die gebaseerd is op feiten. Deze methode wordt verder niet beïnvloed door meningen, perceptie of emoties. In de context van AI-algoritmes in de
dat dit algoritme een onbevooroordeelde keuze maakt. De hypothese die bij deze component hoort, is door de onderzoeker toegevoegd aan het model en daarmee een uitbreiding van de wetenschappelijke kennis over dit onderwerp. Deze nulhypothese is dus niet opgesteld door Gulati et al. (2019):
H05: Er bestaat een statistisch significante relatie tussen de Objectiviteit van AI-algoritmes in de maatschappelijke context en het vertrouwen van gebruikers in deze toepassing.
Het uiteindelijke conceptuele model is te zien in figuur 1. Een overzicht van de vragen en hun bijbehorende afkortingen is te zien in bijlage 2.
2.2. Het conceptueel model - Over de enquêtevragen
Het model dat getoetst werd, bestaat dus uit vijf componenten. De enquêtevragen, te zien in bijlage 2, werden gebruikt om deze relaties of hypotheses te testen. De vragen omtrent de vier originele
componenten van de trust scale komen uit het artikel van Gulati et al. (2019) en zijn gevalideerd. Verder zijn de vragen omtrent objectiviteit, die hieraan toegevoegd zijn, nog niet gevalideerd. Dit vanwege de beperkte tijdsduur van dit onderzoek. Voorafgaand aan de vragen, werden de benodigde demografische gegevens van de proefpersonen gevraagd en de anonimiteit van hun deelname verzekerd. Bovendien kregen de respondenten een korte uitleg over AI-algoritmes gebaseerd op big data en hun mogelijke toepassing in de maatschappelijke sector.
Belangrijk om te vermelden is dat sommige vragen gemodificeerd of zelfs uit de vragenlijst verwijderd zijn. Dit om de vragenlijst zo goed mogelijk toe te kunnen passen op dit onderzoek. De basisvragen bestaan namelijk uit een zin en een placeholder waarin de te onderzoeken technologie moest worden ingevuld. Bij sommige vragen was het niet mogelijk om de technologie van dit onderzoek, namelijk AI-algoritmes, in te vullen zonder dat de zin daardoor onduidelijk werd of niet meer klopte. Ook verloren sommige vragen hun betekenis na het vertalen vanuit het Engels naar het Nederlands. Een voorbeeld hiervan zijn de originele vragen 10 en 11 (zie bijlage 2), bij het vertalen van deze vragen was het moeilijk om het onderscheid tussen deze twee vragen te blijven behouden. Daarom is ervoor gekozen om deze vragen te combineren in een nieuwe vraag (zie vraag 10 in bijlage 2). Verder is er een vraag over het vertrouwen in AI-algoritmes toegevoegd, dit om de relaties tussen de verschillende componenten of hypotheses te kunnen toetsen met behulp van SmartPLS. Door het aantal wijzigingen en toevoegingen aan de originele vragen uit het artikel van Gulati et. al (2019), is ervoor gekozen deze originele vragenlijst ter vergelijking toe te voegen aan de bijlage (zie bijlage 1). De volledige enquête is te zien in bijlage 3.
Er is om verschillende redenen voor gekozen om de enquêtevragen naar het Nederlands te vertalen. Als eerste omdat dit een Nederlandstalig onderzoek betreft. Verder omdat de beoogde proefpersonen of respondenten ook Nederlandstalig zijn.
3. Procedure
De enquêtetool die gebruikt werd, is Google Forms. Per component werden er een aantal vragen of stellingen gesteld. Zo werd de component Competentie ondervraagd met 3 stellingen, Wederkerigheid met 2 stellingen, Welwillendheid met 3 stellingen, Waargenomen risico met 2 stellingen en Objectiviteit met 2 stellingen. Ook werd er een enkele stelling gebruikt om het algemene vertrouwen te meten. Op deze stellingen gaven de respondenten hun mate van instemming aan, dit aan de hand van 5 stellingen op een 5-punts Likertschaal. Deze Likertschaal liep als volgt: “Helemaal niet mee eens”, “Oneens”, “Noch eens, noch oneens”, “Eens” en “Helemaal mee eens”. Deze stellingen werden later gecodeerd naar de
numerieke waarden 1 t/m 5. Verder was er nog de mogelijkheid voor respondenten om aan te geven dat ze geen mening hadden over deze stelling. Het verschil tussen de optie “Geen mening” en “Noch eens, noch oneens” is dat de respondenten bij deze tweede optie wel een mening over de stelling hebben, maar dat deze mening dus neutraal is. De optie “Geen Mening” werd dan ook gezien als een missing value en vervangen door de gemiddelde waarde van die stelling ofwel de series mean. Deze voorbereiding van de data werd uitgevoerd met de softwaretool SPSS, versie 25.
4. Validiteit en Betrouwbaarheid van het onderzoek
Er zijn verschillende maatregelen getroffen om de validiteit en de betrouwbaarheid van dit onderzoek te garanderen. Dit komt ten eerste ten uiting in het ontwerp van de vragenlijst. De vragen uit de vragenlijst zijn voor het overgrote deel overgenomen en vertaald uit een gevalideerde vragenlijst. Echter, de enquêtevragen over objectiviteit zijn niet gevalideerd. Dit had mogelijk een invloed op de kwaliteit van het onderzoek. Verder werd er gecontroleerd of enkel mensen uit de doelgroep de vragenlijst invulden. Dit door middel van gecontroleerde distributie van de vragenlijst en ook met behulp van een
controlevraag aan het begin van de enquête. Op deze manier werden uitsluitend universitaire studenten bereikt. De verschillende componenten werden in de vragenlijst getoetst met behulp van meerdere vragen of stellingen. Hierdoor is er sprake van een voldoende hoge inhoudsvaliditeit. Ten slotte is de interne
validiteit verder verzekerd doordat de vragen van tevoren getest zijn in een kleine groep (N = 5). Op deze manier werd onderzocht of de gehele enquête duidelijk was onder de doelgroep.
Om de externe validiteit te garanderen is er gestreefd naar een voldoende grote steekproef. Het doel was om 30 personen per groep te verzamelen. Dit is gelukt (N = 139). De steekproef bestond uit 42 IT-studenten en 94 overige studenten. Ten slotte is de validiteit van de measurements ook getest met statistische methoden in SmartPLS (Zie resultaten).
Verder is de betrouwbaarheid van het onderzoek gewaarborgd. Ten eerste is de herhaalbaarheid of externe betrouwbaarheid van dit onderzoek vrij hoog door de onderzoeksmethode die gekozen is. Survey-onderzoek zorgt er namelijk per definitie voor dat elke respondent dezelfde vragen op dezelfde manier gesteld krijgt. De interne betrouwbaarheid is getest met behulp van SmartPLS (Zie de
Resultaten
1. Descriptives
1.1. Beschrijving van de steekproef
Zoals eerder vermeld bestond de steekproef uit 139 studenten, waarvan 136 bruikbaar voor dit onderzoek. 22 respondenten waren Belgisch en 114 respondenten waren Nederlands. Verder volgden 29 studenten een alfastudie, 40 studenten een bètastudie en 67 studenten een gammastudie. Deze aantallen zijn bepaald na de correctie van deze categorieën, waarin de studenten zichzelf mochten plaatsen. Tijdens het
“schoonmaken” van de data zijn deze drie categorieën gehercodeerd naar de categorieën IT-studie en overige studie, waarin respectievelijk 42 en 94 studenten geplaatst zijn.
1.2. Descriptives per stelling
De volgende tabel (tabel 1) weergeeft per stelling de gemiddelde waarde inclusief standard error, de standaarddeviatie, de skewness en de minimum en maximumwaarde van de 5-punts Likertschaal waarmee de stelling beantwoord is.
Tabel 1
Descriptives van de stellingen
Mean Std. Deviation Statistic Stelling/Indicator N
statistic Minimum Statistic Maximum Statistic Statistic Std. Error Skewness Statistic Std. Error
V1 136 1 5 3.50 0.069 0.81 -0.66 0.21 R1 136 1 5 2.34 0.084 0.98 0.61 0.21 R2 136 1 5 1.76 0.062 0.73 1.24 0.21 W1 136 1 5 3.41 0.083 0.97 -0.51 0.21 W2 136 1 5 3.55 0.069 0.81 -0.51 0.21 W3 136 1 5 2.95 0.085 0.99 -0.031 0.21 C1 136 1 5 3.54 0.069 0.81 -0.59 0.21 C2 136 1 5 3.64 0.067 0.79 -0.75 0.21 C3 136 2 5 4.22 0.061 0.72 -1.10 0.21 WE1 136 1 5 2.66 0.076 0.86 0.016 0.21 WE2 136 1 5 2.64 0.077 0.90 0.098 0.21 O1 136 1 5 3.10 0.10 1.20 -0.074 0.21 O2 136 1 5 3.45 0.097 1.13 -0.55 0.21
Noot. De volledige stelling per afkorting is te vinden in bijlage 2.
2. Het Conceptueel Model
2.1. Betrouwbaarheid en validiteit van het conceptueel model
Alle betrouwbaarheid- en validiteitmetingen zijn gedaan met behulp van SmartPLS, versie 3.3.2. Ook is het belangrijk te vermelden dat de betrouwbaarheid- en validiteitmetingen zijn uitgevoerd op het
conceptueel model in combinatie met de volledige data. Deze metingen werden dus niet apart uitgevoerd op het model met enkel de IT-studenten en het model met enkel de overige studenten.
Er werden twee measures gebruikt om de Internal Consistency Reliability of betrouwbaarheid van de interne consistentie te meten. Namelijk Cronbach’s Alpha, een redelijk conservatieve maat en Composite Reliability (CR). Volgens Wong (2013) hoeft er voor de interne consistentie enkel naar de
Composite Reliability gekeken te worden. Als deze waarde 0.7 of hoger is, kan de interne consistentie van het model als betrouwbaar beschouwd worden. Voor de volledigheid van de rapportering wordt Cronbach’s Alpha toch vermeld, echter werd de conclusie over de betrouwbaarheid getrokken aan de hand van de Composite Reliability.
De Cronbach’s alpha van het conceptueel model was bij verschillende componenten lager dan de gewenste 0.7 (zie de onderstreepte waarden in tabel 2). Echter, de waarden van de Composite Reliability lagen hoger. De minimale waarde die elke component moet hebben is namelijk 0.7. Zoals te zien in tabel 2 voldeden alle componenten aan deze eis. Er kan dus worden geconcludeerd dat de interne consistentie van het conceptueel model betrouwbaar is.
Om de validiteit van het model te bepalen, werd er gekeken naar convergent validity en
discriminant validity (Wong, 2013). Als eerste is er gekeken naar de convergent validity aan de hand van de Average Variance Extracted (AVE). De grenswaarde ligt hier bij 0.5, omdat een waarde van 0.5 bij een component betekent dat de gemiddelde lading per item of vraag 0.7 is. Dit betekent dat meer dan 50% van de variantie binnen de items wordt verklaard door de gegeven latente variabele (Wong, 2013). Alle componenten voldeden aan deze eis (zie tabel 2).
Tabel 2
Cronbach’s alpha, Composite Reliability en Average Variance Extracted voor de componenten van het conceptueel model.
Component Alpha CR AVE Indicatoren
Competentie 0.63 0.80 0.58 3 Objectiviteit 0.49 0.80 0.66 2 Vertrouwen 1 1 1 1 Waargenomen Risico 0.56 0.82 0.69 2 Wederkerigheid 0.75 0.89 0.80 2 Welwillendheid 0.53 0.76 0.52 3
Vervolgens werd er gekeken naar de discriminant validity. Een goede discriminant validity houdt in dat elk construct of component uit het model makkelijk te onderscheiden is van andere componenten (Lucas et al., 1996). Een veelvoorkomende maat om deze validiteit te meten is het Fornell-Larcker Criterion. De recenter toegepaste Heterotrait-Monotrait Ratio of correlations (HTMT) is echter accurater. Als de HTMT-waarde tussen twee componenten lager dan 0.9 ligt, is er sprake van discriminant validity
(Henseler et al., 2015). Zoals te zien in tabel 3 lagen alle HTMT-waarden onder deze grenswaarde en kan er dus geconcludeerd worden dat er sprake is van discriminant validity tussen alle variabelen uit het conceptueel model.
Tabel 3
De HTMT-waarden van het conceptueel model.
Component Competentie Objectiviteit Vertrouwen Waargenomen
Risico Wederkerigheid Welwillendheid
Competentie Objectiviteit 0.80 Vertrouwen 0.51 0.24 Waargenomen Risico 0.31 0.65 0.45 Wederkerigheid 0.58 0.56 0.58 0.58 Welwillendheid 0.68 0.40 0.56 0.48 0.76
Ondanks de hoge waarden voor Composite Reliability is er gepoogd de betrouwbaarheid van het conceptuele model verder te verhogen. Om naast de interne consistentie ook de Indicator Reliability of betrouwbaarheid van de indicatoren te verhogen, is er besloten om indicatoren met een lading lager dan 0.7 te verwijderen (Wong, 2013). Deze grenswaarde werd gesteld in het werk van Wong (2013). De volgende vragen of indicatoren werden verwijderd: “Ik geloof dat AI-algoritmes in de maatschappelijke sector mij hulp kunnen bieden, als ik hulp nodig heb”, deel van de component Welwillendheid en “Ik geloof dat de er veel mogelijke toepassingen zijn van AI-algoritmes in de maatschappelijke sector.”, deel van de component Competentie. Na deze handeling verbeterden zowel de betrouwbaarheid en de
validiteit van het conceptueel model (zie tabel 4). Cronbach’s alpha van de component Competentie verhoogde namelijk naar 0.701 en voldeed daarmee aan de grenswaarde van deze maat. Ondanks het feit dat Cronbach’s Alpha buiten de beoordeling van betrouwbaarheid wordt gelaten, is het interessant dit te vermelden. Ook de CR-waarden van Welwillendheid en Competentie zijn omhoog gegaan (zie tabel 4). Ten slotte verbeterden de AVE-waarden van deze twee gewijzigde componenten na het verwijderen van bepaalde indicatoren.
Tabel 4
Cronbach’s alpha, Composite Reliability en Average Variance Extracted voor de componenten van het conceptueel model na verwijdering van indicatoren.
Component Alpha CR AVE Indicatoren
Competentie 0.70 0.87 0.77 2 Objectiviteit 0.49 0.80 0.66 2 Vertrouwen 1 1 1 1 Waargenomen Risico 0.56 0.82 0.69 2 Wederkerigheid 0.75 0.89 0.80 2 Welwillendheid 0.62 0.85 0.72 2
Noot. alpha’s > 0.7 zijn onderstreept
2.2. Het toetsen van het conceptueel model
Het conceptueel model moest getest worden om te onderscheiden welke componenten echt een rol spelen bij het vertrouwen van studenten in de AI-algoritmes in de maatschappelijke context. Per alternatieve hypothese werd er gekeken of de nulhypothese verworpen kon worden, zodat deze alternatieve hypothese kon worden aangenomen. De significantie van de constructen werd berekend met de bootstrapping-functie in SmartPLS. Het significantieniveau werd vastgesteld op p ≤ 0.05.
HA1: Er bestaat een statistisch significante relatie tussen het waargenomen risico dat geassocieerd wordt
met de technologische interactie met AI-algoritmes in de maatschappelijke context en het vertrouwen in deze toepassing. De toetsing van de relatie tussen het Waargenomen Risico en Vertrouwen in het model was significant (p = .02). Dit betekent dat de nulhypothese dat er geen relatie is tussen deze twee
HA2: Hoe hoger de Welwillendheid van AI-algoritmes in de maatschappelijke context, hoe hoger de mate van het vertrouwen met deze toepassing geassocieerd wordt. Tussen Welwillendheid en Vertrouwen is geen significante relatie aangetoond (p = .193). Dit betekent dat de nulhypothese dat er geen relatie is tussen Welwillendheid en het vertrouwen als het gaat om het vertrouwen van studenten in AI-algoritmes in de maatschappelijke context, niet verworpen kan worden. Deze component werd bijgevolg niet meegenomen naar het definitieve model (zie figuur 2).
HA3: Des te hoger de Competentie die wordt geassocieerd met AI-algoritmes in de maatschappelijke context is, des te hoger het vertrouwen gebruikers hebben in deze toepassing. De relatie tussen
Competentie en Vertrouwen was significant (p = .019). Dit betekent dat de nulhypothese verworpen kan worden en de alternatieve hypothese aangenomen kan worden.
HA4: Er bestaat een positieve relatie tussen Wederkerigheid en vertrouwen bij deze toepassing. De relatie
tussen deze twee componenten was zeer significant (p < .001). Dit wil zeggen dat de nulhypothese dat er geen relatie is tussen Wederkerigheid en vertrouwen in de context van dit onderzoek, verworpen kan worden. De alternatieve hypothese wordt bijgevolg aangenomen.
HA5: Er bestaat een statistisch significante relatie tussen de objectiviteit van AI-algoritmes in de maatschappelijke context en het vertrouwen van gebruikers in deze toepassing. De relatie tussen Objectiviteit en Vertrouwen was niet significant (p = .105). Dit betekent dat de nulhypothese niet verworpen kan worden. De component Objectiviteit wordt niet meegenomen naar het definitieve model.
Een overzicht van de hypotheses en hun status is te zien in tabel 5. Uit deze tabel kan worden afgeleid dat drie uit de vijf componenten deel uitmaken van het model van vertrouwen voor de gekozen doelgroep.
Tabel 5
Overzicht van de Alternatieve hypotheses en hun status
Alternatieve Hypothese
Relatie p-waarde Relatie Alternatieve
Hypothese aangenomen?
HA1 Waargenomen Risico → Vertrouwen .020* Ja
HA2 Welwillendheid → Vertrouwen .19 Nee
HA3 Competentie → Vertrouwen .019* Ja
HA4 Wederkerigheid → Vertrouwen < .001* Ja
HA5 Objectiviteit → Vertrouwen .11 Nee
Noot. *= statistisch significant als p < .05
Het model dat overbleef, ook wel het definitieve model, is te zien in figuur 2.
Vervolgens is de PLS-calculatie uitgevoerd om te ontdekken in welke mate deze overgebleven
componenten de variantie in vertrouwen verklaren. In figuur 3 is zijn de uitkomsten van deze calculatie te zien, geprojecteerd op het definitieve model. De determinatiecoëfficiënt (R2), zoals te zien in het construct Vertrouwen in figuur 3, is 0.325.Dit wil zeggen dat 32,5% van de variantie in het Vertrouwen van studenten in AI-algoritmes in de maatschappelijke sector te verklaren valt door de componenten Competentie, Wederkerigheid en Waargenomen Risico.
Figuur 3: Het definitieve model inclusief de path coefficients, de outer loadings en de determinatiecoëfficiënt (R2).
3. Het Definitieve model
3.1. Betrouwbaarheid en validiteit van het definitieve model
Het overgebleven model is opnieuw getest op betrouwbaarheid en validiteit. Ook deze betrouwbaarheid- en validiteitmetingen zijn uitgevoerd op het model in combinatie met de volledige data. In tabel 6 zijn de Cronbach’s Alpha-, Composite Reliability en Average Variance Extracted-waarden weergeven voor het definitieve model. Ook het aantal Indicatoren per component is weergeven.
Tabel 6
Cronbach’s alpha, Composite Reliability en Average Variance Extracted voor de componenten van het definitieve model.
Component Alpha CR AVE Indicatoren
Competentie 0.70 0.87 0.77 2
Vertrouwen 1 1 1 1
Waargenomen Risico 0.56 0.82 0.69 2
Wederkerigheid 0.75 0.89 0.80 2
Noot. alpha’s > 0.7 zijn onderstreept
Aan de hand van de waarden van de Composite Reliability in de tabel kan geconcludeerd worden dat het definitieve model betrouwbaar is. De grenswaarde van 0.7 is namelijk bij alle componenten bereikt. Verder geeft de Cronbach’s Alpha enkel bij het Waargenomen Risico een onvoldoende waarde aan. Echter, deze maat wordt, zoals reeds eerder vermeld, niet gebruikt om de conclusie over de
betrouwbaarheid mee te trekken.
Het definitieve model is ook valide, zowel op gebied van convergent validity als discriminant validity. Alle componenten behaalden voor de Average Variance Extracted de grenswaarde van 0.5 (zie tabel 6). Er is dus sprake van convergent validity. In tabel 7 zijn de HTMT-waarden van de componenten uit het definitieve model weergeven. Deze HTMT-waarden blijven onder de 0.9, wat betekent dat er sprake is van discriminant validity tussen de variabelen van het definitieve model.
Tabel 7
De HTMT-waarden van het definitieve model.
Component Competentie Vertrouwen Waargenomen
Risico Wederkerigheid Competentie Vertrouwen 0.50 Waargenomen Risico 0.36 0.45 Wederkerigheid 0.60 0.58 0.58
3.2. Het toetsen van de hypotheses op het definitieve model
Naast het opnieuw uitvoeren van de betrouwbaarheid- en validiteitmetingen, zijn de relaties of hypotheses van het definitieve model opnieuw berekend. In tabel 8 zijn de resultaten weergegeven. Uit deze
resultaten kan geconcludeerd worden dat alle componenten van het definitieve model nog steeds significant zijn.
Tabel 8
Overzicht van de Alternatieve hypotheses en hun status Alternatieve
Hypothese Relatie p-waarde Relatie Alternatieve Hypothese
aangenomen?
H1 Waargenomen Risico → Vertrouwen .028* Ja
H3 Competentie → Vertrouwen .022* Ja
H4 Wederkerigheid → Vertrouwen < .001* Ja
Noot. *= statistisch significant als p < .05
4. De vergelijking tussen de twee groepen
Om te bepalen of er verschil zit in het vertrouwen tussen IT en overige studenten, werden er drie methoden toegepast. De eerste methode is de onafhankelijke t-toets waarbij per stelling uit de originele vragenlijst wordt gekeken of het gemiddelde antwoord verschilt tussen IT- en overige studenten. Vervolgens werden de antwoorden van de stellingen per component bij elkaar opgeteld. Deze waarde werd ook getest met een onafhankelijke t-toets. Aangezien er bij de vragenlijst gebruik is gemaakt van een Likertschaal, is het niet vanzelfsprekend dat er op deze data een t-toets mag worden uitgevoerd.
Echter, Vieira (2016) heeft hier onderzoek naar gedaan en heeft ontdekt dat het gebruik van een t-toets wel een valide methode is op dergelijke data. Om deze reden werd deze methode ook op dit onderzoek toegepast.
Na het uitvoeren van de t-toetsen werd een multi-group analysis uitgevoerd om te bepalen of er per groep verschillen te vinden waren in de manier waarop de verschillende componenten Vertrouwen beïnvloeden.
4.1. De onafhankelijke t-toets per stelling
De onafhankelijke t-toets werd per stelling uitgevoerd op de groepen IT-studenten en overige studenten. Hiervoor werd het programma SPSS gebruikt. Belangrijk om te vermelden is dat hier weer de volledige vragenlijst getoetst werd. In dit onderdeel van de thesis worden de resultaten per stelling vernoemd.
1. Over het algemeen vertrouw ik AI-algoritmes in de maatschappelijke sector.
Het verschil in gemiddeld antwoord op deze stelling voor IT-studenten (M = 3.60; SD = 0.91) en overige studenten (M = 3.46; SD = 0.76) was niet significant (t(134) = 0.88; p = 0.38).
2. Ik geloof dat er negatieve consequenties kunnen volgen als een AI-algoritme bepaalt wie extra gescreend wordt op belastingfraude, waar politiepatrouilles worden ingezet, waar er mogelijk een wietplantage zit …
Het verschil in gemiddelde antwoord op deze stelling voor IT-studenten (M = 2.36; SD = 1.19) en overige studenten (M = 2.33; SD = 0.89) was niet significant (t(62.2) = 0.13; p = 0.89).
3. Ik vind dat men voorzichtig om moet gaan met AI-algoritmes in de maatschappelijke sector.
Het verschil in gemiddelde antwoord op deze stelling voor IT-studenten (M = 1.81; SD = 0.94) en overige studenten (M = 1.73; SD = 0.61) was niet significant (t(56.8) = 0.48; p = 0.64).
4. Ik geloof dat AI-algoritmes in de maatschappelijke sector worden opgezet met mijn belang in gedachten.
Het verschil in gemiddelde antwoord op deze stelling voor IT-studenten (M = 3.34; SD = 1.05) en overige studenten (M = 3.44; SD = 0.93) was niet significant (t(134) = -0.54; p = 0.59).
5. Ik geloof dat AI-algoritmes in de maatschappelijke sector mij hulp kunnen bieden, als ik hulp nodig heb.
Het verschil in gemiddeld antwoord op deze stelling voor IT-studenten (M = 3.73; SD = 0.94) en overige studenten (M = 3.47; SD = 0.74) was niet significant (t(134) = 1.69; p = 0.093).
6. Ik ben ervan overtuigd dat de ontwerpers van AI-algoritmes in de maatschappelijke sector uitgaan van mijn behoeftes en voorkeuren.
Het verschil in gemiddelde antwoord op deze stelling voor IT-studenten (M = 2.93; SD = 1.07) en overige studenten (M = 2.96; SD = 0.96) was niet significant (t(134) = -0.15; p = 0.88).
7. Ik denk dat AI-algoritmes competent en effectief keuzes kunnen maken in de maatschappelijke sector.
Het verschil in gemiddelde antwoord op deze stelling voor IT-studenten (M = 3.60; SD = 0.89) en overige studenten (M = 3.51; SD = 0.77) was niet significant (t(134) = 0.56; p = 0.57).
8. Ik denk dat AI-algoritmes in de maatschappelijke sector hun werk goed zouden kunnen doen. Het verschil in gemiddelde antwoord op deze stelling voor IT-studenten (M = 3.86; SD = 0.65) en overige studenten (M = 3.54; SD = 0.82) was significant (t(99.1) = 2.43; p = 0.017, d = 0.43). Cohen’s d duidt hier op een klein tot middelgroot effect. De ondergrenzen van een klein en een middelgroot effect zijn namelijk respectievelijk 0.2 en 0.5.
9. Ik geloof dat de er veel mogelijke toepassingen zijn van AI-algoritmes in de maatschappelijke sector.
Het verschil in gemiddelde antwoord op deze stelling voor IT-studenten (M = 4.46; SD = 0.70) en overige studenten (M = 4.12; SD = 0.70) was significant (t(134) = 2.62; p = 0.010, d = 0.49). Cohen’s d duidt ook hier op een klein tot middelgroot effect.
10. Als ik me laat beoordelen door een AI-algoritme (in een maatschappelijke context) ben ik in goede handen.
Het verschil in gemiddelde antwoord op deze stelling voor IT-studenten (M = 2.75; SD = 0.96) en overige studenten (M = 2.62; SD = 0.85) was niet significant (t(134) = 0.81; p = 0.42).
11. Ik vertrouw de informatie die over mij wordt vastgesteld op basis van een AI-algoritme in de maatschappelijke sector.
Het verschil in gemiddelde antwoord op deze stelling voor IT-studenten (M = 2.64; SD = 0.93) en overige studenten (M = 2.64; SD = 0.89) was niet significant (t(134) = 0.027; p = 0.98).
12. Ik geloof dat beoordeling door AI-algoritmes in de maatschappelijke sector objectief (onbevooroordeeld en gebaseerd op feiten) is.
Het verschil in gemiddelde antwoord op deze stelling voor IT-studenten (M = 3.05; SD = 1.27) en overige studenten (M = 3.13; SD = 1.18) was niet significant (t(134) = -0.37; p = 0.71).
13. Ik geloof dat een AI-algoritme objectiever kan beoordelen dan een menselijke beoordelaar.
Het verschil in gemiddelde antwoord op deze stelling voor IT-studenten (M = 3.79; SD = 1.05) en overige studenten (M = 3.30; SD = 1.13) was significant (t(134) = 2.37; p = 0.019, d = 0.45). Cohen’s d duidt ook hier op een klein tot middelgroot effect.
IT-studenten scoorden op drie van de dertien stellingen significant hoger dan de overige studenten. Twee van die drie stellingen gingen over de Competentie van een AI-algoritme in de maatschappelijke sector,
de overgebleven stelling ging over de objectiviteit deze technologie. De effectgrootte bij deze significante stellingen was klein tot middelgroot.
4.2. De onafhankelijke t-toets per component
Na de onafhankelijke t-toets per stelling, is ervoor gekozen om de waarden van de onderliggende
stellingen per component bij elkaar op te tellen in een samengestelde variabele. Vervolgens zijn deze vijf samengestelde variabelen of componenten getest met de onafhankelijke t-toets.
1. Waargenomen Risico
Het verschil in gemiddelde voor de component Waargenomen Risico voor IT-studenten (M = 4.17; SD = 1.86) en overige studenten (M = 4.06; SD = 1.20) was niet significant (t(56.8) = 0.33; p = 0.74).
2. Welwillendheid
Het verschil in gemiddelde voor de component Welwillendheid voor IT-studenten (M = 10.0; SD = 2.43) en overige studenten (M = 9.87; SD = 1.81) was niet significant (t(134) = 0.34; p = 0.73).
3. Competentie
Het verschil in gemiddelde voor de component Competentie voor IT-studenten (M = 11.9; SD = 1.64) en overige studenten (M = 11.2; SD = 1.77) was significant (t(134) = 2.32; p = 0.022, d = 0.41). Cohen’s d duidt hier op een klein tot middelgroot effect.
4. Wederkerigheid
Het verschil in gemiddelde voor de component Wederkerigheid voor IT-studenten (M = 5.40; SD = 1.69) en overige studenten (M = 5.26; SD = 1.56) was niet significant (t(134) = 0.47; p = 0.64).
5. Objectiviteit
Het verschil in gemiddelde voor de component Objectiviteit voor IT-studenten (M = 6.83; SD = 2.04) en overige studenten (M = 6.43; SD = 1.82) was niet significant (t(134) = 1.16; p = 0.25).
Op een van de vijf componenten scoorden de IT-studenten dus significant hoger dan de overige studenten, namelijk de component Competentie. De effectgrootte was klein tot middelgroot.
4.3. De multi-group analysis
De multi-group analysis (MGA) werd uitgevoerd op de groepen IT-studenten en overige studenten. De multi-group analysis werd uitgevoerd met behulp van de daarvoor bestemde MGA-functie in SmartPLS. In tabel 9 zijn de uitkomsten van de PLS-MGA-calculaties te zien. Uit de tabel kan worden afgeleid dat bij geen van de drie componenten er een significant verschil is tussen IT-studenten en overige studenten. De nulhypothese dat er geen verschil is in hoe de factoren of componenten het vertrouwen tussen IT- en overige studenten in AI-algoritmes in de maatschappelijke context beïnvloeden, kan bijgevolg niet verworpen worden.
Tabel 9
Overzicht PLS-MGA-resultaten
Relatie Verschil in path coefficients p-waarde
Wederkerigheid → Vertrouwen 0.13 .52
Waargenomen Risico → Vertrouwen 0.057 .73
Competentie → Vertrouwen -0.29 .17
Noot. *= statistisch significant als p < .05
Analyse
1.1. Welke factoren beïnvloeden het vertrouwen van studenten in AI-algoritmes in de
maatschappelijke context?
Met dit onderzoek is er getracht antwoord te vinden op de volgende vraag: “Welke factoren beïnvloeden het vertrouwen van studenten in AI-algoritmes in de maatschappelijke context?” Om deze vraag te beantwoorden is er gebruik gemaakt van kwantitatief onderzoek, waarbij een gevalideerd model van vertrouwen toegepast is op het onderzoeksonderwerp en getoetst is bij de doelgroep.
Uit de resultaten is gebleken dat enkel de componenten Wederkerigheid, Waargenomen Risico en Competentie de variantie in Vertrouwen voor deze doelgroep gedeeltelijk (voor 32,5%) verklaren. Het antwoord op deze vraag is dan ook dat Wederkerigheid, Waargenomen Risico en Competentie factoren zijn die invloed hebben op het vertrouwen van studenten in AI-algoritmes in de maatschappelijke context. Echter, het is wel interessant om te vermelden dat de relatie tussen Objectiviteit en Vertrouwen het significantieniveau naderde (p = 0.11). Hiermee kan ook een van de twee deelvragen worden
beantwoord, namelijk “Welke rol speelt objectiviteit bij het vertrouwen van studenten in AI-algoritmes in de maatschappelijke context?”. Uit de resultaten kan worden geconcludeerd dat Objectiviteit hier
mogelijk een significante rol in speelt. Dit onderzoek heeft echter geen significant verband opgeleverd. De nulhypothese dat Objectiviteit geen invloed heeft op het vertrouwen van studenten in AI-algoritmes in de maatschappelijke context kon namelijk niet verworpen worden.
1.2. Discussie met betrekking tot de onderzoeksvraag en deelvraag
Het is opvallend dat niet het gehele gevalideerde model van Gulati et. al (2019) bleek te gelden voor deze doelgroep. De component Welwillendheid maakte namelijk geen deel uit van het definitieve model van vertrouwen van studenten in AI-algoritmes in de maatschappelijke context. Een mogelijke verklaring hiervoor is het feit dat de vragen uit de vragenlijst vertaald zijn vanuit het Engels naar het Nederlands. Op deze manier kan de originele betekenis van een vraag (gedeeltelijk) verloren gaan en de validiteit van de vragenlijst verminderd zijn. Een andere, mogelijke verklaring voor het missen van deze component is dat
het model van Gulati et al. (2019) opgezet is om het vertrouwen in een breed scala aan technologieën te meten. Dit basismodel is misschien te algemeen voor deze specifieke technologie. Een andere
opmerkelijke uitkomst is dat de variantie binnen Vertrouwen slechts voor 32,5% verklaard wordt door deze factoren. Bij vervolgonderzoek kan er dus gekeken worden naar mogelijke nieuwe factoren die meespelen bij deze technologie en/of doelgroep. Dit kan worden gedaan aan de hand van interviews. Uit de resultaten hiervan kunnen dan mogelijk nieuwe relaties worden opgesteld en getoetst. Een andere bijzondere bevinding is dat Objectiviteit geen significante rol speelt in het model van vertrouwen. Zoals eerder vermeld is, stellen voorstanders van AI-algoritmes dat deze technologie human bias vermindert en dat deze technologie dus objectiever kan beoordelen dan een mens. Deze gedachtegang wordt echter niet helemaal teruggezien bij de doelgroep. De p-waarde (p = 0.11) voor de relatie tussen Objectiviteit en Vertrouwen naderde echter wel het significantieniveau. Dit kan betekenen dat er bij een grotere
steekproef toch een significante relatie had kunnen worden aangetoond. Om die reden kan het interessant zijn voor vervolgonderzoekers om de relatie tussen Objectiviteit en Vertrouwen voor deze technologie verder te onderzoeken. In figuur 4 wordt een conceptueel model voorgesteld waarmee
vervolgonderzoekers aan de slag kunnen gaan. De relatie tussen Objectiviteit en Vertrouwen staat hier in stippellijntjes omdat deze relatie geen onderdeel is van het gevalideerde model en dus nog bewezen moet worden.
Figuur 4: Voorgesteld conceptueel model voor vervolgonderzoek
2.1. In hoeverre verschilt dit vertrouwen tussen IT- en overige studenten?
Verder werd er bij deze onderzoeksvraag ook de volgende deelvraag gesteld: “In hoeverre verschilt dit vertrouwen tussen IT en overige studenten”. Om deze vraag te beantwoorden is er gebruik gemaakt van een t-toets per stelling en per component en een multi-group analysis. Uit de resultaten van de
eerstgenoemde methode kan er worden geconcludeerd dat er op de meeste stellingen geen significant verschil tussen de beide groepen te vinden is. Behalve op de stellingen “Ik denk dat AI-algoritmes in de maatschappelijke sector hun werk goed zouden kunnen doen.”, “Ik geloof dat de er veel mogelijke toepassingen zijn van AI-algoritmes in de maatschappelijke sector.” en “Ik geloof dat een AI-algoritme objectiever kan beoordelen dan een menselijke beoordelaar.”. Op deze stellingen scoorden IT studenten namelijk significant hoger dan de rest. De effect size zat bij deze stellingen tussen klein en middelgroot. Verder bleek uit de resultaten van de t-toets per component dat IT-studenten AI-algoritmes significant
meer competent achten dan overige studenten. I.e. dat IT-studenten deze component een significante hogere score gaven. Ook hier was de effect size niet erg groot. De resultaten van de multi-group analysis hebben aangetoond aan dat er op geen van de drie componenten of vlakken van Vertrouwen een verschil is tussen de twee groepen.
Er kan dus geconcludeerd worden dat er geen verschil is tussen de twee groepen als het gaat om de manier waarop de verschillende factoren of componenten het vertrouwen in AI-algoritmes in de maatschappelijke context beïnvloeden. Echter, er zijn op niveau van de individuele stellingen waaruit de componenten zijn opgebouwd, wel significante verschillen te vinden tussen beide groepen. Ook op het niveau van de componenten werd er een significant verschil gevonden.
2.2. Discussie met betrekking tot de deelvraag
Bij de t-toets per stelling bleken IT-studenten vooral bij de stellingen behorende bij Competentie significant hoger te scoren dan de overige studenten. Een logische verklaring hiervoor is dat de IT-studenten, door mogelijke kennis over AI-algoritmes, hogere verwachtingen hadden van deze
technologie. Ook op een stelling behorende bij Objectiviteit scoorden ze hoger. Dit is opmerkelijk, omdat in de literatuur gevonden is dat mensen kunnen vallen voor de Illusion of Objectivity omdat ze niet weten hoe bepaalde algoritmes werken. Er zou vervolgens beredeneerd kunnen worden dat mensen met een IT-achtergrond hier niet intrappen, omdat ze kennis hebben over de werking en gevaren van AI-algoritmes. Volgens deze redenering zou er dus een omgekeerd resultaat verwacht kunnen worden, namelijk dat overige studenten hoger scoren op stellingen over Objectiviteit. De significantie bij Objectiviteit zet zich echter niet door op niveau van de componenten. Bij de t-toets per component scoorden IT-studenten namelijk enkel op vlak van Competentie hoger. De resultaten van de multi-group analysis gaven aan dat de verschillende factoren het vertrouwen op niet significant anders beïnvloeden. Ook dit is een
onverwacht resultaat. Opnieuw zou er gedacht kunnen worden dat kennis over het vakgebied zorgt voor een andere visie op een bepaalde technologie. Een zeer logische verklaring voor de onverwachte resultaten bij deze deelvraag is het feit dat er wat zaken misgingen bij het classificeren van de
respondenten uit de doelgroep. Zoals eerder vermeld is er aan het begin van het onderzoek voor gekozen om met de classificaties alfa, bèta en gamma te werken. Echter, deze definities gaven achteraf te veel ruimte voor meerdere interpretaties. Ook was het eigenlijk vooral belangrijk om te onderzoeken of IT-studenten er een andere visie op nahouden dan IT-studenten uit andere richtingen. Om die reden zijn achteraf pas de verschillende respondenten gecategoriseerd op IT-studenten en niet IT-studenten. Een beperking hierin is dat enkel de studenten die effectief een IT-studie volgen werden meegenomen in deze categorie, terwijl er eigenlijk ook gekeken had moeten worden naar studenten met een affectie voor IT of studenten die ooit IT-studie of minor hebben gevolgd. Dit kan ervoor gezorgd hebben dat eventuele verschillen uit de populatie niet zichtbaar waren in de calculaties op de steekproef. Dit is iets wat bij eventueel
vervolgonderzoek verbeterd kan worden.
3. Overige Beperkingen
In de alinea’s hierboven zijn reeds een aantal beperkingen van dit onderzoek vermeld. Een laatste beperking is het feit dat er gebruik is gemaakt van de normale PLS-calculatiefunctie in plaats van de consistente PLS-calculaties. De consistente PLS-calculatie werd geïntroduceerd omdat het gebruik van de “normale” calculatiefuncties mogelijk ongunstige gevolgen zou hebben voor het testen van de hypotheses (Dijkstra & Henseler, 2015). te gebruiken. Echter, er is sprake van een wetenschappelijk debat rondom de calculatiekeuze. In de praktijk wordt er namelijk nog vaak gebruik gemaakt van de “normale”
calculatiefuncties bij volledig reflectieve modellen. In dit onderzoek wordt er aangesloten bij deze praktijk en is er dus gekozen om gebruik te maken van de “normale” calculatiefunctie binnen SmartPLS.
Conclusie
Het onderzoek wees uit dat de componenten Wederkerigheid, Competentie en Waargenomen Risico een het vertrouwen van studenten in AI-algoritmes in de maatschappelijke context beïnvloeden. Opvallend was dat Objectiviteit en Welwillendheid geen significante invloed hadden op Vertrouwen. Objectiviteit naderde echter wel het significantieniveau. Bijgevolg is er een conceptueel model voorgesteld voor eventueel vervolgonderzoek. Dit vervolgonderzoek moet dan uitwijzen of Objectiviteit mogelijk wél een significant effect uitoefent op Vertrouwen bij een grotere steekproef. Ook wordt vervolgonderzoek voorgesteld naar mogelijke andere factoren die invloed hebben op het vertrouwen in deze technologie, bij deze doelgroep. Verder bleken de resultaten uit dat er een paar significante verschillen zijn tussen IT-studenten en overige IT-studenten. Zo achtten IT-IT-studenten AI-algoritmes in de maatschappelijke context competenter dan de overige studenten. Hiervoor was achterliggende kennis een mogelijke verklaring. Op het niveau van stellingen bleek dat een stelling omtrent Objectiviteit significant verschilde tussen beide groepen. Er moet wel een kanttekening worden gemaakt bij deze resultaten. Ze zijn namelijk mogelijk verminderd valide wegens de gemaakte fouten omtrent de classificatie van deze studenten. Opnieuw zal vervolgonderzoek kunnen uitwijzen of deze verschillen ook werkelijke verschillen zijn.
Naast de aanbevelingen voor vervolgonderzoek is het belangrijk dat studenten zich meer bewust worden over de gevaren en mogelijke negatieve consequenties van het inzetten van AI-algoritmes in de
maatschappelijke context. De resultaten wijzen namelijk uit dat beide groepen zich over het algemeen niet erg bewust zijn van de illusie van objectiviteit, zoals beschreven door Burk (2019), die zich vaak
Bronnen
Angwin, J., Larson, J., Mattu, S., & Kirchner, L. (2016, May 23). How We Analyzed the COMPAS Recidivism Algorithm. Retrieved February 20, 2020, from https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm
Barocas, S., & Selbst, A. D. (2016). Big data's disparate impact. Calif. L. Rev., 104, 671.
Burk, D. L. (2019). Algorithmic Fair Use. U. Chi. L. Rev., 86, 283.
Dijkstra, T. K., & Henseler, J. (2015). Consistent partial least squares path modeling. MIS quarterly, 39(2).
Driscoll, K., & Walker, S. (2014). Big data, big questions| working within a black box: Transparency in the collection and production of big twitter data. International Journal of Communication, 8, 20.
Ensign, D., Friedler, S. A., Neville, S., Scheidegger, C., & Venkatasubramanian, S. (2017). Runaway feedback loops in predictive policing. arXiv preprint arXiv:1706.09847.
Flores, A. W., Bechtel, K., & Lowenkamp, C. T. (2016). False positives, false negatives, and false analyses: A rejoinder to machine bias: There's software used across the country to predict future criminals. and it's biased against blacks. Fed. Probation, 80, 38.
Gulati, S., Sousa, S., & Lamas, D. (2019). Design, development and evaluation of a human-computer trust scale. Behaviour & Information Technology, 38(10), 1004-1015.
Hajian, S., Bonchi, F., & Castillo, C. (2016, August). Algorithmic bias: From discrimination discovery to fairness-aware data mining. In Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining (pp. 2125-2126).
Henseler, J., Ringle, C. M., & Sarstedt, M. (2015). A new criterion for assessing discriminant validity in variance-based structural equation modeling. Journal of the academy of marketing science, 43(1), 115-135.
Lucas, R. E., Diener, E., & Suh, E. (1996). Discriminant validity of well-being measures. Journal of personality and social psychology, 71(3), 616.
Lum, K., & Isaac, W. (2016). To predict and serve?. Significance, 13(5), 14-19.
McAfee, A., Brynjolfsson, E., Davenport, T. H., Patil, D. J., & Barton, D. (2012). Big data: the management revolution. Harvard business review, 90(10), 60-68.
Russom, P. (2011). Big data analytics. TDWI best practices report, fourth quarter, 19(4), 1-34.
Vieira, P. C. (2016). T-test with Likert scale variables. Available at SSRN 2770035.
Villars, R. L., Olofson, C. W., & Eastwood, M. (2011). Big data: What it is and why you should care. White Paper, IDC, 14, 1-14.
Wong, K. K. K. (2013). Partial least squares structural equation modeling (PLS-SEM) techniques using SmartPLS. Marketing Bulletin, 24(1), 1-32.
Wu, X., Zhu, X., Wu, G. Q., & Ding, W. (2013). Data mining with big data. IEEE transactions on knowledge and data engineering, 26(1), 97-107.
Bijlagen
Bijlage 1: Originele enquêtevragen (Gulati et al., 2019)
(1) I believe that there could be negative consequences when using (—)
(2) I feel I must be cautious when using (—) (3) It is risky to interact with (—)
(4) I believe that (—) will act in my best interest
(5) I believe that (—) will do its best to help me if I need help (6) I believe that (—) is interested in understanding my needs and preferences
(7) I think that (—) is competent and effective in (—) (8) I think that (—) performs its role as (—) very well (9) I believe that (—) has all the functionalities I would expect from (—)
(10) If I use (—), I think i would be able to depend on it completely
(11) I can always rely on (—) for (—)
(12) I can trust the information presented to me by (—)
Bijlage 2: De enquêtevragen en hun afkorting
1. Over het algemeen vertrouw ik AI-algoritmes in de maatschappelijke sector. (zie voorbeelden in de beschrijving) = V1
2. Ik geloof dat er negatieve consequenties kunnen volgen als een AI-algoritme bepaalt wie extra gescreend wordt op belastingfraude, waar politiepatrouilles worden ingezet, waar er mogelijk een wietplantage zit … = R1
3. Ik vind dat men voorzichtig om moet gaan met AI-algoritmes in de maatschappelijke sector. = R2
4. Ik geloof dat AI-algoritmes in de maatschappelijke sector worden opgezet met mijn belang in gedachten. = W1
5. Ik geloof dat AI-algoritmes in de maatschappelijke sector mij hulp kunnen bieden, als ik hulp nodig heb. = W2
6. Ik ben ervan overtuigd dat de ontwerpers van AI-algoritmes in de maatschappelijke sector uitgaan van mijn behoeftes en voorkeuren. = W3
7. Ik denk dat AI-algoritmes competent en effectief keuzes kunnen maken in de maatschappelijke sector. = C1
8. Ik denk dat AI-algoritmes in de maatschappelijke sector hun werk goed zouden kunnen doen. = C2
9. Ik geloof dat de er veel mogelijke toepassingen zijn van AI-algoritmes in de maatschappelijke sector. = C3
10. Als ik me laat beoordelen door een AI-algoritme (in een maatschappelijke context) ben ik in goede handen. = WE1
11. Ik vertrouw de informatie die over mij wordt vastgesteld op basis van een AI-algoritme in de maatschappelijke sector. = WE2
12. Ik geloof dat beoordeling door AI-algoritmes in de maatschappelijke sector objectief (onbevooroordeeld en gebaseerd op feiten) is. = O1
13. Ik geloof dat een AI-algoritme objectiever kan beoordelen dan een menselijke beoordelaar. = O2
19-4-2020 Vertrouwen in AI-algoritmes in de Maatschappelijke Sector
https://docs.google.com/forms/d/1Gg8ZzeILLolBXTwYGlrotH7BXpm3uCN-i-to1K58NW4/edit 1/7
1.
Mark only one oval.
Nederland België
2.
Mark only one oval.
Ja
Nee Skip to section 4 (Bedankt voor uw moeite!)
3.
Ve rouwen in AI-algoritmes in de
Maatschappelijke Sector
*BELANGRIJK: lees deze informatie voor u aan de vragenlijst begint*
Deze vragenlijst is uitsluitend bedoeld voor studenten aan de universiteit uit zowel België als Nederland. De resultaten uit deze vragenlijst zullen worden gebruikt bij mijn afstudeerscriptie van de bacheloropleiding Informatiekunde aan de Universiteit van Amsterdam.
Het doel van deze vragenlijst is het meten van het vertrouwen in artificiële intelligentie algoritmes (AI-algoritmes) in de maatschappelijke sector. Deze algoritmes zijn getraind op o.a. historische data en doen een voorspelling aan de hand van real-time data gegeneerd uit sensoren en/of camera's, maar ook mogelijk a.d.h.v. data die beschikbaar is over u.
Het invullen van deze vragenlijst duurt ongeveer 5 à 10 minuten en uw deelname is anoniem. Echter, u kunt er voor kiezen om uw e-mailadres in te vullen, dan maakt u namelijk kans om een bol.com-cadeaukaart van 15 euro te winnen. Uw e-mailadres wordt alleen voor dit doel gebruikt en op geen enkele wijze verder gebruikt voor dit onderzoek. De winnaar van deze cadeaubon wordt willekeurig uitgekozen en bekendgemaakt na sluiting van de vragenlijst. Alvast heel erg bedankt voor uw hulp bij mijn afstuderen!
* Required
Waar woont u?
*
Studeert u aan de universiteit?
*
19-4-2020 Vertrouwen in AI-algoritmes in de Maatschappelijke Sector
https://docs.google.com/forms/d/1Gg8ZzeILLolBXTwYGlrotH7BXpm3uCN-i-to1K58NW4/edit 2/7
4.
Mark only one oval.
Alfa (bv. talen, rechten, filosofie, geschiedenis...) Bèta (natuurwetenschappen)
Gamma (bv. psychologie, informatiekunde, sociologie...) Ik weet het niet
Stellingen
* BELANGRIJK: Lees deze informatie voor u de stellingen beoordeelt.* Er zullen een paar stellingen omtrent vertrouwen in AI-algoritmes in de
maatschappelijke sector gepresenteerd worden, waarna u aangeeft in welke mate u het hier eens of oneens mee bent.
Voorbeelden van AI-algoritmes in de maatschappelijke sector: (Let op, er kunnen fictieve voorbeelden tussen zitten)
1. Een algoritme dat aan de hand van data uit een wijk (samenstelling van de buurt, energieverbruik..) bepaalt waar er mogelijk een wietplantage is.
2. Een algoritme dat bepaalt of uw belastingaangifte wel of niet gescreend wordt. 3. Een algoritme dat aan de hand van politiedata bepaalt in welke buurten er extra patrouilles ingezet moeten worden.
5.
Mark only one oval.
Geen mening
Helemaal niet mee eens Oneens
Noch oneens, noch eens Eens
Helemaal mee eens
