1. Bennet Moses, L., & Chan, J. (2016). Algorithmic prediction in policing: assumptions, evaluation, and accountability. Policing and Society, 28(7), 806–822. https://doi.org/10.1080/10439463.2016.1253695
In dit artikel wordt software onderzocht die de politie gebruikt voor het bestrijden van criminaliteit. Hoewel veel softwarepakketten beter ondersteuning bieden dan analoge alternatieven, werken veel toepassingen niet optimaal. Hierdoor is er een risico op discriminatie. Dit komt doordat er 1) te weinig begrip is van de software, 2) te weinig wordt geëvalueerd en 3) scheve resultaten zijn door een self-fulfilling proficy. Daarnaast is er veel vertrouwen in de software, waardoor veel beslissingen op basis van dergelijke software te weinig in twijfel worden getrokken.
2. Bottis, M., & Bouchagiar, G. (2018). Personal Data v. Big Data in the EU: Control Lost, Discrimination Found. Open Journal of Philosophy, 08(03), 192–205. https://doi.org/10.4236/ojpp.2018.83014
In dit artikel worden ethische kanten van persoonlijke en big data in Europa behandeld. Er wordt onderzocht of de regelgeving van de GDPR voldoende bescherming biedt met betrekking tot privacy en discriminatie. Ze
onderzoekers concluderen dat dit niet het geval is en dat grondwettelijke rechten geschonden worden. Big data maakt het mogelijk om te discrimineren binnen de grenzen van de wet. Bottis en Bouchagiar roepen op om de regels van de GDPR aan te scherpen.
3. Cheng, M., & Foley, C. (2018). The sharing economy and digital discrimination: The case of Airbnb. International Journal of Hospitality Management, 70, 95–98.
https://doi.org/10.1016/j.ijhm.2017.11.002
Dit is een case study waar de rol van Airbnb onderzocht wordt met betrekking tot digitale discriminatie. Airbnb is herhaaldelijk in verband gebracht met digitale discriminatie. Cheng & Foley merken op dat het lastig is voor Airbnb om digitale discriminatie te bestrijden. Het bedrijf vindt dat verhuurders altijd het recht moeten behouden om te kiezen wie er in hun huis verblijft. Chen & Foley merken op dat de complexiteit dermate groot is, dat interventies het probleem nooit helemaal oplossen. Deze paper kan gezien worden als startpunt voor de bestrijding van digitale discriminatie in de gedeelde economie.
4. Cohen, M. C. (2018). Big Data and Service Operations. Production and Operations Management, 27(9), 1709–1723. https://doi.org/10.1111/poms.12832
In dit onderzoek wordt er gekeken naar de mate waarin big data de service industrie beïnvloedt. Het artikel illustreert hoe de grote toename van Het artikel laat zien op welke manieren dit gebeurt en welke problemen en uitdagingen er zijn. Een van die uitdagingen is discriminatie die voortkomt uit de big data analyses. Cohen merkt op dat discriminatie vooral optreed in verborgen data. Als oplossing wordt er gepleit voor een technische toepassing die mogelijke discriminatie detecteert, zodat er ingegrepen kan worden.
5. Cigsar, B., Unal, D. (2018). The Effect of Gender and Gender-Dependent Factors on the Default Risk. Revista de Cercetare si Interventie Sociala, 63, 28-41.
Cisgsar & Unal passen in dit onderzoek big data toe om te onderzoeken of geslacht een rol speelt bij het bepalen van de credit score. Er is aanleiding om te denken dat als er een vrouw betrokken is bij de credit scores, deze beter zal zijn dan wanneer enkel mannen zijn betrokken. Deze studie bewijst het voordeel dat vrouwen hebben over mannen met betrekking tot het krijgen van een betere credit score. De reden hiervoor is dat vrouwen betrouwbaarder zijn in het terugbetalen van krediet en minder vaak schulden hebben.
6. Cuquet, M., & fessel, A. (2018). The societal impact of big data: A research roadmap for Europe. Technology in Society, 54, 74–86. https://doi.org/10.1016/j.techsoc.2018.03.005
Cuquet en Fensel onderkennen het gevaar van het gebruik van big data in de samenleving. Zij leggen een stappenplan voor, waarbij verantwoord analyseren met big data centraal staat. Dit stappenplan omvat uitdagingen als privacy en veiligheid, maar ook discrminatie. Transparantie is de belangrijkste aanbeveling die gedaan wordt om discriminatie in big data tegen te gaan. Verder wordt er gepleit voor anti-discriminerende ontwerpen als basis voor big data analyse.
7. Dalenberg, D. J. (2018). Preventing discrimination in the automated targeting of job
advertisements. Computer Law & Security Review, 34(3), 615–627. https://doi.org/10.1016/j.clsr.2017.11.009 In dit onderzoek wordt discriminatie door kunstmatige intelligentie in sollicitatieprocedures onderzocht. Er worden diverse voorbeelden gegeven over hoe algoritmen hier kunnen discrimineren. Vervolgens worden er oplossingen gegeven waardoor algoritmen minder discrimineren. Voorbeelden hiervan zijn het buitensluiten van bepaalde variabelen, correlaties testen tegen een drempel en het gebruik van kunstmatige intelligentie om discriminatie te detecteren.
8. Deliversky, J., & Deliverska, M. (2018). Ethical and Legal Considerations in Biometric Data Usage— Bulgarian Perspective. Frontiers in Public Health, 6, 1–5. https://doi.org/10.3389/fpubh.2018.00025
Dit artikel focust zich op biometrische dataverzameling. Deliversky en Daliverska merken op dat er een serieus risico op discriminatie bestaat als gevolg van data linkage en profilering. Ook merken ze op dat er een gebrek is aan transparantie in de analyse, waardoor het moeilijk is om discriminatie te detecteren. Transparantie zou een belangrijke voorwaarde moeten zijn voor dergelijke analyses. Daarnaast wordt er gepleit voor meer
bewustwording van de risico’s, wat kan leiden op zorgvuldigere procedures.
9. Dressel, J., & Farid, H. (2018). The accuracy, fairness, and limits of predicting recidivism. Science
Advances, 4(1), eaao5580. https://doi.org/10.1126/sciadv.aao5580
In deze paper worden algoritmes die criminaliteit voorspellen onderzocht. Er zou een misvatting bestaan over de superioriteit van dergelijke algoritmen in het opsporen van criminaliteit ten opzichte van menselijke beslissingen. Voorstanders van dergelijke algoritmen gebruiken dit vaak als argument in ethische discussies. In het onderzoek wordt er echter geconcludeerd dat algoritmen niet beter presteren dan mensen. Algoritmen hebben een precisie van 65.2%, terwijl menselijke beslissingen een nauwkeurigheid hebben van ruim 67%.
10. Gillborn, D., Warmington, P., & Demack, S. (2018). QuantCrit: education, policy, ‘Big Data’ and principles for a critical race theory of statistics. Race Ethnicity and Education, 21(2), 158–179.
https://doi.org/10.1080/13613324.2017.1377417
Deze paper behandelt het onderwerp van en discriminatie in het onderwijs als gevolg van big data. Algoritmen die gebruikt worden in het onderwijs maken vaak gebruik van historische kwantitatieve gegevens. Deze gegevens kunnen bevooroordeeld zijn, waardoor er een groot risico op discriminatie is. Volgens Gilborn en Demack ligt te oplossing bij het integreren van meer kwalitatieve data. Zo zouden er minder bevooroordeelde gegevens worden meegenomen in de analyses, wat het risico op discriminatie verkleint.
11. Goldkind, L., Thinyane, M., & Choi, M. (2018). Small Data, Big Justice: The Intersection of Data Science, Social Good, and Social Services. Journal of Technology in Human Services, 36(4), 175–178.
https://doi.org/10.1080/15228835.2018.1539369
Big data wordt steeds meer ingezet in de samenleving. Deze paper benadrukt dat het gebruik van big data niet zonder gevaar is, en kijken kritisch naar het gebruik van big data. Er wordt een nieuw concept geïntroduceerd, genaamd small data, die een einde moet maken aan de onpersoonlijke manier waarop big data individuele gegevens gebruikt. Small data is de tegenhanger van big data die, in tegenstelling tot big data, enkel naar de individu kijkt. Dit zou manipulatie en discriminatie tegen moeten gaan.
12. Golinelli, D., Toscano, F., Bucci, A., & Carullo, G. (2018). Transferring big data within the European Legal Framework: What rol for national healthcare services? Journal of law and medicine, 26, 488–493.
Geraadpleegd van https://www.researchgate.net/publication/329935708_Transferring_Health _Big_Data_within_the_European_Legal_Framework_What_Role_for_National_Healthcare_Services
Dit artikel geeft een juridische kijk op de rol van nationale gezondheidsdiensten en de toenemende invloed van big data op medisch gebied. Gezondheidsgegevens zijn erg gevoelig, en momenteel zou er te weinig gedaan worden om deze gegevens te beschermen. Hierdoor ontstaan er risico’s voor privacy en discriminatie. Een oplossing die gegeven wordt is het mogelijk maken van derde partijen die toezicht houden op instanties die deze gegevens gebruiken voor analyse. Het zou aan de nationale gezondheidsdiensten zijn om dit op te zetten.
13. Iliadis, A. (2018). Algorithms, ontology, and social progress. Global Media and Communication, 14(2), 219–230. https://doi.org/10.1177/1742766518776688
Semantische technologieën en ontologieën worden vaak gebruikt als basis voor algoritmen. Deze toepassingen worden gebruikt door onder andere Facebook. Volgens Illiadis zijn ontologieën en semantische technologieën niet adequaat geëvalueerd. Dit kan leiden tot classificatiefouten en uiteindelijk tot discriminatie. Er zou te weinig aandacht voor zijn. Verder worden er twee voorbeelden geïllustreerd waarbij ontologieën en semantische technologieën sociale processen beïnvloeden.
14. Kamiran, F., Mansha, S., Karim, A., & Zhang, X. (2018). Exploiting reject option in classification for social discrimination control. Information Sciences, 425, 18–33. https://doi.org/10.1016/j.ins.2017.09.064
Dit onderzoek richt zich op het discriminatieprobleem in de juridische wereld. Er wordt gesteld dat de huidige tools die het bewustzijn van discriminatie aan het licht brengt kwalitatief onvoldoende zijn. Er is een raamwerk gemaakt die het bewustzijn van discriminatie in juridische beslissingen aan het licht brengt. Dit raamwerk heeft vooral betrekking op de selectie van de variabelen die in big data analyses gebruikt worden.
15. Montgomery, K., Chester, J., & Kopp, K. (2018). Health Wearables: Ensuring Fairness, Preventing
Discrimination, and Promoting Equity in an Emerging Internet-of-Things Environment. Journal of Involmation
Policy, 8, 37–77. Geraadpleegd van
https://www.jstor.org/stable/10.5325/jinfopoli.8.2018.0034#metadata_info_tab_contents
Door het toenemende gebruik van draagbare apparaten zoals sporthorloges en draagbare bloeddrukmeters, neemt het risico op privacyschending en discriminatie toe. De grootste belemmering is het gebrek aan wet en regelgeving op dit gebied. In dit onderzoek worden er door middel van kwalitatief onderzoek adviezen gegeven aan beleidsmakers. Negen verschillende adviezen worden gegeven om een veilig gebruik van het internet of things te waarborgen.
16, Montiel, A. (2018). Gender equality and big data in the context of the sustainable development growth. The open journal of sociopolitical studies, 6, 544–556. https://doi.org/10.1285/i20356609v11i2p544
Montiel haalt het probleem van discriminatie onder vrouwen aan. Ze stelt dat het tijdperk van big data de genderongelijkheid alleen maar doet toenemen. De oorzaak hiervan is enerzijds de digitale kloof die aanwezig is. Zo hebben vrouwen in bijna elk gebied in de wereld tien tot veertig procent minder toegang tot het internet, waardoor er minder vrouwelijke data gegenereerd wordt. Daarnaast zijn het vooral mannen die werkzaam zijn in de ICT, waardoor de belangen van vrouwen mogelijk ondermijnd worden. Het is een uitdaging om naar meer gelijkheid te streven in het tijdperk van big data.
17. Onay, C., & Öztürk, E. (2018). A review of credit scoring research in the age of Big Data. Journal of
Financial Regulation and Compliance, 26(3), 382–405. https://doi.org/10.1108/jfrc-06-2017-0054
Deze paper is een literatuur review die kredietscoresystemen onderzoekt. Er is literatuur verzameld van de afgelopen 42 jaar. Kredietscoresystemen komen steeds vaker voor in de samenleving, maar ze brengen uitdagingen met zich mee in de vorm van privacy en discriminatie. Mensen in ontwikkelingslanden hebben vaak een lagere kredietscore omdat zij vaak minder toegang hebben tot het internet. Er worden minder gegevens over hen verzameld, wat resulteert in een hoger risico. China probeert deze digitale kloof te overbruggen door gediscrimineerde bevolkingsgroepen voordelen te bieden zodat het ook voor hen mogelijk maakt om betere kredietscores te krijgen.
18. Paterson, M., & McDonagh, M. (2018). Data protection in an era of big data: The challenges posed by big personal data. Monash University Law Review, 44(1), 1–20. Geraadpleegd van
https://www.monash.edu/__data/assets/pdf_file/0009/1593630/Paterson-and-McDonagh.pdf
Paterson & McDonagh onderzoeken de uitdagingen omtrent het gebruik van personal data door bedrijven. Ze noemen enkele voorbeelden dat er wordt gediscrimineerd met persoonlijke gegevens in de vorm van oneerlijke marketing en ongelijke behandelingen. In de wet staat dat dit verboden is. Echter, de regelgeving van de GDPR is onvolledig, waardoor er aansluitende wetten gemaakt zouden moeten worden door overheden. Tot op heden gebeurt dit niet.
19. Regan, P. M., & Jesse, J. (2018). Ethical challenges of edtech, big data and personalized learning: twenty- first century student sorting and tracking. Ethics and Information Technology, 21(3), 167–179.
In dit artikel worden algoritmen die gebruikt worden voor gepersonaliseerd onderwijs behandeld. Discriminatie in het onderwijs is een probleem dat zich al voordoet sinds de vorige eeuw. Regan en Jesse zijn bang dat deze historische data ook invloed heeft op de resultaten die algoritmen nu gebruiken om kinderen te beoordelen. Ze merken op dat de variabelen die gebruikt worden in dergelijke algoritmen discriminatie niet kunnen voorkomen. Er is wet en regelgeving op dit gebied, maar ook dat is niet voldoende. Overheden leggen de verantwoordelijkheid bij de aanbieders van het onderwijs, maar zij hebben niet genoeg kennis om discriminatie te voorkomen.
20. Schaefer, G. O., Tai, E. S., & Sun, S. (2019). Precision Medicine and Big Data. Asian Bioethics
Review, 11(3), 275–288. https://doi.org/10.1007/s41649-019-00094-2
In dit artikel wordt Genetische discriminatie behandeld in de medische wereld. Hoewel het een betere aanpak is dan de “one size fits all” procedure, zijn er ook gevaren. Een van die gevaren is het risico op discriminatie. Er worden diverse adviezen gegeven over het opstellen van een procedure die nagelopen zou moeten worden om de risico’s te minimaliseren. Deze adviezen betreffen ook de manier waarop er met gevoelige informatie omgegaan moet worden. Transparantie wordt gezien als belangrijkste aspect.
21. Tschider, C. A. (2018). Regulating the internet of things: Discrimination, privacy, and cybersecurity in the artificial intelligence age. Denver Law Review, 96(1), 87-144.
In dit artikel worden uitdagingen betreffende het Internet of Things onderzocht. Ze presenteren alle uitdagingen die erbij komen kijken met betrekking tot privacy en discriminatie, en waarom huidige wet- en regelgeving niet werkt. Ook presenteren ze enkele oplossingen, zoals transparantie en mid-level data classification. Deze classificatie zou ervoor moeten zorgen dat gegevens minder goed te herleiden zijn naar de identiteit van een persoon.
22. Tusinski Berg, K. (2018). Big Data, Equality, Privacy, and Digital Ethics. Journal of Media Ethics, 33(1), 44–
46. https://doi.org/10.1080/23736992.2018.1407189
Deze paper schijnt haar licht op een aantal belangrijke ethische aspecten omtrent het gebruik van big data. De paper beoordeeld een paar populair wetenschappelijke boeken die zich met de ethiek van big data bezighouden. Er wordt geconcludeerd dat elke datawetenschapper een eed zou moeten afleggen die vergelijkbaar is met de eed die advocaten moeten afleggen. In deze eed zouden wetenschappers de gevaren en uitdagingen van big data moeten erkennen en hier ethisch verantwoord mee om moeten gaan.
23. Vayena, E., & Blasimme, A. (2018). Health Research with Big Data: Time for Systemic Oversight. The
Journal of Law, Medicine & Ethics, 46(1), 119–129. https://doi.org/10.1177/1073110518766026
Dit artikel legt de focus op big data analyses op medisch gebied. De analyses die worden gedaan met deze gevoelige data zouden niet veilig genoeg zijn en zijn ook niet bestand tegen discriminatie. Als oplossing pleiten Vayena en Blasimme voor een “Systematic Oversight Approach”, waarbij transparantie centraal staat. Ook moeten individuen beter geïnformeerd worden over de doeleinden van hun data, zodat zij betere beslissingen kunnen nemen.
24. Wachter, S. (2018). Normative challenges of identification in the Internet of Things: Privacy, profiling, discrimination, and the GDPR. Computer Law & Security Review, 34(3), 436–449.
https://doi.org/10.1016/j.clsr.2018.02.002
Dit artikel focust zich op de uitdagingen die zich voordoen bij het gebruik van internet of things. Vier uitdagingen worden behandeld, zijnde profiling, identity, consent en transparantie. Er wordt gekeken in hoeverre de GDPR helpt in het overkomen van deze obstakels. Concluderend helpen de GDPR regels in zekere zin, maar dit is nog lang niet voldoende om de gebruiker volledig te beschermen. Er wordt geopperd om meer onderzoek te doen naar wet- en regelgeving die gebruikers wel voldoende kan beschermen.
25. Wang, C., Hu, Q., Wang, X., Chen, D., Qian, Y., & Dong, Z. (2017). Feature Selection Based on
Neighborhood Discrimination Index. IEEE Transactions on Neural Networks and Learning Systems, 1–14.
https://doi.org/10.1109/tnnls.2017.2710422
Wang et al hebben een verbeterde versie gemaakt voor de selectie van variabelen in algoritmen. Het probleem is dat algoritmen teveel irrelevante variabelen meenemen, wat voor foute resultaten kan zorgen. Deze machine
learning toepassing maakt gebruik gemaakt de entropietheorie van Shannon. De toepassing wordt de
discrimination index genoemd. De resultaten laten een betere nauwkeurigheid zien en een kleinere looptijd. Door deze methode te gebruiken kunnen algoritmen beter presteren en kunnen ze leiden tot minder discriminatie.