Cece Kooper (Brein & Cognitie) - 10745564 Mila Lucker (Brein & Cognitie) - 10798153 Jonne Maas (Kunstmatige Intelligentie) - 10719407
Ward Schaefers (Natuurkunde) - 10723579
Sensory substitution device
(SSD): een
vervanging van een kleurervaring bij
mensen met retinale kleurenblindheid
Vrije domein Hoofddocent: Machiel Keestra Bèta Gamma - IIS3 februari 2017 Tweede begeleider: Jeroen Bruggeman Universiteit van Amsterdam aantal woorden: TO DO Junior docent: Evert Glebbeek
Abstract
Retinale kleurenblindheid is een aandoening waarbij geen kleur wordt waargenomen, vanwege disfunctionerende kegeltjes in het oog. Bij het waarnemen van kleur komt echter veel meer kijken: het is een complex proces. Sensory substitution devices (SSD’s) zijn apparaten die de afwezigheid van een zintuig aanvullen met een ander zintuig. Neil Harbisson heeft retinale kleurenblindheid en gebruikt een SSD. Hiermee kan hij kleuren onderscheiden door middel van tonen. Er is onderzocht of een kleurervaring door middel van een SSD kan worden vergeleken met een kleurervaring van een persoon die kleuren ziet. Het onderzoek bestaat uit een literatuuronderzoek en een experiment. Het
literatuuronderzoek suggereert dat er overeenkomsten zijn tussen de verschillende kleurervaringen. Het experiment toont aan dat een korte kleur-geluid associatie training iemands kleurperceptie kan aanpassen door geluid. Dit suggereert dat een SSD een kleurervaring kan opwekken bij iemand met retinale kleurenblindheid die overeenkomsten heeft met een normale kleurervaring.
Inhoudsopgave
Inhoudsopgave 1
Inleiding 3
1. Wanneer wordt er gesproken over een kleurervaring? 5 2. Wat is retinale kleurenblindheid? 9 3. Hoe wordt Harbissons gemis aan functionerende kegeltjes gecompenseerd door de
Eyeborg? 10
3.1 De Eyeborg vanuit een natuurkundig perspectief 10
3.2 Invloed van de Eyeborg op de hersenen 14
4. Kan een aangeleerde kleur-geluid associatie een kleurervaring aanpassen? 15
4.1 Deelnemers 16 4.2 Materialen 16 4.3 Procedure 19 4.4 Resultaten 19 Beperkingen experiment 20 Discussie 21 Conclusie 22 Outlook 22 Literatuurlijst 24
Bijlage 1 Verantwoording interdisciplinaire integratie 28
Bijlage 2 Reflectie 29
Bijlage 3 Instructies experiment 30
Bijlage 4 Codes Experiment 31
Inleiding
Kleuren spelen een grote en invloedrijke rol in het dagelijks leven. Wanneer de wereld gezien wordt in grijstinten voelt dit als een gemis (Harbisson, 2012). Kleurwaarneming is echter een complex proces waarvan de hersenprocessen gedeeltelijk nog niet duidelijk zijn (Shapley & Hawken, 2002). Onze hersenen zijn continu bezig met het verwerken van verschillende inkomende sensorische informatie (Clark, 2015). Mensen nemen contrasten tussen golflengten van licht waar. Elk retina beeld bevat meerdere kleuren, maar ook lichtval, afstand en helderheid spelen een cruciale rol bij de mogelijkheid om kleur te kunnen waarnemen (Lotto, Clarke, Corney & Purves, 2011)
Mensen die slechts grijstinten waarnemen hebben retinale kleurenblindheid. Dit is een aandoening waarbij geen kleuren worden waargenomen doordat kegeltjes in de retina
van het oog niet goed functioneren (Gazzaniga, Ivry & Mangun, 2014). Tot nu toe is er geen
medische ingreep mogelijk die dit probleem kan verhelpen. Hierdoor missen mensen met retinale kleurenblindheid een belangrijk aspect van visuele perceptie, namelijk kleur.
Zo kan kleur invloed hebben op de gemoedstoestand: Warme kleuren zoals rood en oranje worden vaak als opwindend beschouwd, terwijl koele kleuren, zoals blauw en groen, als kalmerend worden gezien (Elliot & Maier, 2007). Verder heeft kleur naast esthetische eigenschappen ook de mogelijkheid om specifieke informatie over te brengen. Zo wordt kleur als cue
gebruikt om situaties sneller te herkennen (Elliot & Maier, 2007), e.g.: ‘Kun je mij het
rode boek aangeven?’ Daarnaast heeft kleur invloed op de emoties en het gedrag van mensen (Elliot & Maier, 2007). De positieve of negatieve connotaties met kleur kunnen verandering van gedrag veroorzaken in de context van desbetreffende situaties.
Om deze redenen wordt er gezocht naar een alternatief mechanisme om de
kleurperceptie te ondervangen voor mensen met retinale kleurenblindheid. Sensory
substitution devices
(SSD’s) bieden een mogelijk alternatief. Deze apparaten bestaan uit
visuele sensoren die informatie sturen naar een ‘coupling device’,
een apparaat dat
systematisch visuele informatie omzet in auditieve informatie. Dit kan worden gedaan door middel van koptelefoons of mechanische/elektrische stimulatie op het lichaam
(Hamilton-Fletcher & Ward, 2013). De Eyeborg is hier een uniek voorbeeld van. Deze zet visuele kleurinformatie om in auditieve informatie door middel van een sensor, die
geïmplementeerd is in het schedelbot van Neil Harbisson, de enige drager van Eyeborg. Het is dus geen extensie meer, maar een onderdeel van zijn lichaam. Harbisson heeft retinale kleurenblindheid en wilde het gemis van kleur ondervangen, omdat dit volgens hem een
belangrijk sociaal component is:“I think if colour wasn’t so popular and such an important
everyone uses colour in a social way and as a code.” (Harbisson, 2012). Dankzij de Eyeborg kan hij nu 360 kleuren onderscheiden door deze kleur-geluid associatie aan te leren. Zijn kleurwaarneming zou overeen kunnen komen met een synesthetische ervaring, aangezien synestheten een kleur-geluid associatie van nature hebben. Volgens Harbisson (2012) is zijn kleurperceptie radicaal veranderd sinds hij deze Eyeborg draagt: “I also started dreaming in colour”.
Het is hierbij de vraag of Harbisson daadwerkelijk kleuren kan ervaren door de
toevoeging van de Eyeborg of dat het om geluidservaringen gaat. In dit onderzoek zal aan de hand van een analyse van de Eyeborg een antwoord worden gezocht op de volgende
hoofdvraag: In hoeverre kan een sensory substitution device
een kleurervaring creëren bij
mensen met retinale kleurenblindheid?
Het beantwoorden van deze vraag vergt een interdisciplinaire aanpak. Allereerst is het noodzakelijk om te weten welke aspecten bijdragen aan een kleurervaring. Zoals de fysiologische eigenschappen van het oog, die essentieel zijn voor het detecteren van kleur (de sensorische perceptie), de breindelen die hiermee te maken hebben en cognitieve aspecten die de uiteindelijke kleurervaring beïnvloeden. Als de werking van deze aspecten bekend zou zijn, zou vervolgens duidelijk kunnen worden aan welke eisen de Eyeborg moet voldoen om het gemis van Harbisson te ondervangen. Een natuurkundige analyse is nodig om te begrijpen hoe de Eyeborg systematisch kleurinformatie omzet naar geluidsinformatie en welk effect dit heeft op Harbissons brein. Ook zal met behulp van de natuurkunde worden toegelicht hoe er onderscheid wordt gemaakt tussen het geluid van de Eyeborg en het horen van een normaal geluid. Verder wordt op neuraal niveau besproken wat voor effect de Eyeborg heeft op het brein van Harbisson en welke rol synesthesie hierin speelt. Dit wordt onderbouwd met een experiment, waarin wordt onderzocht of een kleurervaring kan worden beleefd door aangeleerde geluidsassociatie. Kunstmatige intelligentie is gebruikt om dit experiment te programmeren. Kunstmatige intelligentie speelt uiteraard een centrale rol in dit onderzoek, omdat de Eyeborg een combinatie van mens en machine is.
De disciplines brein en cognitie, natuurkunde en kunstmatige intelligentie zullen in dit onderzoek aan bod komen. Dit betekent dat er in het onderzoek niet in zal worden gegaan op de filosofische begrippen, zoals bijvoorbeeld kleursensatie.
Op basis van dit onderzoek naar Harbisson wordt verwacht dat een SSD een kleurervaring kan representeren. Om deze hypothese te testen, zullen eerst de deelvragen van het literatuuronderzoek worden beantwoord:
● Wanneer wordt er gesproken over een kleurervaring? ● Wat is retinale kleurenblindheid?
● Hoe wordt Harbissons gemis aan functionerende kegeltjes gecompenseerd door de Eyeborg?
● Kan een aangeleerde kleur-geluid associatie een kleurervaring aanpassen? De laatste deelvraag zal met behulp van een experiment worden toegelicht. Hierin wordt gekeken of een kleurervaring kan worden aangepast door aangeleerde associaties met tonen. Met de uitkomst van het experiment, in combinatie met het literatuuronderzoek, zou een voorzichtige uitspraak kunnen worden gedaan over de vraag in hoeverre de Eyeborg retinale kleurenblindheid kan vervangen.
1. Wanneer wordt er gesproken over een kleurervaring?
Kleurervaring is een lastig fenomeen. Het gedachtenexperiment van Jackson over ‘Mary the super-color scientist’ illustreert deze complexiteit. Mary leeft in een wereld met alleen zwart en wit; zij heeft nog nooit een kleur gezien (McGeer, 2003). Wel beschikt zij over alle kennis met betrekking tot kleuren: van fysieke tot functionele eigenschappen. Wanneer zij voor het eerst in de wereld van kleur treedt, blijkt ze toch een nieuw aspect van de fenomenologie van kleur te ervaren: de kwaliteit van kleur. Mary kan nu ook cues
herkennen. Dit wekt de indruk
dat een kleurervaring meer is dan alleen fysieke en functionele informatie. Wetenschappers verschillen van mening over de kwaliteit van de ervaring in dit experiment (McGeer, 2003). Er lijkt een sensor nodig die ervoor zorgt dat kleurinformatie van de buitenwereld in het brein terecht komt: een sensorische perceptie.
In dit onderzoek wordt gesteld dat een sensorische perceptie essentieel is om tot de kwaliteit van kleur te komen.
Figuur 1.
Anatomie van het Oog (Uit: “Retinal Processing”, door Lamme, V. 2016, 7
september. Geraadpleegd van
https://blackboard.ic.uva.nl/bbcswebdav/pid-6185579-dt-content-rid-9912081_1/courses/251 1.7203BACHBNC.S1.1.2016/PAA%2C%20College%202%2C%20Retinal%20processing.pdf
)
Voor een sensorische perceptie van kleur is een transductie nodig van een licht stimulus naar een neuraal signaal, dat het brein kan interpreteren (Colizoli, 2016) . De transductie van 1 kleur bij mensen vindt plaats door middel van fotoreceptoren, die zich bevinden in de retina van het oog. Er zijn twee soorten fotoreceptoren: kegeltjes en staafjes. De staafjes zitten verspreid over de retina en zijn minder gevoelig voor licht. Kegeltjes zitten vooral
geconcentreerd in de fovea, de plek waar het scherpst wordt gezien, en zijn gevoelig voor licht, zie Figuur 1. Ook zijn de kegeltjes belangrijk voor het detecteren van kleur met behulp van lichtgolven. Er bestaan drie soorten kegeltjes. Elk soort is specifiek voor korte, medium of lange golflengten van licht en samen zijn deze onmisbaar voor kleurenzicht (Conway et al., 2010). De kegeltjes zetten licht-informatie om in neurale signalen die vervolgens via de visuele stroom in de visuele cortex terecht komen, zie Figuur 2.
In de visuele cortex zijn voornamelijk V1, V2 en V4 systematisch actief in het verwerken van kleur (Conway et al., 2015), zie Figuur 2. Zo blijkt uit onderzoek dat V4 een 1 Bron afkomstig van Blackboard UvA (niet publiekelijk toegankelijk).
belangrijk gebied is voor kleurconsistentie (Zeki, 1983) en het zien van specifieke kleuren, luminantie (Motter, 1994). Daarnaast is bekend dat V4 ook andere functies heeft. Zo is V4 ook actief wanneer gekeken wordt naar beweging (Tootell & Hadjikhani, 2001). Het is dus lastig om exacte hersengebieden toe te wijzen aan een kleurervaring. Het begrip
many-to-many mapping ondersteunt deze complexiteit van het brein (Anderson, 2007; Gazzaniga et al., 2014). Dit begrip houdt in dat één hersendeel betrokken is bij meerdere executieve functies en één functie wordt uitgevoerd door meerdere hersendelen.
Figuur 2.
Hiërarchische Organisatie van Concurrent Processing Streams in the Macaque Aap
(Uit: “ Neural mechanisms of form and motion processing in the primate visual system
”. Door
van Essen & Gallant,1994, Neuron, 13,
p. 1-10)
Een andere manier om de complexiteit van kleurverwerking in de hersenen te laten zien is het fMRI onderzoek van Vandenbroucke, Fahrenfort, Meuwese, Scholte & Lamme (2016) naar de invloed van objectkennis. Hierbij kregen deelnemers kleuren tussen rood en groen gepresenteerd op iets kenmerkends rood (tomaat), groen (klaver) of een object zonder betekenis, zoals te zien is in Figuur 3. Wanneer de ambigue kleur op een congruent object werd gelegd, kon aan de hand van neurale processen in V3, V4 en VO1 worden voorspeld
welke kleur de proefpersoon ervoer. Dit kon niet voorspeld worden wanneer de ambigue kleur op een object werd gelegd waar geen kleurassociatie mee was, aangezien hier geen verschil in neurale respons te zien was (Vandenbroucke et al., 2016). Hieruit valt af te leiden dat objectkennis de informatie van een golflengte al op een heel vroeg stadium in het visuele systeem beïnvloedt. Er is dus sprake van feedback en feedforward connecties die ervoor zorgen dat niet alleen de sensorische perceptie de uiteindelijke kleurervaring bepaalt.
Figuur 3.
Stimuli uit het Onderzoek van Vandenbroucke et al. (2016) naar Objectkennis.
Naast biologische constraints
zijn er ook cognitieve constraints bij het ervaren van kleur. Zo
laat onderzoek van Schirillo (2001) zien dat taal een belangrijk aspect speelt in het verwerken van kleur. In tegenspraak hiermee zijn de resultaten van Hieder (1972). Hij onderzocht de Dani bevolking die slechts twee kleurtermen kennen. Dit volk kon in zijn experiment goed onderscheid maken tussen verschillende kleuren, terwijl deze kleuren geen woord hadden in hun taal. Na ander onderzoek van Gordon (2004) naar Australische
kinderen wordt echter duidelijk dat cultuur in iemands denken een veel grotere rol speelt dan taal. Hoewel onduidelijk is of iedereen dezelfde oranje waarneemt, is wel duidelijk dat de verhoudingen tussen kleuren universeel zijn. Iedereen die kleuren kan verwerken zal oranje plaatsen tussen rood en geel en ervaart dus relatief hetzelfde kleurenspectrum (Kay, Berlin, Maffi, & Merrifield, 2003 aangehaald in Belpaeme & Bleys, 2005)
Samenvattend lijkt een kleurervaring uit verschillende aspecten te bestaan. Allereerst is er een sensorische perceptie nodig om tot de uiteindelijke kleurervaring te komen: de kwaliteit van kleur. Voor de sensorische kleurperceptie spelen kegeltjes een essentiële rol in de transductie van kleur naar het brein. In het brein lijken de belangrijkste gebieden voor de perceptuele kleurverwerking V1, V2 en V4 te zijn. Er kan echter niet gezegd worden bij
activatie van deze gebieden dat er sprake is van een kleurervaring doordat het brein een complexe many-to-many mapping heeft. Daarnaast speelt de objectkennis en cultuur een belangrijke rol in hoe een kleur wordt ervaren. Wel lijkt het erop dat iedereen relatief hetzelfde kleurenspectrum waarneemt.
2. Wat is retinale kleurenblindheid?
Een aandoening waarbij mensen helemaal geen kleurervaring hebben is retinale
kleurenblindheid. Bij Harbisson is dit van toepassing. Hij heeft vanaf zijn geboorte retinale kleurenblindheid en ervaart dus slechts grijstinten. Dit komt doordat kegeltjes, de receptoren voor kleur, in de retina van het oog niet functioneren (Gazzaniga et al., 2014). De transductie van de kleurinformatie naar het brein kan hierdoor niet plaatsvinden.
Ook is dit op neuraal niveau te zien in het onderzoek van Alfaro, Bernabeu, Agolló, Parra & Fernández (2015) waar Harbisson wordt bestudeerd in een fMRI-scan. Harbisson heeft bij het zien van zowel chromatic (kleurrijke) als achromatic (kleurloze) stimuli enkel activatie in V1 en V2 (Alfaro et al., 2015). Personen die wel kleuren kunnen zien hebben een verschil in hersenactiviteit bij het zien van chromatic en achromatic stimuli. Bij achromatic stimuli is enkel activatie te zien in V1 en V2 terwijl bij een chromatic stimuli er ook activatie is in V4 en gebieden van de occipitale, temporale, pariëtale en frontale cortex (Alfaro et al., 2015). Deze resultaten laten zien dat Harbisson geen perceptuele kleurinformatie kan verwerken en dus geen kleurervaring heeft.
Harbisson kan geen sensorische kleurperceptie verkrijgen door het gemis van functionerende kegeltjes, waardoor de kleurinformatie niet binnenkomt in de visuele cortex. Wel lijkt Harbisson enige objectkennis te hebben omdat zijn zicht verder normaal is. Hij heeft zijn hele leven zichzelf kleureigenschappen van objecten aangeleerd waardoor hij alles weet over kleuren: bij het zien van een tomaat kon hij vertellen dat deze waarschijnlijk rood was. Harbisson lijkt hierdoor meer op het voorbeeld van Mary the color scientist. In tegenstelling tot Mary kan Harbisson de wereld van kleur niet betreden. Daarom heeft Harbisson een alternatief voor deze sensorische kleurperceptie, namelijk de Eyeborg.
3. Hoe wordt Harbissons gemis aan functionerende kegeltjes
gecompenseerd door de Eyeborg?
3.1 De Eyeborg vanuit een natuurkundig perspectief
Harbisson (2014) wilde dat zijn Eyeborg zo objectief mogelijk een kleur naar geluid kon omzetten: “[...] I wanted to perceive colour in a one hundred percent objective way. So I just wanted to sense the frequency of light.” Volgens Scholte is het van belang voor een zo objectief mogelijke perceptie van kleur door middel van geluid dat de kleurinformatie relatief hetzelfde spectrum heeft als de geluidsinformatie (pers. comm., 11 november 2016). Zodat Harbisson ook oranje tussen geel en rood zal plaatsen.
De Eyeborg maakt gebruik van een antenne met een sensor die de meest dominante kleur detecteert. Deze antenne is flexibel, waardoor Harbisson het naar een neutrale
omgeving kan buigen als het geluid hem teveel wordt. Een neutrale omgeving is bijvoorbeeld een wit plafond. Elke kleur maakt een geluid, behalve grijstinten, zwart of wit, dus een wit plafond zal hem niet storen. De antenne is in zijn schedel geboord, zodat het één geheel met zijn lichaam is geworden. Onderin de antenne zit een chip die vlakbij de aansluiting met de schedel zit (zie Figuur 4). Deze chip heeft een software die de gedetecteerde golflengtes van kleuren omzet naar een toon.
Figuur 4.
Harbisson en de Eyeborg. (1): Sensor, (2): Chip, (3): Beengeleiding (Uit:
“Wunderkammer of Color”, door Stewart, J. 2013, 16 september. Geraadpleegd van
http://www.printmag.com/imprint/wunderkammer-of-color/)
De software is zo nauwkeurig dat 360 kleuren worden omgezet in microtonen. Deze verhouding van kleur en geluid is algoritmisch bepaald, maar het precieze algoritme is niet bekend. In Figuur 5 staan de kleur-geluid combinaties afgebeeld die de Eyeborg gebruikt.
Een kleur is gekoppeld aan een bepaalde noot (dus voor rood is dit F#). De tint wordt bepaald door de hoogte
(dus octaaf) van de noot. Hoe lichter de kleur, des te hoger de toon
en hoe donkerder, des te lager de toon. Ook is in Figuur 5 te zien dat rood de laagste toon van een octaaf bevat en paars de hoogste. Dit laat zien dat de manier van de kleurindeling is bepaald op basis van het kleurenspectrum, waarbij rood en paars de uitersten zijn.
Figuur 5.
Op de horizontale as de kleur-geluid combinaties van de Eyeborg met op de
verticale as de octaaf hoogte. (uit “Sonochromatic scale, chord triads”, door Corrigan, I. 2013, 13 juli. Geraadpleegd van
http://designseminarspring2013.blogspot.nl/2013/01/sonochromatic-scale-chord-triads.html)
Nadat de kleurinformatie is omgezet in geluidsinformatie, komt deze vervolgens binnen via beengeleiding en is dus alleen voor Harbisson hoorbaar. De conventionele manier om geluid binnen te krijgen is via de lucht, ook wel luchtgeleiding genoemd.
Geluid is een mechanische golf die wordt opgevangen door de oorschelp van het oor. Vervolgens wordt het geluid geconcentreerd via de gehoorgang bij het trommelvlies
(Kapteijn, 2008). In het middelste gedeelte van het oor (Figuur 6) worden deze golven versterkt door het trommelvlies om daarna te worden omgezet in geluidsdruk in de cochlea (Stenfelt, 2011). De cochlea is de receptor van het oor die deze mechanische signalen omzet naar elektrische impulsen voor het brein (Gatto & Demkowicz, 2013). Deze bestaat onder andere uit verschillende compartimenten (Figuur 7) gevuld met vloeistof en het basilaire membraan met haartjes (Kim, Steele & Puria, 2014). Het binnenkomend geluid zorgt ervoor
dat de haartjes op het basilaire membraan gaan trillen. Boven het basilaire membraan ligt het tectoriale membraan. De buiging tussen beide membranen die wordt veroorzaakt door
trillingen wordt omgezet naar elektrische impulsen voor de hersenen (Kapteijn, 2008).
Figuur 6.
Indeling van het gehoororgaan (Uit: “Horen”, 2016. Geraadpleegd van
http://www.spraakengehoor.nl/horen/)
Figuur 7.
Indeling van het binnenoor (Uit: “Audiologieboek”, door Kapteijn, 2008, mei.
Beengeleiding, de manier waarop Harbisson het geluid binnenkrijgt, zit anders in elkaar. Beengeleiding transporteert de trillingen van het schedelbot direct naar het bot rondom de cochlea (Kapteijn, 2008). Het vibrerende bottenstelsel om de cochlea heen laat de
vloeistoffen hierbinnen vibreren, waardoor er gradiënt een druk ontstaat op het basilaire membraan. Door beweging van het basilair membraan zullen er, net zoals bij luchtgeleiding, buigingen ontstaan met het tectoriale membraan waardoor geluid kan worden waargenomen (Stenfelt & Goode, 2005).
Om daadwerkelijk in staat te zijn een geluid te horen via beengeleiding, is er iets nodig wat de trillingen in aanraking doet komen met het schedelbot: een beengeleider. Een voorbeeld hiervan is een gehoorapparaat. In het geval van Harbisson is dit de Eyeborg. Uit een interview met J. Frijns (pers. comm., 2 januari 2017) kwam naar voren dat een
beengeleider het beste kan worden vergeleken met een massa-veersysteem. De frequentie van een massa-veersysteem kan worden berekend door middel van de krachtconstante, zie formules 1 en 2.
(1): , (2):
Formule 1 en 2: Waarin de frequentie in Hertz, de krachtconstante in Newton per meter, de massa in kilogram, de kracht in Newton en de uitwijking in meter is (Vreeswijk et al., 2016).
In het geval van de Eyeborg is de uitwijking ( ) in Formule 2 de uitwijking van de schedel. Volgens Harbisson (2016) blijft het geluidsniveau van de tonen constant, waaruit afgeleid kan worden dat de uitwijking constant blijft. Het verschil in de frequentie van het bot hangt dus af van de grootte van de kracht van de Eyeborg op de schedel. Op basis van de kleurinformatie bepaalt de chip van de Eyeborg algoritmisch hoe groot deze kracht moet zijn. Hierdoor ontstaat er bij verschillende kleuren een bijbehorende frequentie op de schedel, die kan worden opgevangen in het basilaire membraan.
Uit het onderzoek van Stenfelt en Goode (2005) kwam naar voren dat de propagatiesnelheid van luchtgeleiding overeenkomt met de propagatiesnelheid van beengeleiding. Hierdoor is er bij het gebruik van de Eyeborg geen verschil in
dispersierelaties van de verschillende fenomenen. Door het aanbrengen van de Eyeborg is het dus mogelijk om dezelfde relatieve informatie van kleur te ontvangen via geluid.
Harbisson (2016) vertelde dat na het aanbrengen van het apparaat hij maandenlang
binnenoor voortdurend aan het veranderen was. Dit is waarschijnlijk niet schadelijk voor het gehoor volgens Frijns, aangezien gehoorschade, beschadiging van de haartjes op het basilaire membraan, wordt veroorzaakt door de hardheid en de duur van expositie aan lawaai (pers. comm., 2 januari 2017). De amplitude van de geluidsgolven die door
beengeleiding worden gecreëerd, zijn echter zo afgesteld dat het geluid van kleur eerder kan worden beschouwd als een achtergrondgeluid.
Belangrijk om op te merken is dat Harbisson (2012) actief elke naam voor een kleur en bijpassende toon heeft moeten onthouden: “[...] I had to memorize the names you give for each color, so I had to memorize the notes, but after some time, all this information became a perception.”
Dit heeft zijn hersenen ook zichtbaar veranderd (Alfaro et al., 2015).
3.2 Invloed van de Eyeborg op de hersenen
Nadat Harbisson acht jaar met de Eyeborg had rondgelopen, besloot Alfaro et al. (2015) de hersenen van Harbisson te bekijken in een functional Magnetic Resonance Imaging
(fMRI),
Diffusion Tensor Imaging
(DTI) en Single Voxel MR Spectroscopy (H-MRS). Zoals eerder
besproken, was er enkel hersenactiviteit in V1 en V2 wanneer Harbisson alleen
achromatische en chromatische visuele stimuli kreeg aangeboden. In dit onderzoek werd aan Harbisson en een controlegroep ook de auditieve stimuli aangeboden die overeenkomen met specifieke kleuren volgens het algoritme (Figuur 4) waar de Eyeborg gebruik van maakt. Harbisson hoorde in dit experiment de tonen die hij in de afgelopen jaren heeft gelinkt aan specifieke kleuren. Een verrassend resultaat was, dat er een groter aantal mIno/Cr in V4 bij Harbisson is in vergelijking met de controlegroep. Dit impliceert dat er breinplasticiteit
plaatsvindt door het langdurig gebruik van de Eyeborg. Daarnaast wordt ook V4, een van de breindelen die systematisch samenhangt met kleur, geactiveerd bij het horen van de stimuli die corresponderen met de specifieke kleuren. Maar dit resultaat concludeert niet dat Harbisson daadwerkelijk een kleurervaring heeft. Wel is er ook meer connectiviteit te zien tussen de frontale, auditieve en visuele cortex bij Harbisson in vergelijking met de
controlegroep. Door een hogere structurele integriteit van de IFOF (een witte stofbaan) is deze connectiviteit toegenomen. Dit is een aanleiding om Harbissons perceptie te vergelijken met die van kleur-geluid synestheten die ook een verhoogde structurele integriteit hebben van de IFOF (Alfaro et al., 2015).
De Eyeborg is uiteindelijk een compensatie voor de niet-functionerende kegeltjes die voor een kleurperceptie zorgen, mits deze kleur-geluid associaties zijn aangeleerd. De
relatief hetzelfde blijft. Harbisson ziet weliswaar nog steeds in grijstinten, maar door de additionele geluidsinformatie is het waarschijnlijk dat de Eyeborg voor een soortgelijke verwerking van kleurinformatie zorgt. Op neuraal niveau is te zien dat er breinplasticiteit plaatsvindt bij Harbisson door het dragen van de Eyeborg. Dit suggereert niet dat Harbisson door de Eyeborg tot een kleurervaring kan komen, maar enkel dat de aangeleerde
associaties ook voor meer connectiviteit tussen hersengebieden hebben gezorgd. Deze verhoogde connectiviteit is een aanleiding om Harbissons ervaring te vergelijken met die van een kleur-geluid synestheet.
4. Kan een aangeleerde kleur-geluid associatie een kleurervaring
aanpassen?
Synesthesie is een additionele ervaring die tegelijk met een andere sensorische ervaring komt, opgewekt door één externe stimulus.Bij kleur-geluid synesthesie, een vorm van synesthesie, wordt een kleurervaring opgewekt bij het horen van een toon of andersom (Goller, Otten & Ward, 2009). Bij deze additionele kleurervaring ontbreekt de transductie van een licht stimulus naar het brein. Sensorische kleurperceptie is hier dus niet van toepassing. De ervaring wordt opgewekt door een auditieve stimulus die voor een sensorische
geluidsperceptie zorgt. Ook op neuraal niveau is dit te zien bij synestheten: het visuele
gebied is betrokken bij het horen van een toon (Rouw, Scholte & Colizoli, 2011). Daarnaast
hebben synestheten een verhoogde connectiviteit tussen de auditieve en visuele cortex (Hänggi, Beeli, Oechslin, & Jäncke, 2008). Deze verhoogde connectiviteit geeft een
verklaring waarom een synestheet een additionele ervaring krijgt bij het horen van een toon. Een kleurervaring kan dus via een geluidsperceptie worden opgewekt, mits er een
kleur-geluid associatie is.
Ook Harbisson heeft een verhoogde connectiviteit tussen de visuele en auditieve cortex (zie deelvraag 3), door zijn aangeleerde kleur-geluid associatie. Harbissons
kleurervaring lijkt hierdoor op een synesthetische ervaring. Wel is de kleur-geluid associatie van Harbisson aangeleerd en die van een synestheet niet. Het onderzoek van Colizoli, Murre en Rouw (2012), dat gaat over het aanleren van synesthesie, laat zien dat een
synesthesie-achtige ervaring mogelijk is bij een kleur-letter associatie. Deze top-down
processing suggereert dat de Eyeborg ook een kleurervaring kan aanleren door middel van kleur-geluid associaties.Wel is uit de huidige literatuur nog niet bekend of het aanleren van een
kleur-geluid associatie ook een synesthetische kleurervaring opwekt.
Om deze reden zal in dit experiment worden gekeken of de kleurperceptie van paars kan worden beïnvloed door geluid. Dit zal inzicht geven of auditieve informatie een
kleurperceptie kan beïnvloeden. Aangezien Harbisson gebruik maakt van deze associatie om kleuren te onderscheiden, is het relevant om in dit onderzoek te kijken naar de
aanpasbaarheid van een kleurperceptie. Als kleurperceptie kan worden beïnvloed door geluid, lijkt een kleurervaring niet alleen afhankelijk te zijn van de visuele informatie van kleur. Hierdoor wordt het aannemelijker dat de Eyeborg een kleurervaring voor Harbisson kan representeren.
In het onderzoek zullen drie condities met elkaar worden vergeleken. De controleconditie presenteert paars zonder toon. Deze conditie geeft een neutrale kleurperceptie van paars weer, die niet is beïnvloed door een toon. Bij de andere twee condities wordt de kleur paars met ofwel een hoge, ofwel een lage toon gepresenteerd. De deelnemers zullen door een training de hoge toon associëren met blauw en de lage toon met rood. Paars zit tussen rood en blauw op de regenboog. Het is hierbij de vraag of de tonen van rood en blauw de kleurperceptie van paars kunnen aanpassen. Verwacht wordt dat bij de conditie waarbij paars met een hoge toon wordt gepresenteerd (de toon van blauw) de perceptie van paars wordt aangepast richting blauw. Bij de conditie waarbij paars met een lage toon wordt gepresenteerd (de toon van rood) wordt verwacht dat de perceptie van paars wordt aangepast richting rood.
4.1 Deelnemers
In dit onderzoek zijn de deelnemers 20-25 jaar en van Nederlandse afkomst, de deelnemers zijn kennissen van de vier onderzoekers of studenten van het Conservatorium van
Amsterdam . Het experiment heeft een binnen-deelnemers design, wat inhoudt dat de 2 deelnemers zowel de experimentele als de controleconditie doorlopen. Hierdoor wordt er gecontroleerd op verschillen tussen de individuen. Het experiment bestaat uit 42
deelnemers, waarvan 29 vrouwen en 13 mannen. Na afloop krijgen de deelnemers geen beloning. De benodigde sample size is berekend met het programma G*power² (zie Bijlage 5). De sample size bedraagt 36.
De exclusiecriteria voor de deelnemers zijn dat ze niet doof of kleurenblind mogen zijn. Ook worden de deelnemers niet meegenomen in de analyse wanneer ze meer dan twee fouten maken in de laatste testronde. Het aantal testrondes verschilt per persoon. Bij meer dan zeven testrondes en meer dan twee fouten in de laatste testronde, wordt de persoon per definitie niet meegenomen.
2 Het aanleren van de kleur-geluid associatie ging aanzienlijk sneller bij mensen met muziekervaring. Vandaar de keus om ook Conservatoriumstudenten te testen. Naast dat zij de associatie sneller en accurater leerden, waren zij ook meer gemotiveerd om de test te doen.
4.2 Materialen
Voor dit experiment is een ASUS en een Apple computer gebruikt die het programma Java Processing ondersteunen. Het experiment bestaat uit drie delen: de trainingsfase, de tussentest en de testfase.
In de trainingsfase wordt een stimuli voor 3 seconden per trial aangeboden op een computerscherm. De stimuli is een combinatie van een gekleurd blokje met elk een specifieke toon, zie Figuur 8. De toon-kleurcombinatie is telkens hetzelfde zodat er een associatie kan worden aangeleerd. De kleuren die voorbijkomen zijn geel, groen, rood, oranje en blauw. De blauwe en rode blokjes zijn echter alleen variant voor de uiteindelijke testfase. Met een rood blokje wordt de meest lage toon gepresenteerd, met een blauw blokje een de meest hoge toon. De volgorde waarin dit de deelnemers wordt aangeleerd is
willekeurig, zodat voor counterbalancing is gecontroleerd.
Figuur 8
. Voorbeeld Stimuli van de Trainingsfase.
In de tussentest bestaan de stimuli uit tonen die 5 seconden worden gepresenteerd. De deelnemer moet de juiste kleur noemen en krijgt hier direct feedback op door de
Figuur 9.
Voorbeeld Stimuli van de Tussen Testfase.
In de testfase zijn de stimuli rood, oranje, geel, blauw en groen met hun bijpassende toon en drie paarse stimuli. Paars 1 heeft een lage toon, dezelfde als die van rood, paars 2 een hoge toon, dezelfde als die van blauw en paars 3 heeft geen toon. Tijdens het horen van een van de stimuli moet de deelnemer de stimulus een plek geven op een regenboog, zie Figuur 10. Deze regenboog is gelinkt aan een puntsschaal waarbij rood gelijk is aan 88, paars aan 114 en blauw aan 140. De afhankelijke variabele is alleen de score op de regenboog bij de drie paarse stimuli. De onafhankelijke variabele is het geluid; lage, hoge of geen toon.
Figuur 10.
4.3 Procedure
Eerst krijgen de deelnemers op de computer de instructies (Bijlage 3) van het experiment te lezen. Nadat zij de instructies hebben gelezen en hebben aangegeven deze te begrijpen, moeten de deelnemers een koptelefoon opdoen en start het experiment. Allereerst zal de deelnemer de trainingsfase ingaan. Hierbij wordt hij geïnstrueerd de kleur en geluid
combinaties te onthouden. Deze fase duurt 3 minuten. Vervolgens zal hij de tussentest doen: de experimentator noteert en vertelt of de deelnemer het juiste antwoord geeft. Hierna moet de deelnemer minstens nog twee keer de trainingsfase en tussen testfase ondergaan. Gemiddeld doet elke deelnemer de training en tussen-testfase 3 of 4 keer voordat hij de kleur-geluid associatie correct weet en door kan naar de testfase. In de testfase wordt de deelnemer geïnstrueerd om bij elke kleur-geluid combinatie de bijbehorende kleur op de regenboog aan te klikken. Hier wordt ook de kleur paars gepresenteerd met ofwel een lage (rood), hoge (blauw) of geen toon. Deze fase duurt 2 minuten. Achteraf is gevraagd aan de deelnemers of ze wisten waar het experiment om draaide om respons bias
te voorkomen.
4.4 Resultaten
Van alle 42 deelnemers zijn 6 deelnemers niet meegenomen in de analyse, omdat deze deelnemers extreme scores hadden op de test (outliers). Hierdoor bleven er 36 deelnemers over waarvan 11 mannen en 25 vrouwen en hiermee is de benodigde sample size behaald. De assumpties van normaliteit en sphericiteit werden gemeten door de Shapiro Wilk en Mauchly’s test (Field, 2013). Beide waren niet significant, p
> .05, waardoor aan deze
assumpties is voldaan. Een variantieanalyse (oneway repeated measures ANOVA
) is
uitgevoerd op de gemiddelden van een binnen-deelnemers variabele (lage vs. hoge vs. geen toon). In Tabel 1 zijn de gemiddelden op de scores van paars op de regenboog en de
standaard error (SE) van de verschillende tonen weergegeven.
De deelnemers wisten niet waar wat het doel van het experiment was, wanneer hen dit na afloop werd gevraagd.
Tabel 1. Gemiddelden en Standaard Error Tussen Haakjes op de Score van Paars op de Regenboog in Combinatie met een Lage, Hoge of Geen Toon.
Toonhoogte M en SE van paars op de regenboog Lage toon Hoge toon 109.3 (1.40) 118.0 (1.49)
Geen toon 114.1 (1.07)
Er was een significant hoofdeffect, te zien in Figuur 11, van toonhoogte F
(2 , 70) = 14.8, p <
.001. η2
p is 0.297, dit is een middelgroot effect.
Figuur 11.
De gemiddelde scores van paars op de regenboog in combinatie met lage, hoge
of geen toon
De gemiddelde score van paars op de regenboog in combinatie met een lage toon (M = 109.3) is significant lager dan zonder toon (M = 114.1), p
= .009. De gemiddelde score op de
regenboog is significant hoger in combinatie met een hoge toon (M = 118.0) dan zonder toon (M = 114.1), p
= .025. Deze resultaten geven weer dat de kleurperceptie van paars door
middel van tonen aanpasbaar is.
Beperkingen experiment
Een beperking van het experiment is het verschil in grootte van paars in de regenboog. Als de laptop iets naar achter stond gebogen, en dus meer van onderen naar het scherm werd gekeken, leek de breedte van de paarse streep waar de proefpersonen hun cursor konden
plaatsen kleiner dan als de laptop meer naar voren gebogen stond. Hoewel er rekening is gehouden met de positie van het scherm, zullen hier alsnog enige verschillen in zitten tussen de deelnemers. Het doel was echter om het verschil tussen de drie condities aan te tonen, wat door het binnen-deelnemers design alsnog meetbaar was.
De belangrijkste beperking van het experiment is dat de kleur-geluid associaties maar op één manier zijn aangeleerd: blauw met een hoge toon en rood met een lage toon.
Hierdoor zijn de resultaten eventueel beïnvloed door natuurlijke associaties die worden gemaakt. Zo illustreert het bouba/kiki effect natuurlijke onverklaarbare associaties waarbij bouba als rond klinkt en kiki als hoekig (Köhler, 1929). Zo was het experiment
betrouwbaarder geweest als er een aparte groep was getest waarbij blauw aan een lage toon en rood aan een hoge toon werd gekoppeld. Dit zou laten zien of een kleurperceptie daadwerkelijk aanpasbaar is.
Discussie
Voor een juiste beantwoording op de vraag in hoeverre de Eyeborg retinale kleurenblindheid kan vervangen is een fenomenologische analyse van belang die niet genoeg is verklaard in het onderzoek. Slechts een deel van alle vragen die de Eyeborg oproept zijn besproken. Voor een beter begrip van Harbissons ‘kleurervaring’ zouden meer filosofische, sociologische en psychologische vraagstellingen in beschouwing genomen moeten worden.
De Eyeborg detecteert alleen de overheersende kleur van het beeld dat de sensor opvangt wat niet overeenkomt met de normale visuele kleurperceptie. Harbisson kan kleurcombinaties waarnemen, maar dit gebeurt alleen als de kleuren even dominant zijn. In dit onderzoek is niet meegenomen wat de invloed is op aspecten zoals omgeving, contrasten en kleurcombinaties op het ervaren van kleur. De literatuur omtrent de Eyeborg was echter nalatig over deze aspecten. Dit komt ook doordat er weinig referentiemateriaal beschikbaar is. Dit is de reden waarom er vooral aandacht besteed is aan de basis van kleurperceptie en kleurervaring die gecreëerd zijn door de Eyeborg.
Ook kan de accuraatheid van geluidsperceptie in twijfel worden getrokken. Harbisson verkrijgt kleurinformatie in de vorm van verschillende tonen. Het komt echter weinig voor (ongeveer 1 op 10.000) dat mensen een absoluut gehoor hebben. Dit is een vaardigheid om tonen zonder referentiepunt te benoemen (Saffran, 2003; Schellenburg & Trehub, 2003). Absoluut gehoor komt vrijwel alleen voor bij mensen die in hun vroege jeugd al muziekles hebben gehad (Schellenburg & Trehub, 2003). Toch schijnen veel volwassenen wel latent absoluut gehoor te hebben: de vaardigheid om tonen te onderscheiden bij geluiden die
bekend zijn (Jakubowski, Müllensiefen & Stewart, 2017). Ericsson en Lehman (1996) stelden dat expertise te bereiken is door deliberate practice
. Dit houdt in dat door specifieke training,
die kritisch en met concentratie wordt herhaald, iemand een expert kan worden in een specifieke vaardigheid. Hierdoor is het waarschijnlijk dat Harbisson, na training, de geluidsinformatie kan interpreteren als kleurinformatie.
Conclusie
Uit dit onderzoek is gebleken dat een SSD een kleurervaring opwekt bij een persoon met retinale kleurenblindheid die overeenkomt met die van een persoon die kleuren kan zien. De kleurervaringen zijn echter niet identiek aan elkaar. Voor het daadwerkelijk ervaren van kleur spelen kleurperceptie, objectkennis en cultuur in combinatie met de many-to-many mapping van het brein een belangrijke rol. Aangezien Harbissons kegeltjes niet werken, heeft hij geen kleurperceptie. Wel is hij bekend met objectkennis van voorwerpen. De Eyeborg
compenseert voor dit gebrek aan functionerende kegeltjes door kleurinformatie systematisch om te zetten naar geluidsinformatie. Deze aangeleerde kleur-geluid associatie zorgt voor een verhoogde connectiviteit tussen de auditieve en visuele cortex bij Harbisson.
Het uitgevoerde experiment toont aan dat de kleurperceptie van paars aanpasbaar is door middel van training. Dit suggereert dat auditieve informatie invloed kan hebben op de visuele kleurperceptie. Harbissons ‘kleurperceptie’, die binnenkomt door auditieve informatie door middel van de Eyeborg, zou samen met zijn objectkennis een kleurervaring kunnen vormen.
Het feit dat bij Harbisson de kleurinformatie via geluid binnenkomt, terwijl deze normaal via het oog binnenkomt, betekent dat de kleurervaring die een SSD opwekt niet volledig gelijk kan zijn aan de kleurervaring van iemand zonder retinale kleurenblindheid. Hierdoor moet het eerder als een soortgelijke ervaring worden beschouwd. Vooral het eerder besproken punt dat Harbisson slechts de dominante kleur ervaart, laat zien dat deze
kleurervaring niet dezelfde is als die van mensen zonder retinale kleurenblindheid. Wel is zeker dat Harbisson nu in staat is om het sociale component van kleur te ervaren en adequaat kan reageren op een vraag als: ‘Kun je mij het rode boek aangeven?’
Outlook
De bevindingen van dit onderzoek bieden veel mogelijkheden voor vervolgonderzoek, hieronder zullen de belangrijkste toegelicht worden.
Een wenselijk onderzoek dat duidelijk kan maken of Harbisson daadwerkelijk een kleurervaring heeft, zal de auditieve informatie die binnenkomt via de Eyeborg moeten worden vergeleken met de geluidsinformatie die via het oor binnenkomt. Hiervoor moet Harbisson in een fMRI worden bestudeerd terwijl hij twee muziekstukken hoort. Dit muziekstuk is gemaakt ofwel met tonen die Harbisson door de Eyeborg hoort, ofwel met tonen die hij niet aan een kleur linkt. Een verschil in hersenactiviteit tussen deze twee muziekstukken kan meer informatie bieden over de kleurperceptie van Harbisson.
Een ander vervolgonderzoek kan dieper ingaan op de filosofische kwesties die een SSD oproept. Zoals in de inleiding al is gemeld, konden de puur filosofische vraagstukken niet aan bod komen in dit onderzoek. Het bespreken van ervaringen neigt echter al snel naar existentiële kwesties en vraagstellingen in deze hoek dienen ook te worden meegenomen voor een beter begrip van de werking en betekenis van een SSD.
Het meest interessante vervolgonderzoek zou echter zijn dat meerdere mensen met retinale kleurenblindheid gebruik zullen maken van de Eyeborg. Hierbij moeten de hersenen van de deelnemers voorafgaand goed bestudeerd worden door DTI. Vervolgens zou elk jaar de hersenen weer in DTI bestudeerd moeten worden, waarbij vergeleken wordt hoeveel kleuren zij op dat moment uit elkaar kunnen houden. Ook zou het interessant zijn
wetenschappelijke surveys bij deze deelnemers af te nemen om te zien in hoeverre hun kijk op de wereld veranderd is.
Literatuurlijst
Alfaro, A., Bernabeu, A., Agulló,C., Parra,J. & Fernández, E. (2015). Hearing colors: an example of brain plasticity. Frontiers in Systems Neuroscience
, 9.
Anderson, M.L. (2007). The Massive Redeployment Hypothesis and the Functional Topography of the Brain, Philosophical Psychology, 20:2, 143-174.
Belpaeme, T., & Bleys, J. (2005). Explaining universal color categories through a constrained acquisition process. Adaptive Behavior
, 13(4), 293-310.
Conway, B.R., Chatterjee, S., Field, G.D., Horwitz, G.D., Johnson, E.N., Koida, K. & Mancuso, K. (2010). Advances in Color Science: From Retina to Behavior. Journal of Neuroscience, 30(45),
14955-14963.
Colizoli, O., Murre, J.M.J. & Rouw, R. (2012). Pseudo-Synesthesia through Reading Books with Colored Letters. PloS one
7(6): e39799.
Colizoli, O. (2016, 1 juni). Neurophilosophy and Sensory Integration [College-slides]. Geraadpleegd van
https://blackboard.ic.uva.nl/bbcswebdav/pid-6130411-dt-content-rid-9314194_1/courses/251
1S001.7202AK28XY.S2.BB.2015/fd_June1%281%29.pdf
Corrigan, I. (2013, 29 januari). Sonochromatic scale, chord triads. Geraadpleegd van
http://designseminarspring2013.blogspot.nl/2013/01/sonochromatic-scale-chord-triads.html
Ericsson, K. A., & Lehmann, A. C. (1996). Expert and exceptional performance: Evidence of
maximal adaptation to task constraints. Annual review of psychology
, 47(1), 273-305.
Field, A. (2013). Discovering statistics using IBM SPSS statistics
. Sage.
Gatto, P., & Demkowicz, L. (2013). Modeling bone conduction of sound in the human head: II. Simulation results. Journal of Computational Acoustics
Gazzaniga, M.S., Ivry, R.B., & Mangun, G.R. (2014). Cognitive neuroscience: The biology of the mind (Fourth edition.). New York: W. W. Norton & Company, Inc.
Goller, A. I., Otten, L. J. & Ward, J. (2009). Seeing sounds and hearing colors: an event-related potential study of auditory-visual synesthesis. Journal of Cognitive Neuroscience,
21(10), 1869-1881.
Hänggi, J., Beeli, G., Oechslin, M. S., & Jäncke, L. (2008). The multiple synaesthete ES–Neuroanatomical basis of interval-taste and tone-colour synaesthesia. Neuroimage
,
43(2), 192–203.
Hamilton-Fletcher, G., & Ward, J. (2013). Representing colour through hearing and touch in sensory substitution devices. Multisensory research
, 26(6), 503-532.
Harbisson, N. (2012) The man who hears colour. BBC News Magazine,
Opgehaald 8
oktober, 2016, van
http://www.bbc.com/news/magazine-16681630
Harbisson, N. (2014). Human Antenna. opgehaald in: Neil Harbisson; A collection of essays written by the cyborg artist exploring the art of creating new senses and extending our perception. New York 2016
Harbisson, N. (2014). ANNEX II: In depth conversation with Australian magazine Dumbo Feather. opgehaald in: Neil Harbisson; A collection of essays written by the cyborg artist exploring the art of creating new senses and extending our perception. New York 2016 Horen. (2016). Geraadpleegd op 03 februari, 2017, van http://www.spraakengehoor.nl/horen/
Jakubowski, K., Müllensiefen, D., & Stewart, L. (2017). A developmental study of latent absolute pitch memory. The Quarterly Journal of Experimental Psychology
, 70(3), 434-443.
Kapteijn, (2008, mei). Audiologieboek. Geraadpleegd op 03 februari, 2017, van
http://audiologieboek.nl
Kim, N., Steele, C. R., & Puria, S. (2014). The importance of the hook region of the cochlea for bone-conduction hearing. Biophysical journal
Köhler, W (1929). Gestalt Psychology
. New York: Liveright.
Lamme, V.A.F. (2016, 7 september). Retinal Processing [College-slides]. Geraadpleegd van
https://blackboard.ic.uva.nl/bbcswebdav/pid-6185579-dt-content-rid-9912081_1/courses/251
1.7203BACHBNC.S1.1.2016/PAA%2C%20College%202%2C%20Retinal%20processing.pdf
Lotto, R. B., Clarke, R., Corney, D., & Purves, D. (2011). Seeing in colour. Optics & Laser
Technology
, 43(2), 261-269.
McGeer, V. (2003). Trouble with Mary. Pacific Philosophical Quarterly.
Motter, B.C. (1994). Neural correlates of attentive selection for color or luminance in extrastriate area V4. Journal of Neuroscience, 14
(4), 2178-2189.
Neil Harbisson Interview - Part 2: Hearing Colors. (2014, April) geraadpleegd op 28 februari, 2016, van http://munsell.com/color-blog/neil-harbisson-hearing-colors/
News, B. (2012, 15 februari). The man who hears colour. Opgehaald October 8, 2016, van http://www.bbc.com/news/magazine-16681630
Rouw, R., Scholte, H.S. & Colizoli, O. (2011). Brain areas involved in synaesthesia: a review. Journal of Neuropsychology, 5
(2), 214-242.
Saffran, J. R. (2003). Absolute pitch in infancy and adulthood: The role of tonal structure. Developmental Science
, 6(1), 35-43.
Schellenberg, E. G., & Trehub, S. E. (2003). Good pitch memory is widespread. Psychological Science
, 14(3), 262-266.
Schirillo, J. A. (2001). Tutorial on the importance of color in language and culture. Color research and application,
26(3), 179-192.
Shapley, R., & Hawken, M. (2002). Neural mechanisms for color perception in the primary visual cortex. Current Opinion in Neurobiology, 12(4), 426-432.
Stenfelt, S. (2011). Acoustic and physiologic aspects of bone conduction hearing. In Implantable Bone Conduction Hearing Aids
(Vol. 71, pp. 10-21). Karger Publishers.
Stenfelt, S., & Goode, R. L. (2005). Bone-conducted sound: physiological and clinical aspects. Otology & Neurotology
, 26(6), 1245-1261.
Stewart, J. (2013, 16 september) Wunderkammer of Color Geraadpleegd van from
http://www.printmag.com/imprint/wunderkammer-of-color/
Tootell, R. B., & Hadjikhani, N. (2001). Where is ‘dorsal V4’ in human visual cortex? Retinotopic, topographic and functional evidence. Cerebral cortex
, 11(4), 298-311.
Vandenbroucke, A. R. E., Fahrenfort, J. J., Meuwese, J. D. I., Scholte, H. S., & Lamme, V. A. F. (2016). Prior knowledge about objects determines neural color representation in human
visual cortex. Cerebral cortex
, 26(4), 1401-1408.
Van Essen, D. C., & Gallant, J. L. (1994). Neural mechanisms of form and motion processing in the primate visual system. Neuron
, 13(1), 1-10.
Vreeswijk, M., Hijmans, T., van Linden van den Heuvel, B. Nienhuis, B. (2016). Syllabus Trillingen en Golven
Zeki, S. (1983). Colour coding in the cerebral cortex: the reaction of cells in monkey visual cortex to wavelengths and colours. Neuroscience
Bijlage 1 Verantwoording interdisciplinaire integratie
Bij dit onderzoek zijn drie verschillende disciplines betrokken: Brein en cognitie, natuurkunde en kunstmatige intelligentie. De Eyeborg is een goed voorbeeld van kunstmatige intelligentie. Kunstmatige intelligentie is een breed begrip, waaronder het beter maken van een mens door middel van technologie valt. Wat betreft Neil Harbisson, wordt zijn disfunctioneren van kegeltjes opgelost met behulp van de Eyeborg. Hierdoor staat de discipline kunstmatige intelligentie centraal.
Kleurverwerking in de hersenen is een complexe handeling waar nog steeds niet alles over bekend is. Het was daarom noodzakelijk om zowel op neurologisch niveau te kijken naar hoe kleur wordt verwerkt, als te onderzoeken hoe het op cognitief niveau belangrijk voor iemand is dat hij kleur kan waarnemen. Hierbij wordt bijvoorbeeld gekeken naar de invloed van kleur in een cultuur. Het zien van kleur heeft maatschappelijke belangen, aangezien het invloed heeft op de gemoedsrust. Neil Harbisson vertelt in een interview hoe zijn omgeving hem constant herinnerde aan het belang van kleur.
Zoals boven gemeld, valt het concept van de Eyeborg in de categorie kunstmatige intelligentie. Het feit dat bepaalde informatie die een persoon mist, wordt omgezet in informatie die hij wel kan begrijpen, zorgt dat dit persoon ‘beter’ wordt door middel van technologie. Deze omzetting wordt met behulp van natuurkunde en de werking van het brein verklaard.
Aangezien de Eyeborg te maken heeft met de omzetting van het kleurenspectrum naar geluidsspectrum, is de discipline natuurkunde onmisbaar. De natuurkunde is bekend met de werking van golven en kan met deze kennis een zinnige uitspraak doen over de informatieverwerking van de Eyeborg in combinatie met de discipline brein en cognitie. Deze combinatie voegt waarde toe vanwege het feit dat de Eyeborg werkt via beengeleiding, waar zowel de kennis van de hersenen en zijn membranen aan te pas komen, als de werking van golven op de hersenen.
Voor de opzet van het experiment was de discipline brein en cognitie van belang. Deze discipline heeft veel kennis van hoe de opzet van een experiment eruit hoort te zien. Door samenwerking met de discipline kunstmatige intelligentie kon een experiment worden geprogrammeerd. Hierdoor is de kunstmatige intelligentie niet alleen de basis van de Eyeborg, maar komt het ook in de praktijk van ons onderzoek terug. Door middel van programmeren is het ons gelukt een goed experiment te ontwikkelen.
Ook was de discipline brein en cognitie noodzakelijk voor het analyseren van het experiment, aangezien deze discipline afgelopen jaar het vak statistiek uitgebreid aan bod
heeft gekregen en hierdoor de goede programma’s wist te gebruiken die nodig waren om onder andere de significantie en het deelnemersaantal te berekenen.
Alle disciplines zijn bij zowel vooruitblik als bij terugblik noodzakelijk geweest om dit onderzoek zo volledig mogelijk te maken. Wel merkten we bij de literatuurstudie dat de discipline filosofie een goede toevoeging zou zijn geweest, aangezien woorden als ‘ervaring’ en ‘perceptie’ al snel vage begrippen worden.
Bijlage 2 Reflectie
Het vinden van een interessant onderwerp waar al onze disciplines goed toepasbaar op waren, was het eerste obstakel. Toen we Neil Harbisson tegenkwamen, leken hij en de Eyeborg op het eerste gezicht al onze disciplines te combineren. Het kleuren en geluid spectrum en golven voor natuurkunde, de werking van het brein en zijn eigen ontplooiing na aanbreng van de Eyeborg voor brein en cognitie en de Eyeborg zelf die het hele idee van kunstmatige intelligentie in zich heeft, namelijk de relatie tussen mens en machine.
Het bleek echter niet zo makkelijk als we in eerste instantie dachten. De natuurkunde en KI waren minder van belang dan oorspronkelijk leek. Na veel gepraat met Evert en Machiel en vele bronnen later, zijn we toch op een punt gekomen dat we voor ons gevoel de natuurkunde en kunstmatige intelligentie goed in het verslag hebben weten te integreren.
Wat wij heel goed vonden gaan bij het schrijven van dit verslag, is dat we telkens met elkaar elk stuk hebben doorgenomen. We hebben het grootste gedeelte van de tijd er samen aan gewerkt, waardoor we elkaar meteen feedback konden geven als er iets niet duidelijk was. Dit was ook nodig, aangezien de stukken hierdoor ook goed op elkaar aan konden sluiten. Alle aspecten die kwamen kijken bij Harbisson en zijn Eyeborg hebben we samen bestudeerd om met elkaar de beste deelvragen te bedenken voor het beantwoorden van onze hoofdvraag.
Een punt van kritiek is dat we af en toe rommelig te werk gingen. Voorbeelden zijn willekeurige aantekeningen in tekst hebben staan en commentaar verwijderen terwijl dit nog niet goed was opgelost. Dit heeft ons echter niet in het uiteindelijke resultaat van het verslag gehinderd. Het was fijn elkaar te helpen en continue feedback te leveren om zo samen tot ons eindverslag te komen.
Bijlage 3 Instructies experiment
leeftijd: (invullen) geslacht: (invullen)
In dit onderzoek moet je luisteren naar tonen en kijken naar verschillende kleuren. Het bevat een trainings- en testfase die na elkaar zullen plaatsvinden.
U moet proberen een associatie te maken tussen de toon en kleur die u tegelijkertijd waarneemt in het experiment.
Na de trainingsfase worden vragen gesteld die u juist moet beantwoorden. Vervolgens begint de testfase.
Om mee te kunnen doen aan dit onderzoek mag u niet kleurenblind zijn waardoor eerst gevraagd wordt welk nummer in het volgende plaatje te zien is:
Wanneer u nu geen vragen meer heeft gaat het onderzoek van start. Doe nu de koptelefoon op.
De experimentator zal nu het experiment starten. Het experiment stopt vanzelf.
Bijlage 4 Codes Experiment
Code Trainingsfase Deel 1 import ddf.minim.*;
import processing.serial.*; Minim minim;//audio context AudioPlayer audyellow; AudioPlayer audorange; AudioPlayer audred; AudioPlayer audblue; AudioPlayer audgreen; color clbg; color clred; color clorange; color clblue; color clgreen; color clyellow; float lasttimecheck; float timeinterval; int frame = 0; void setup() { size(640,360, P3D);
colorMode(RGB, height, height, height); minim = new Minim(this);
audyellow = minim.loadFile("YELLOWGOED.wav"); audblue = minim.loadFile("BLUEGOED.wav"); audred = minim.loadFile("REDGOED.wav");
audgreen = minim.loadFile("GREENGOED.wav"); audorange = minim.loadFile("ORANGEGOED.wav"); clbg = color(255, 255, 255); clred = color(255, 0, 0); clorange = color(255, 120, 0); clblue = color(0, 0, 255); clgreen = color(0, 255, 0); clyellow = color(255, 255, 0); lasttimecheck = millis(); timeinterval = 3000; // 3 sec frameRate(1); } void colorchange() {
while (millis() < 180000) { // Eventueel tijd veranderen
frame++; //println(frame); //println(millis()); // Tijd per kleur
if (millis() > lasttimecheck + timeinterval) { lasttimecheck = millis(); int r = int(random(1,6)); if (r == 1) { orange(); } if (r == 2) { blue(); } if (r == 3) { yellow(); }
if (r == 4) { red(); } if (r == 5) { green(); } } break; } } void orange() { background(clorange); audorange.rewind(); audorange.play(); } void green() { background(clgreen); audgreen.rewind(); audgreen.play(); } void yellow() { background(clyellow); audyellow.rewind(); audyellow.play(); } void red() { background(clred); audred.rewind(); audred.play(); } void blue() {
background(clblue); audblue.rewind(); audblue.play(); } void draw() { colorchange(); }
Code Trainingsfase deel 2 import ddf.minim.*;
import processing.serial.*; Minim minim;//audio context AudioPlayer audyellow; AudioPlayer audorange; AudioPlayer audred; AudioPlayer audblue; AudioPlayer audgreen; color clbg; color clred; color clorange; color clblue; color clgreen; color clyellow; float lasttimecheck; float timeinterval; int frame = 0; void setup() { size(640,360, P3D);
colorMode(RGB, height, height, height); minim = new Minim(this);
audyellow = minim.loadFile("YELLOWGOED.wav"); audblue = minim.loadFile("BLUEGOED.wav"); audred = minim.loadFile("REDGOED.wav"); audgreen = minim.loadFile("GREENGOED.wav"); audorange = minim.loadFile("ORANGEGOED.wav"); clbg = color(255, 255, 255); clred = color(255, 0, 0); clorange = color(255, 120, 0); clblue = color(0, 0, 255); clgreen = color(0, 255, 0); clyellow = color(255, 255, 0); lasttimecheck = millis(); timeinterval = 5000; // 3 sec frameRate(1); } void colorchange() {
while (millis() < 50000) { // Eventueel tijd veranderen
frame++; //println(frame); //println(millis()); // Tijd per kleur
if (millis() > lasttimecheck + timeinterval) { lasttimecheck = millis(); int r = int(random(1,6)); if (r == 1) { orange(); } if (r == 2) {
blue(); } if (r == 3) { yellow(); } if (r == 4) { red(); } if (r == 5) { green(); } } break; } } void orange() { background(clorange); audorange.rewind(); audorange.play(); } void green() { background(clgreen); audgreen.rewind(); audgreen.play(); } void yellow() { background(clyellow); audyellow.rewind(); audyellow.play(); } void red() {
background(clred); audred.rewind(); audred.play(); } void blue() { background(clblue); audblue.rewind(); audblue.play(); } void draw() { colorchange(); }
Code Testfase deel 1 import ddf.minim.*;
import processing.serial.*; Minim minim;//audio context AudioPlayer audyellow; AudioPlayer audorange; AudioPlayer audred; AudioPlayer audblue; AudioPlayer audgreen; color clbg; color clred; color clorange; color clblue; color clgreen; color clyellow; color clpurple;
float lasttimecheck; float timeinterval; int frame = 0; int purple = 0; void setup() { size(640,360, P3D);
colorMode(RGB, height, height, height); minim = new Minim(this);
audyellow = minim.loadFile("YELLOWGOED.wav"); audblue = minim.loadFile("BLUEGOED.wav"); audred = minim.loadFile("REDGOED.wav"); audgreen = minim.loadFile("GREENGOED.wav"); audorange = minim.loadFile("ORANGEGOED.wav"); clbg = color(255, 255, 255); clred = color(255, 0, 0); clorange = color(255, 120, 0); clblue = color(0, 0, 255); clgreen = color(0, 255, 0); clyellow = color(255, 255, 0); clpurple = color(255, 0, 255); lasttimecheck = millis(); timeinterval = 3000; // 3 sec frameRate(1); } void colorchange() {
while (millis() < 70000) { // Eventueel tijd veranderen
frame++; //println(frame);
//println(millis()); // Tijd per kleur
if (millis() > lasttimecheck + timeinterval) { lasttimecheck = millis(); int r = int(random(1,12)); if (r == 1) { orange(); } if (r == 2) { blue(); } if (r == 3) { yellow(); } if (r == 4) { red(); } if (r == 5) { green(); } if (r == 6) { println('l'); purple++; purplered(); } if (r == 7) { println('h'); purple++; purpleblue(); } if (r == 8) { println('n'); purple++; purplenothing(); }
if (r == 9) { println('l'); purple++; purplered(); } if (r == 10) { println('h'); purple++; purpleblue(); } if (r == 11) { println('n'); purple++; purplenothing(); } } //println(purple); break; } } void orange() { background(clorange); audorange.rewind(); audorange.play(); } void green() { background(clgreen); audgreen.rewind(); audgreen.play(); } void yellow() { background(clyellow);
audyellow.rewind(); audyellow.play(); } void red() { background(clred); audred.rewind(); audred.play(); } void blue() { background(clblue); audblue.rewind(); audblue.play(); }
// Het gaat om paars, dus zorgen we dat deze meer kans heeft om te worden getoond. void purplered() { background(clpurple); audred.rewind(); audred.play(); } void purpleblue() { background(clpurple); audblue.rewind(); audblue.play(); } void purplenothing() { background(clpurple); } void draw() { colorchange(); }
Code Testsfase deel 2
// De regenboog is van internet gehaald, aangezien hij voldeed aan onze eisen, // en we het dus niet nodig vonden zelf een regenboog te programmeren. PVector savedMouse; //The saved mouse position
color[] rainbow; void setup() {
size(255, 255, P2D);
savedMouse = new PVector(0, 0); //Initialize the PVector rainbow = new color[60000];
int c = 0;
// Starts as green, becomes yellow for (int r = 0; r < 10000; r++) {
rainbow[c] = color(r*255/10000, 255, 0); c++;
}
// Starts as yellow, becomes red for (int g = 10000; g > 0; g--) {
rainbow[c] = color(255, g*255/10000, 0); c++;
}
// Starts as red, becomes magenta for (int b = 0; b < 10000; b++) {
rainbow[c]= color(255, 0, b*255/10000); c++;
}
// Starts as magenta, becomes blue for (int r = 10000; r > 0; r--) {
rainbow[c] = color(r*255/10000, 0, 255); c++;
}
// Stars as blue, becomes cyan for (int g = 0; g < 10000; g++) {
rainbow[c] = color(0, g*255/10000, 255); c++;
}
// Starts as cyan, becomes green for (int b = 10000; b > 0; b--) { rainbow[c] = color(0, 255, b*255/1000); c++; } } void draw() { loadPixels(); fill(0);
text("Click where you expect the color", width/2-100, height/2); int loc = 0;
for (int i = 0; i < width; i++) { for (int j = 0; j < height; j++) { pixels[i+j*width] = rainbow[loc]; loc++;
if (loc >= rainbow.length-1) loc = 0; }
}
println("Current saved mouse position: " + savedMouse.x + ", " + savedMouse.y); if (mouseX < width) { cursor(CROSS); } else { cursor(HAND); } updatePixels(); } void mousePressed() {
savedMouse.x = mouseX; // Save the mouse position; savedMouse.y = mouseY;
Bijlage 5 Berekende sample size door het programma G*Power
Figuur 12.
