De synesthetische computer - Een inzicht in de implementatie van pseudosynesthesie bij cijferherkenning met k-nearest neighbour

De synesthetische computer

k-nearest neighbour

Thema III - deel 2: opdracht 5 Domein: Cognitie

Begeleiding: Ger Post en dr. Machiel Keestra 29 januari 2015

Arianne van Nieuwenhuijsen – 10618155 Linde van de Ven – 10559051 Magali Harterink – 10370935

Abstract

Synesthesie is een fenomeen waarbij mensen een extra sensatie hebben bij een waarneming, bijvoorbeeld de ervaring van kleur bij een bepaalde letter. Synesthesie is bij de mens aanwezig over een lange periode, consistent en automatisch. Uit eerder onderzoek blijkt dat synestheten door deze ervaring zowel voor- als nadelen hebben tegenover niet-synestheten. Synestheten kunnen bijvoorbeeld sneller een woord herkennen in een Stroop-taak, maar er ontstaat soms een ‘clash’ als een beeld niet klopt met de eigen ervaring (Palmeri et al., 2002). Alhoewel synesthesie een complexe biologische oorzaak heeft, blijkt dat in een trainingsprogramma pseudosynesthesie aangeleerd kan worden (Rouw en Colizoli, 2014). In dit onderzoek wordt gekeken of een lerend intelligent systeem getraind kan worden om pseudosynesthesie te ontwikkelen en hier voordeel uit te halen. Er wordt gebruik gemaakt van het k-nearest neighbour leeralgoritme dat handgeschreven cijfers leert herkennen. Het algoritme krijgt pseudosynesthetische trainingsdata en wordt vergeleken met controlegroepen. Het blijkt dat de implementatie van pseudosynesthesie geen voordeel heeft voor het gebruikte algoritme.

Inhoud

Abstract... 0

Inleiding... 2

Theoretisch kader... 3

Een neurobiologische verklaring... 3

Profijt of belemmering?... 3

Het aanleren van pseudosynesthesie... 4

De integratie... 4

Het pseudosynesthetische algoritme... 5

Methode... 6

Hypothese... 7

Discussie... 11

Interpretatie van de resultaten... 11

Discussiepunten onderzoek... 12

Het algoritme... 13

Conclusie... 13

Referenties... 14

Bijlage... 16

Bijlage I: Interview met Romke Rouw... 16

Bijlage II: Interview met Olympia Colizoli... 17

Bijlage III: Interview met Steven Scholte... 19

Bijlage IV: Interview met Pieter Adriaans... 20

Bijlage V: Interview met Tessa van Leeuwen... 22

Bijlage VI: Interview met Mieke de Roo... 23

Inleiding

Een groot deel van de mensen vormt associaties tussen alledaagse dingen die op het eerste gezicht niet op elkaar lijken, ook wel het associatieve brein (pers. comm. Pieter Adriaans, 17 november 2015). Dit uit zich bijvoorbeeld in een experiment waarbij de participanten gevraagd werd de namen ‘Bouba’ en ‘Kiki’ te geven aan een hoekig en een rond object. Hierbij koos de overgrote meerderheid ervoor het ronde object ‘Bouba’ te noemen en het hoekige object ‘Kiki’, een associatie die in veel culturen hetzelfde blijkt (Bremner et al., 2013). Ongeveer 1 op 2000 mensen (Baron-Cohen et al., 1996) heeft een extreme vorm van dit soort associaties. Deze aandoening wordt synesthesie genoemd (Simner, 2012).

Synesthesie is een fenomeen waarbij mensen uitzonderlijke sensaties ervaren bij zintuiglijke waarnemingen (Simner, 2012). Zij ervaren een extra sensatie bij een waarneming, bijvoorbeeld de ervaring van kleur bij het horen van muziek, of de ervaring van een kleur bij een bepaalde letter. Synesthesie is bij de mens aanwezig over een lange periode, consistent, automatisch en geeft een sterke subjectieve en vaak unieke ervaring voor de synestheet (Rothen & Meier, 2014, pers. comm. Romke Rouw, 29 oktober 2015; pers. comm. Mieke de Roo, 9 december 2015; pers. comm. Tessa van Leeuwen, 9 december 2015). De ervaringen zijn dus altijd gelijk; als iemand de letter ‘a’ met bordeauxrood associeert, zal dat al vanaf jonge leeftijd zo zijn en ook niet meer veranderen (Cytowic, 2002).

Er wordt veel onderzoek gedaan naar de neuronale connecties die ten grondslag liggen aan synesthesie en waarom mensen het ervaren (Colizoli et al., 2014). De oorzaak van de extra sensaties bij synesthesie kan worden teruggevonden in het brein, waar verhoogde structurele connectiviteit in bepaalde hersengebieden gevonden is (Rouw, Scholte, 2007). Uit veel van deze onderzoeken blijkt dat synesthesie een aantal geheugenvoordelen heeft (Meier & Rothen, 2013), maar ook een aantal nadelen (Hale et al., 2014). Op basis hiervan is het interessant om te kijken of de voordelen van synesthesie mogelijk gemaakt kunnen worden voor intelligente systemen door deze systemen een vorm van synesthesie aan te bieden. Kortom, in dit onderzoek wordt gekeken of het aanleren van synesthesie voordelig kan zijn voor een intelligent systeem, en hoe dit te implementeren of aan te leren is. Kunstmatige intelligentie, AI, speelt in dit onderzoek de rol van intelligent systeem. Er is echter geen algemene definitie voor AI (Russell & Norvig, 2009), in dit onderzoek wordt er gekeken naar zelflerende systemen, oftewel machine learning.

Om te bepalen of de implementatie van synesthesie voordelig kan zijn voor een intelligent systeem, is het van belang ook te kijken naar de evolutionaire basis. Hierbij worden aspecten zoals evolutionaire voordelen beschreven en kan de biologische basis als voorbeeld dienen voor de implementatie van een vorm van synesthesie in een computer. Het is belangrijk om een keuze te maken welke vorm van synesthesie wordt onderzocht. Ook moet een definitie worden afgebakend voor zowel de natuurlijke vorm als pseudosynesthesie. Het kijken naar de voor- en nadelen bij de mens moet aantonen bij welke taken synesthesie bruikbaar is. Vervolgens zal er worden gekeken of synesthesie aan te leren is en of een computer kan worden getraind om deze voordelen te behalen. Om de brug te slaan tussen het neurobiologische fenomeen en de implementatie van pseudosynesthesie, zal een algoritme worden gekozen waarbij de computer als ‘synestheet’ en ‘normaal’ wordt getraind om vervolgens deze twee systemen met elkaar te vergelijken. Het systeem wordt getoetst aan de hand van de performance, waarbij snelheid en

accuracy worden bekeken. Zal een computer met ‘synesthesie’ een beter resultaat geven dan de

‘normale’ computer en zijn deze voor- en nadelen vergelijkbaar met de voor- en nadelen die menselijke synestheten hebben?

Theoretisch kader

Een neurobiologische verklaring

Om inzicht te krijgen in de implementatie van synesthesie in een intelligent systeem kan de neuronale en genetische achtergrond van dit fenomeen van belang zijn. Veel onderzoeken zijn gedaan naar de veelvoorkomende vorm grafeem-kleur synesthesie. Deze vorm van synesthesie bestaat uit sterke en automatische associaties tussen kleuren en letters of cijfers (Colizoli et al., 2014). Zo is met gebruik van fMRI van de hersenen bewezen dat synestheten van nature deze associaties hebben omdat de visuele ‘kleur-cortex’ V4 actief wordt bij het zien van een niet-gekleurde letter (Hubbard et al., 2005). Deze activatie vindt 110 ms plaats na blootstelling aan de stimulus en deze tijdsduur is hetzelfde bij het verwerken van een kleur-stimulus (Brand et al., 2010). Door deze cross-activatie concludeerden Hubbard et al. dat er een versterkte neuronale connectie zou moeten zijn tussen de geassocieerde modaliteiten als gevolg van verminderde pruning (het weg snoeien van synaptische connecties tussen hersencellen). Jäncke et al. (2009) bevestigden dit door de vondst van verhoogde neuronale connectiviteit in de inferior temporale cortex bij grafeem-kleur synestheten. Synesthesie bij de mens is dus een automatisch proces wat kan worden ontwikkeld door versterking van neuronale connecties tussen hersengebieden van verschillende modaliteiten.

Het is niet duidelijk of het fenomeen synesthesie een genetische achtergrond heeft. Alhoewel 40% van de synestheten een eerstegraads familielid kan aanhalen met dezelfde conditie (Baron-Cohen et al., 1996) is het vinden van de achterliggende genen niet gemakkelijk. Dit is voornamelijk omdat deze aandoening zeer waarschijnlijk polygenetisch is, de soorten synesthesie erg verschillen en de sterkte moeilijk is te meten (Brang, 2011). Met behulp van een whole-genome linkage scan, waar genen zijn vergeleken van audio-visuele synestheten, zijn er een aantal potentiële kandidaatgenen gevonden voor deze vorm van synesthesie (Asher, 2009). Daarbij heeft de familie linkage-analyse, waarbij overerving van genen wordt onderzocht, bewezen dat er specifieke regio’s op het DNA ermee te maken zouden hebben. Toch staat een genetische verklaring voor synesthesie nog in de kinderschoenen (Ramachandran & Brang, 2008). Of het ‘synesthesie-gen’ evolutionair doorgegeven zou kunnen zijn, is vooralsnog niet bekend omdat er rekening moet worden gehouden met de mogelijkheid van een bijproduct van een ander fenotype (Brang, 2011) en het natuurlijk voorkomen van cross-modaliteiten (Ward & Simner, 2005). Er is ook een mogelijkheid dat de genetische component een kleine rol heeft en de omgevingsfactoren van grote invloed zijn op het ontwikkelen van synesthesie. Denk aan het ervaren van verschillende zintuiglijke waarnemingen in de jeugd, zoals gekleurde letter-magneetjes op de koelkast (Rothen & Meier, 2014). Een interessant vraagstuk dat hieruit volgt is of synesthesie voordelig is en of je het iemand kan aanleren.

Profijt of belemmering?

Het hebben van synesthesie heeft een aantal voordelen. Zo ervaart een deel van de synestheten de associaties als iets prettigs en geordends (pers. comm. Mieke de Roo, 9 december 2015). Synesthesie komt vaker voor bij kunststudenten dan bij niet-kunststudenten, wat op verhoogde creativiteit zou kunnen duiden (Rothen & Meier, 2010). Ook blijkt het hebben van synesthesie bepaalde geheugenvoordelen te geven waarbij de synesthesie als geheugensteun dient, zo zijn synestheten bijvoorbeeld significant beter in het andersom opnoemen van de maanden (Mann et al., 2009). Smilek et al. (2002) onderzochten een student die sterke synesthetische associaties gebruikte om bepaalde matrices te onthouden. Hem werden letter-kleur combinaties die congruent waren met de eigen ervaringen van de student en incongruent letter-kleur combinaties voorgelegd. De student onthield de congruente matrix beduidend beter dan de incongruente dankzij zijn synesthesie. Grafeem-kleur synesthesie heeft het voordeel te kunnen helpen bij het onthouden van bijvoorbeeld telefoonnummers en het leren van een taal of een muziekinstrument (pers. comm. Olympia Colizoli, 5 november 2015). Daarnaast blijkt het ook zo

te zijn dat grafeem-kleur synestheten een hogere gevoeligheid voor het waarnemen van kleuren hebben (Banissy et al., 2009) waardoor synestheten in een Stroop-taak sneller een woord kunnen herkennen als deze de congruente kleur bevat (Palmeri et al., 2002).

Er worden ook nadelen ervaren bij synesthesie. Synestheten die een eigen representatie hebben van de vorm van maanden kunnen een botsing ervaren wanneer deze niet overeenkomt met de representatie die hen wordt gegeven (Hale et al., 2014). Zij hebben in dit geval meer moeite met het in volgorde zetten van de maanden. Ook zijn ze aantoonbaar langzamer bij simpele optel- en vermenigvuldigproblemen. Er kan verwarring ontstaan tussen woorden die gelijke kleuren hebben of kleuren die niet overeenkomen met de betekenis (Rich, Bradshaw & Mattingley, 2005). Soms ontstaat een soort ‘clash’ als het beeld dat wordt gegeven niet overeenkomt met het beeld dat een synestheet ergens van heeft (Palmeri et al., 2002; pers. comm. Mieke de Roo, 9 december 2015; pers. comm. Tesse van Leeuwen, 9 december 2015). Deze clash zou ook een oorzaak kunnen zijn van het slecht kunnen verwerken van informatie die tegelijk binnenkomt bij autisten. Zo luidt de theorie van Baron-Cohen et al. (2007) wie een correlatie tussen synesthesie en autisme hebben gevonden. Autisten hebben een verhoogde locale connectiviteit in het brein wat ook de oorzaak is van synesthesie.

Het aanleren van pseudosynesthesie

Het zou interessant kunnen zijn om te onderzoeken of synesthesie aan te leren valt, om de voordelen optimaal te benutten, vooral met betrekking tot geheugen en herkenning. Rouw en Colizoli (2014) onderzochten het aanleren van synesthesie door niet-synestheten in een trainingsprogramma boeken in gekleurde letters te laten lezen. De resultaten van dit onderzoek zijn het eerste bewijs dat associaties die op synesthesie lijken aangeleerd kunnen worden door middel van deze vorm van priming. In hoeverre dit ‘ware synesthesie’ is wordt nog bediscussieerd in de literatuur. Daarom zal er in dit onderzoek worden gesproken over

pseudosynesthesie (Colizoli et al., 2014). Pseudosynesthesie is te definiëren als een fenomeen dat verband houdt met synesthesie en daar erg op lijkt, maar niet aan alle criteria van de definitie voor synesthesie voldoet (pers. comm. Romke Rouw, 29 oktober 2015). Of er voordelen worden ervaren bij deze pseudosynesthesie is in het onderzoek van Rouw en Colizoli niet onderzocht. Volgens Pieter Adriaans (pers. comm. 17 november 2015) zou de implementatie van pseudosynesthesie erg voordelig zijn omdat er op een hele efficiënte manier informatie kan worden verwerkt in een computer. Hiervoor zal in dit onderzoek worden gekeken naar de voor-en nadelvoor-en vanpseudosynesthesiein een algoritme.

Het systeem van deze computer zal worden getraind door middel van machine learning, waarbij het systeem zelf zal leren. Een systeem is lerend als het zijn performance op toekomstige taken kan verbeteren na het maken van observaties (Russell & Norvig, 2009). Deze leeralgoritmes kunnen worden vergeleken met het sneller herkennen van woorden nadat je ze hebt geleerd als kind. Op dit moment is machine learning een groot onderwerp in de kunstmatige intelligentie met veel mogelijkheden (pers. comm., het vak: Leren aan de UvA, dr. M.W. van Someren, 2015; Ng, 2011). Het wordt gezien als de manier om kunstmatige intelligentie mogelijk te maken, doordat het een computer kan laten leren op een menselijke manier. Daarnaast is het zelf programmeren van kunstmatige intelligentie te moeilijk en geeft machine learning de mogelijkheid om computers dit zichzelf aan te leren.

De integratie

In dit onderzoek wordt een poging gedaan grafeem-kleur synesthesie in een computer na te bootsen. Hiervoor wordt gebruik gemaakt van een lerend systeem dat handgeschreven cijfers leert herkennen. Dit gebeurt door een lerend algoritme dat aan de hand van vooraf gegeven data,

trainingsdata, een hypothese vormt en deze hypothese vervolgens gebruikt om nieuwe data te

interpreteren (pers. comm., het vak: Leren aan de UvA, dr. M.W. van Someren, 2015). In onderzoeken wordt voor het testen van de hypothese testdata gebruikt. Testdata wordt gebruikt

als data die het algoritme nog niet eerder heeft gezien om de gemaakte hypothese te testen. Dit kan omdat de uitkomst van de testdata vooraf al bekend is. De juiste trainings- en testdata zijn dus essentieel voor het maken en testen van een leeralgoritme.

Het trainen van het algoritme zou vergeleken kunnen worden met het trainen van pseudosynesthesie bij niet-synestheten (Rouw, R. en Colizoli, O. 2014). Hierbij zorgt priming voor de associaties doordat de kleur telkens weer wordt opgehaald bij het zien van de letters terwijl deze associatie voorheen niet bestond. Zoals eerder genoemd zou deze pseudosynesthesie voordeel kunnen bieden aan het beter onthouden van de gelezen cijfers of woorden en het sneller herkennen ervan. De computer die getraind is in dit onderzoek zal worden getest op de herkenning van handgeschreven cijfers. Terwijl de herkenningssnelheid van een computer afhangt van de processor, is het herkennen van een object bij de mens afhankelijk van hersenstructuren voornamelijk in de visuele cortex. Bij het kunnen opnoemen van een incongruente letter-kleur combinatie is een synestheet veel langzamer bij dan de congruente combinatie (Palmeri et al., 2002). Het kost moeite voor de synestheet om dit uit te voeren, ze inhiberen als het ware de letters die ze normaal gesproken associëren en zijn uiteindelijk in staat het juiste woord op te noemen ondanks de clash (Simner en Hubbard, 2006). Een computer is hier niet toe in staat en zal een foute herkenning geven.

Het pseudosynesthetische algoritme

Dit onderzoek is voornamelijk verkennend, waardoor een simpel leeralgoritme het interessants is om als eerste te gebruiken. Dit onderzoek maakt gebruik van het k-nearest neighbour algoritme. Dit is één van de meest fundamentele en simpele leeralgoritmes (Peterson, 2009). K-nearest neighbour kijkt aan de hand van gegeven gelabelde data, de trainingsdata, wat de classificatie is van een nieuw datapunt. Hiervoor kijkt het naar de labels van een gegeven aantal buren, datapunten die het meest lijken op het nieuwe punt, en deelt het nieuwe datapunt in aan de hand van deze labels. Dit betekent dat dit algoritme in tegenstelling tot andere leeralgoritmes de data rechtstreeks gebruikt om te voorspellen in plaats van een hypothese hiervoor te gebruiken. Een grafische weergave van k-nearest neighbour ziet er daarom uit als een Voronoi-diagram.

K-nearest neighbour is door zijn simpele vorm makkelijk te implementeren en is het algoritme om als eerste toe te passen bij data waar nog geen kennis over is (Peterson, 2009; Keller, Gray, Givens, 1985; pers. comm., het vak: Leren aan de UvA, dr. M.W. van Someren, 2015), waardoor het interessant is om in dit onderzoek als algoritme te gebruiken. Het is echter trager in classificeren en gebruikt meer geheugen dan andere algoritmes, maar werkt bijzonder effectief bij het herkennen van handgeschreven cijfers (Lee, 1991). Dit komt doordat het algoritme voor elk nieuw punt langs elk datapunt in de trainingsset gaat om het nieuwe punt te vergelijken. Hierdoor worden waardes gevonden die veel op het nieuwe punt lijken, maar wordt wel alles vergeleken voordat er een label wordt toegekend.

Om het algoritme te optimaliseren is k-nearest neighbour in dit onderzoek uitgebreid met een formule waardoor de afstand van het nieuwe punt tot een variabel aantal buren wordt gebruikt (Dudani, 1976). Dit betekent dat dichterbij gelegen punten meer invloed krijgen en een mogelijk gelijkspel opgelost wordt. Een gelijkspel kan ontstaan wanneer bijvoorbeeld gekeken wordt naar twee buren, waarvan de labels tot twee verschillende groepen behoren. Met deze geoptimaliseerde vorm van k-nearest neighbour weegt de dichtstbijgelegen buur zwaarder, waardoor dit het label wordt van het nieuwe punt. De volgende formule is gebruikt als gewicht,

w

w

=

1

d

+

0,0001

Doordat de gewichten steeds opgeteld worden per geïdentificeerde buur, kan het programma de groep met het hoogst aantal gescoorde punten kiezen als het label voor de nieuwe datapunt.

Methode

Om grafeem-kleur synesthesie in een computer te implementeren worden in dit onderzoek twee datasets gebruikt: de trainingsset van 300 datapunten waarmee het algoritme leert en de testset van 240 datapunten waar de interpretaties van het algoritme mee getest zullen worden. Deze datasets zijn afkomstig van het vak ‘Leren’ van Maarten van Someren aan de Universiteit van Amsterdam. Hierdoor is het zeker dat een gebalanceerde, werkende dataset gebruikt wordt. Een punt uit de dataset is één gelabelde handgeschreven ‘1’, ‘2’, of ‘3’ die bestaat uit 64 variabelen. Deze variabelen zijn afkomstig uit de originele afbeelding van het getal, die in een 8x8 matrix is opgedeeld met voor elk deel van de matrix de grijswaarde als variabele. Figuur 1 toont een voorbeeld van aantal handgeschreven drieën met een raster. Ieder blokje in dit raster resulteert in een variabele die bestaat uit de grijswaarde in dat blokje. De dataset die hiervoor gebruikt is, bevat de 64 variabelen aan grijswaardes. Het maken van deze variabelen is niet een onderdeel van dit onderzoek en zit reeds in de te gebruiken dataset.

Figuur 1. Voorbeelden van handgeschreven drieën met raster. Aangepast overgenomen uit Chartier, T. (2010). Digit recognition with Pythagoras. Geraadpleegd op 27 januari 2016, van

http://sites.davidson.edu/mathmovement/digit-recognition-with-pythagoras/

Om kleuren toe te voegen aan de datapunten, wordt het aantal variabelen verdrievoudigd. Op deze manier kunnen de eerste 64 variabelen geïnterpreteerd worden als roodwaardes, de volgende 64 als groenwaardes en de laatste 64 als blauwwaardes. Dit is een abstracte vergelijking met hoe mensen kleuren waarnemen (Cuthill, 2006; pers. comm. Pieter Adriaans, 17 november 2015).

Omdat dit onderzoek zich focust op pseudosynesthesie, kunnen we het k-nearest neighbour algoritme laten leren met een dataset waarin ieder cijfer een vaste kleur heeft gekregen. Op deze manier leert de computer de handgeschreven cijfers herkennen met vaste kleuren, waardoor een vorm van associaties tussen kleuren en cijfers gevormd wordt. Dit betekent dat een datapunt voor het getal “1” alleen rode kleurwaardes krijgt, terwijl de groenwaardes en blauwwaardes voor elk punt in de 8x8 matrix nul blijven. Hierdoor ontstaat de associatie tussen het cijfer “1” en de kleur rood, wat vervolgens met andere kleuren ook toegepast kan worden op de cijfers “2” en “3”. Om dit pseudosynesthetische systeem te analyseren, wordt de testset opgedeeld in drie varianten. Hierbij zijn de getallen op drie verschillende manieren weergegeven: zwarte cijfers die gelijke waardes hebben voor alle drie de kleurtinten, synesthetisch gekleurde cijfers waarbij de getallen alleen waardes hebben voor vaste kleurtinten, en random gekleurde cijfers welke gekleurd zijn, maar alle drie mogelijke kleuren kunnen aannemen.

Naast de groep die leert van een trainingsset met een vaste kleur per cijfer, het pseudosynesthetische systeem, komen er ook groepen die de zwarte getallen in kleurwaardes leren, het zwart-wit systeem en een groep die cijfers in de drie mogelijke kleuren leert, het random systeem. Deze laatste twee groepen zijn testgroepen, waarbij de laatste groep het beste representeert hoe wij met gekleurde cijfers omgaan.

Alle drie de groepen krijgen te maken met de drie varianten van de testset om te kijken hoe de performance onderling verschilt. De performance wordt getest aan de hand van accuracy en

snelheid. De accuracy geeft weer hoe nauwkeurig het algoritme is in het classificeren van de

worden getest wat de invloed is van cijfers associëren met kleur op de werking van het algoritme. De snelheid wordt gehaald uit de tijd die het systeem nodig heeft om de gehele testset te classificeren. Uiteindelijk kan met de vergelijking tussen verschillende groepen worden bekeken of een pseudosynesthetisch systeem een betere accuracy geeft en of deze accuracy opweegt tegen een mogelijke achteruitgang in de snelheid van het algoritme.

Er wordt ook een controletest gedaan met een ‘normaal’ systeem. Dit systeem heeft maar één 8x8 matrix, overeenkomstig met hoe het k-nearest neighbour algoritme gebruikelijk wordt uitgevoerd.

Het programma dat wordt gebruikt is geschreven in Python. In deze code worden eerst alle datapunten ingelezen waarna alle datasets worden geïnitialiseerd. Deze tijd is door iedere test meegenomen en voegt gemiddeld 0,2 secondes toe aan de uiteindelijke tijd. De geoptimaliseerde k-nearest neighbour van Dudani (1976) is vervolgens per testset negen maal uitgevoerd met een aantal buren van één tot negen.

Binnen de resultaten zijn er meerdere groepen om met elkaar te vergelijken. Één groep bestaat uit de verschillende runs waarbij het aantal buren k varieert, maar de vorm van de gebruikte trainings- en testset gelijk blijft. Om deze verschillende groepen met elkaar te vergelijken is de afhankelijke t-toets gebruikt. Omdat binnen het onderzoek bij iedere uitvoering van het programma dezelfde trainings- en testdata gebruikt is, zijn de gebruikte sets afhankelijk van elkaar. Dit kan de resultaten beïnvloeden, waardoor de standaard onafhankelijke t-toets achterwege gelaten is. Een afhankelijke t-test vergelijkt gemiddelden van twee gerelateerde groepen en laat zien of deze significant van elkaar verschillen. De nulhypothese stelt hierbij dat er geen verschil tussen de gemiddelden bestaat.

De p-waarde die gehanteerd gaat worden moet echter lager en dus strenger zijn dan de standaard 0,05. Door de afhankelijkheid van de gebruikte data voor de verschillende groepen, maar ook door de hoeveelheid vergelijkingen die uitgevoerd worden. Wanneer meerdere experimenten worden gedaan, heeft elk experiment op zichzelf de mogelijkheid om een significante p-waarde te vinden onder de 0,05 (Salzberg, 1997; Rice, 1989). Hierdoor wordt er significantie gevonden waar er geen is en is dus de kans op een type I fout groter. Om dit tegen te gaan is een lagere p-waarde als grens genomen, namelijk 0,01. Op deze manier worden te voorbarige conclusies eerder buitengesloten.

Hypothese

Om de performance van de verschillende groepen te testen wordt gekeken naar de accuracy en de snelheid. Hierbij zal de grootte van de datapunten waarschijnlijk de grootste invloed hebben op de snelheid. Omdat de drie groepen die gebruik maken van drie keer een 8x8 matrix evenveel data hebben, wordt verwacht dat hier gelijke snelheden gevonden worden. De accuracy zal in dit onderzoek een belangrijke parameter zijn. Hiervoor zal het systeem, zoals beschreven staat in de methode, leren met een trainingsset en getest worden met een testset. Omdat steeds dezelfde trainings- en testset worden gebruikt, welke alleen worden aangepast qua kleuren, kunnen dezelfde accuracies gevonden worden.

Het zwart-wit systeem zal waarschijnlijk bij elke testset een even hoge accuracy hebben. Dit systeem heeft geen last van de verschillende kleuren die de testset heeft, maar heeft er ook geen profijt van. Omdat er bij het verwerken van cijfers in kleuren voor een niet-synestheet geen clash wordt ervaren, verwachten we dus ook geen verschil in accuracy voor dit systeem (Hale et al., 2014; pers. comm. Mieke de Roo, 9 december 2015).

Het random systeem zal waarschijnlijk ook bij elke testset even goed presteren. Mensen zijn niet beter of slechter in het herkennen van gekleurde cijfers dan in het herkennen van zwart-wit cijfers. De verwachting is dat het random systeem, wat het meest overeenkomt met hoe mensen kleuren waarnemen, dus ook dezelfde accuracy zal hebben bij elke testset (Cuthill, 2006; pers. comm. Pieter Adriaans, 17 november 2015).

Het pseudosynesthetische systeem zal bij de zwart-wit testset vermoedelijk niet beter en niet slechter presteren dan het zwart-wit noch random systeem. Synestheten zijn niet aantoonbaar beter in het herkennen van ‘normale’ cijfers, oftewel cijfers die geen kleur hebben. Dit clasht dus niet met de eigen ervaring, maar draagt hier ook niet aan bij (Hale et al., 2014). Dit systeem heeft in deze situatie waarschijnlijk geen voordeel aan de kleurherkenning, net als synestheten. Datzelfde systeem zal bij een synesthetisch gekleurde testset waarschijnlijk wel beter presteren dan de andere twee systeem. De associaties zijn sterker bij synestheten, dus mogelijk is de accuracy bij het pseudosynesthetische systeem ook hoger (Palmeri et al., 2002; pers. comm. Mieke de Roo, 9 december 2015). Waarschijnlijk presteert dit systeem dus wel beter dan het random systeem bij een synesthetisch gekleurde testset. Het pseudosynesthetische systeem heeft deze vorm geleerd en zal hier beter mee om kunnen gaan (Smilek et al., 2002).

Bij de testset met random kleuren zal het systeem slecht presteren. Er zal waarschijnlijk een clash ontstaan tussen de synesthetische link tussen cijfer-kleur en de waargenomen vorm. Dit zou overeen komen met de clash die synestheten ervaren als de waargenomen vorm niet overeenkomt met hun vastgelegde automatische synesthetische associatie (pers.comm. Mieke de Roo, 9 december 2015; Hale et al., 2014; pers. comm. Steven Scholte, 11 november 2015; Smilek et al., 2002).

Tot slot wordt het zwart-wit systeem en het normale systeem vergeleken. Het systeem waarbij grijstinten in drie dimensies zijn weergegeven zal veel trager werken. Er is drie maal zoveel data die verwerkt moet worden. De verdriedubbeling van de dataset zorgt ook voor meer mogelijke variatie. Dit kan in leeralgoritmes leiden tot grotere onnauwkeurigheid doordat het algoritme zich te veel probeert te fitten op de trainingsset die nog mogelijke fouten kan bevatten (Ng, 2011; pers. comm., het vak: Leren aan de UvA, dr. M.W. van Someren, 2015).

Resultaten

De resultaten van de verschillende runs van het k-nearest neighbour algoritme staan in tabel 1 weergegeven. Hierin zijn per kolom de test- en/of trainingsset verschillend, terwijl per rij wordt weergeven hoeveel buren werden bekeken voor het labelen van de nieuwe datapunten. Per cel in de tabel staat de gemeten accuracy - het percentage goed geïdentificeerde cijfers - en het aantal seconden dat de computer nodig had voor het runnen van het programma.

Tabel 1. De gevonden accuracies en tijden voor de tests.

K : Aantal buren

Normaal : Alleen grijstinten voor zowel de trainingsset als testset, één 8x8 matrix Zwart-wit : Zwart-witte cijfers voor de trainingsset

Synesthetisch : Vaste kleuren voor vaste cijfers voor de trainingsset Random : Random kleuren per cijfer voor de trainingsset Zw : Zwart-witte cijfers voor de testset

S : Vaste kleuren voor vaste cijfers voor de testset R : Random kleuren per cijfer voor de testset μ : Gemiddeldes per kolom

Figuur 3. De gevonden tijdsduur per trainings-/testset

Er werd in dit onderzoek gekeken naar snelheid en accuracy. Aangezien de algoritmes die de input van rode, groene en blauwe waardes hebben, ongeveer gelijke tijden scoren, nemen we van elke kolom de gemiddelde tijd. Deze groep van gemiddeldes wordt vervolgens vergeleken met het normale systeem. De gevonden p-waarde voor de afhankelijk t-toets is p=1.25*10^-15. Dit is lager dan onze grenswaarde, dus is het resultaat significant. Het normale systeem is significant sneller dan de andere systemen.

Voor het vergelijken van de accuracy zijn de volgende groepen bekeken. Alle accuracies zijn vergeleken met de afhankelijke t-toets zoals genoemd in de methode.

Pseudosynesthetisch systeem: synesthetisch gekleurde testset versus random gekleurde testset

Voor de vergelijking van het pseudosynesthetische systeem met een synesthetisch gekleurde testset tegenover de random gekleurde testset heeft de p-waarde van p=1.94*10^-34 als gevolg. Dit is lager dan onze grenswaarde, waardoor dit een significant resultaat is. Hieruit blijkt dat de accuracy van het pseudosynesthetische systeem met een synesthetisch gekleurde testset hoger is.

(5) versus (6) Random gekleurde testset: pseudosynesthetisch systeem versus random systeem

De p-waarde voor het verschil tussen het pseudosynesthetische systeem en het random systeem met de random gekleurde testset is 1.51*10^-17. Dit resultaat is significant, dus heeft het random systeem een hogere accuracy voor de random gekleurde testset.

(6) versus (9)

Synesthetisch gekleurde testset: pseudosynesthetisch systeem versus random systeem Vervolgens zijn weer het pseudosynesthetische en random systeem vergeleken met dit keer de synesthetisch gekleurde testset. Er is p-waarde van 0.026 gevonden, wat volgens onze grenswaarde niet significant is. Het pseudosynesthetische systeem heeft dus geen significant hogere accuracy dan het random systeem bij een synesthetisch gekleurde testset.

(5) versus (8) Zwart-witte testset: verschillen binnen het zwart-wit systeem

Er is een opvallend resultaat in accuracy bij een laag aantal buren van de zwart-witte trainingsset met synesthetisch en random gekleurde testsets gevonden. Daarom is besloten deze groepen te vergelijken met de zwart-witte testset. Met de statistische toets kwam hier een p-waarde van 0.031 uit, wat niet significant is.

(1) versus (2)/(3)

Discussie

Interpretatie van de resultaten

Het blijkt dat het toevoegen van kleur aan testsets voor cijferherkenning niet voordelig is voor de snelheid van de performance ten opzichte van het runnen van de groep met enkel grijs-waarden. De reden hiervoor is dat het verwerken van extra informatie door meer datapunten meer tijd kost. De verdriedubbeling van de datapunten heeft naar verwachting gezorgd voor ongeveer een verdriedubbeling in verwerkingstijd.

Het pseudosynesthetische systeem scoort significant hoger bij het herkennen van de synesthetisch gekleurde testset dan bij het herkennen van de testset met random gekleurde

cijfers. Dit is in overeenstemming met onze verwachting dat het synesthetische systeem meer moeite heeft met incongruente letter-kleur combinaties, omdat hierbij een clash wordt ervaren. Wat opvallend is, is dat er bij dit systeem geen verschil in accuracy is tussen de zwart-witte en de synesthetisch gekleurde testset. Er werd verwacht dat een pseudosynesthetisch systeem voordeel zou halen uit sterke consistente associaties zoals die in deze training- en testset zijn gemaakt. Het blijkt dat het pseudosynesthetische systeem niet accurater is in het herkennen van synesthetisch gekleurde cijfers dan in het herkennen van zwart-wit gekleurde cijfers.

Het random systeem heeft een significant hogere accuracy dan het pseudosynesthetische systeem bij het herkennen van random gekleurde cijfers. Dit is in overeenkomst met onze hypothese, omdat we verwachten dat binnen het pseudosynesthetische systeem een clash ontstaat, terwijl het random gekleurde systeem getraind is op het herkennen van random gekleurde cijfers. Tussen deze twee systemen was geen significant verschil te vinden wanneer er werd getest met een synesthetisch gekleurde testset. Dit is niet volgens de verwachting. Hoewel het pseudosynesthetische systeem specifiek op deze combinaties heeft getraind, en het random systeem niet, is er geen verschil te vinden.

Tussen de verschillende testset bij het zwart-wit systeem was geen significant verschil te vinden. Dit is in overeenstemming met de hypothese. Het systeem haalt geen voor- of nadeel uit de kleur van de cijfers, of het nou zwart-wit is of gekleurd.

De verwachting dat er een clash zou ontstaan bij het pseudosynesthetische systeem als het een random gekleurde testset voorgelegd kreeg klopte. Dit is vergelijkbaar met hoe menselijke synestheten de botsing ervaren. De verwachting dat het pseudosynesthetische systeem een hogere accuracy zou hebben bij een synesthetisch gekleurde testset dan bij een zwart-witte testset klopte niet. Dit is anders dan bij menselijke synestheten, die wel voordeel ervaren bij het waarnemen van synesthetisch gekleurde grafemen. Hieruit volgt dat het pseudosynesthetische systeem wel een deel van dezelfde nadelen heeft als menselijke synestheten, maar niet alle voordelen. Het is dus niet voordelig om het k-nearest neigbour algoritme pseudosynesthesie aan te leren.

Discussiepunten onderzoek

In dit onderzoek is het algoritme dat is gebruikt niet synesthetisch, maar het gebruikt een vorm van pseudosynesthesie. De synesthesie wordt aangeleerd doordat het algoritme leert met vaste kleur en cijfer combinaties. Dit is de vorm van pseudosynesthesie die het meest in de buurt komt van echte synesthesie, aangezien de combinaties tussen cijfers en kleuren consistent zijn en altijd gemaakt worden. Het is echter zeer beperkt en simplistisch door de kleine hoeveelheid cijfers en kleuren die waargenomen kunnen worden. Het grote verschil met synesthesie is dat het niet biologisch vastgelegd is, maar aangeleerd aan het algoritme. Verder kunnen we niet spreken over een ervaring die waargenomen wordt. Aangezien er niet beduidend beter wordt gescoord door het pseudosynesthetische systeem in het algoritme, zou het kunnen zijn dat deze ware ervaring nodig is voor het behalen van de voordelen. Bovendien kan er ook kritisch worden gekeken naar de afgewogen voordelen voor pseudosynesthesie in een computer. Volgens Steven Scholte (pers. comm., 10 november 2015) zou het hebben van synesthetische associaties in een computer zelfs zorgen voor sterk verlies aan efficiëntie en flexibiliteit.

In dit onderzoek is de aanname gedaan dat de mens zonder synesthetische ervaringen wordt beschouwd als het meest lijkend op het random systeem. Mensen zonder synesthesie ervaren hebben geen associaties maar zou toch kunnen worden beïnvloed worden door toekenning van kleur aan cijfers. Een discussiepunt voor vervolgonderzoek is dus de vergelijking van de synestheet en niet-synstetheet met de training van het algoritme. Daarnaast kunnen er claims gemaakt wordt dat het zwart-wit systeem ook een soort representatie is van de mens.

De gevonden resultaten zijn statistisch getest met een afhankelijke t-toets. Deze toets en het maken van meerdere tests zorgen voor een grotere kans op een type I error (Salzberg, 1997; Rice, 1989), wat kan worden verholpen met het verlagen van de p-waarde van 0,05. Hierdoor ontstaat eerder de kans dat hypotheses worden gezien als insignificant, de type II fout. Dit kan betekenen dat resultaten die vooraf als insignificant werden bestempeld, wel significant zijn, wat grote invloed heeft op de bevindingen van dit onderzoek.

Daarnaast is de afhankelijke t-toets gebruikt omdat telkens dezelfde dataset per run is uitgevoerd. Deze dataset is steeds hergebruikt omdat het aantal datapunten te laag is om meerdere sets te kunnen maken. Nog een beperking is dat maar enkele cijfers en kleuren getest zijn. Wanneer kleuren gebruikt worden die bijvoorbeeld blauw- en roodwaardes mengt, kunnen andere resultaten gevonden worden.

Het algoritme

Het algoritme dat hier gebruikt is heeft veel limieten. De implementatie die gebruikt is kan nog geoptimaliseerd worden, wat betere waardes kan geven. Zo bestaan er aanpassingen waardoor het algoritme per variabele controleert in hoeverre deze waardes voorspellend zijn en de variabelen aan de hand hiervan weegt (Keller, Gray, Givens, 1985). Daarnaast is k-nearest neighbour niet het meest optimale leeralgoritme dat gebruikt kan worden. K-nearest neighbour is een goed algoritme om data verkennend te bekijken, maar het gebruikt veel computergeheugen en is traag in het classificeren (Lee, 1991). Deze traagheid kan extra benadrukt worden door de laptop waarop het algoritme gedraaid is of de programma’s die de computer tegelijkertijd bezig houden. Hierdoor zijn de gemeten tijdwaardes niet geheel betrouwbaar, op grote verschillen na. Ook maakt k-nearest neighbour geen hypotheses, in tegenstelling tot andere leeralgoritmes, waardoor het niet een ‘echt’ lerend algoritme is. Dit heeft geen invloed op de werking van het algoritme, maar maakt wel dat het algoritme trager is doordat elk datapunt van de trainingsset opnieuw bekeken moet worden per nieuwe datapunt. Het kan ook zo zijn dat een ander algoritme het maken van voorspellingen heel anders aanpakt, en daardoor beter kan voorspellen. Dit is echter iets wat enkel ondervonden kan worden door het uit te voeren. Ook kan een ander algoritme eerder de processen van synestheten tentoonstellen. Zo werken beslisbomen met stappen waarmee ze datapunten verdelen in een bepaalde groep (pers. comm., het vak: Leren aan de UvA, dr. M.W. van Someren, 2015). Een simpele stap voor een pseudosynesthetisch systeem zou zijn om de datapunten te verdelen op kleur in plaats van individuele grijswaardes per onderdeel van de afbeelding. Bij dit leeralgoritme zou de synestheet een kort pad in de beslisboom hebben, waardoor de herkenning sneller verloopt (Palmeri et al., 2002). Dit komt wellicht meer overeen dan het vergelijken van accuracy met het menselijk brein.

Conclusie

Uit dit onderzoek blijkt dat het toevoegen van kleuren aan cijfers geen significante verbetering geeft wanneer dit toegepast wordt in een pseudosynesthetisch lerend systeem met een k-nearest neighbour algoritme. Er ontstaat een clash bij het herkennen van de random gekleurde testset door het pseudosynesthetische systeem, wat ook geldt voor mensen. Het pseudosynesthetische systeem is niet beter in het herkennen van een synesthetisch gekleurde testset dan een zwart-wit gekleurde testset. Menselijke synestheten zijn hier wel beter in. Ook heeft systeem geen hogere accuracy bij het herkennen van een synesthetisch gekleurde testset dan het random systeem.

De implementatie van pseudosynesthesie in het k-nearest neighbour algoritme heeft dus geen voordeel voor de accuracy en een nadeel in snelheid in vergelijking met het originele systeem, de meest gebruikelijke vorm van het algoritme. Dit betekent dat het implementeren van

pseudosynesthesie in een intelligent systeem met k-nearest neighbour in deze vorm geen voordeel heeft.

Voor vervolgonderzoek zou kunnen worden gekeken naar andere algoritmes en een uitgebreidere dataset. Daarbij zou het ook erg interessant kunnen zijn om juist naar de creatieve voordelen van synesthesie te kijken voor een intelligent systeem, of dat dit juist een verminderde flexibiliteit als gevolg heeft.

Referenties

Asher J. E, Lamb J. A, Brocklebank D, Cazier J. B, Maestrini E, et al. (2009) A whole-genome scan and fine-mapping linkage study of auditory-visual synesthesia reveals evidence of linkage to chromosomes 2q24, 5q33, 6p12, and 12p12. Am J Human Genetics, 84(2), 279–285.

Banissy M. J, Walsh V, Ward J. (2009). Enhanced sensory perception in synaesthesia. Exp Brain Res 196(4): 565–571

Baron-Cohen S, Burt L, Smith-Laittan F, Harrison J, Bolton P (1996) Synaesthesia: Prevalence and

familiality. Perception, 25(9), 1073–1079.

Baron-Cohen, S., Bor, D., Billington, J., Asher, J., Wheelwright, S., & Ashwin, C. (2007). Savant memory in a man with colour form-number synaesthesia and asperger. Journal of Consciousness Studies, 14(9-10), 237-251.

Brang, D. (2011) Survival of the Synesthesia Gene: Why Do People Hear Colors and Taste Words?, online PLOS Biology Journal, 1371.

Bremner, A. J., Caparos, S., Davidoff, J., de Fockert, J., Linnell, K. J., & Spence, C. (2013). “Bouba” and “Kiki” in Namibia? A remote culture make similar shape–sound matches, but different shape–taste matches to Westerners. Cognition, 126(2), 165-172.

Chartier, T. (2010). Digit recognition with Pythagoras. Geraadpleegd op 27 januari 2016, van

http://sites.davidson.edu/mathmovement/digit-recognition-with-pythagoras/

Colizoli, O., Murre, J.M.J., Rouw, R. (2014). Defining (trained) grapheme-colour synesthesia. Frontiers in

human neuroscience, 8, 368.

Cuthill, I.C. (2006). Color perception. In Hill, G.E., McGraw, K.J.(Red.), Bird Coloration volume 1 Mechanisms

and Measurements. London: Harvarde University Press.

Cytowic, R. E. (2002). Synesthesia: A union of the senses. MIT press.

Dudani, S.A. (1976). The Distance-Weighted k-Nearest-Neighbor Rule. Systems, Man and Cybernetics, SMC-6(4), 325-327.

Hale, J., Thompson, J. M., Morgan, H. M., Cappelletti, M., & Cohen Kadosh, R. (2014). Better together? The cognitive advantages of synaesthesia for time, numbers, and space. Cognitive neuropsychology, 31(7-8), 545-564.

Jäncke, L., Beeli, G., Eulig, C., Hanggi, J. (2009) The neuroanatomy of grapheme-color synesthesia. Eur J Neuroscience 29: 1287–1293.

Keller, J.M., Gray, M.R., Givens, J.A. jr. (1985). A Fuzzy K-Nearest Neighbour Algorithm. IEEE Transactions on

systems, man, and cybernetics, SMC-15(4), 580-585.

Lee, Y. (1991). Handwritten Digit Recognition Using K Nearest-Neighbor, Radial-Basis Function, and Backpropagation Neural Networks. Neural Computation, 3, 440-449.

Mann, H., Korzenko, J., Carriere, J. S., & Dixon, M. J. (2009). Time–space synaesthesia–A cognitive advantage?. Consciousness and cognition, 18(3), 619-627.

Meier, B. & Rothen, N. (2013). Grapheme-color synaesthesia is associated with a distinct cognitive style.

Frontiers in psychology, 4:632.

Ng, A. (2011). Advice for applying Machine Learning [Course notes]. Retrieved from

http://www.holehouse.org/mlclass/10_Advice_for_applying_machine_learning.html

Ng, A. (2011). Introduction, Regression Analysis, and Gradient Descent [Course notes]. Retrieved from

http://www.holehouse.org/mlclass/01_02_Introduction_regression_analysis_and_gr.html

Palmeri, T. J., Blake, R., Marois, R., Flanery, M. A., & Whetsell, W. (2002). The perceptual reality of synesthetic colors. Proceedings of the National Academy of Sciences, 99(6), 4127-4131.

Peterson, L.E. (2009) K-nearest neighbor. Scholarpedia, 4(2): 1883

Ramachandran V. S & Brang D. (2009). Sensations evoked in patients with amputation from watching an individual whose corresponding intact limb is being touched. Arch Neurol, 66(10): 1281–1284.

Rice, W. R. (1989). Analyzing tables of statistical tests. Evolution, 223-225.

Rich, A. N., Bradshaw, J. L., & Mattingley, J. B. (2005). A systematic, large-scale study of synaesthesia: implications for the role of early experience in lexical-colour associations. Cognition, 98(1), 53-84.

Rothen N, Meier B (2010) Higher prevalence of synaesthesia in art students. Perception, 39(5): 718–720. Rothen, N. & Meier, B. (2014). Acquiring synaesthesia: insights from training studies. Frontiers in Human

Neuroscience, 8, 109.

Russell, S & Norvig, P. (2009). Artificial Intelligence: A Modern Approach. US: Pearson Education.

Salzberg, S. L. (1997). On comparing classifiers: Pitfalls to avoid and a recommended approach. Data mining and knowledge discovery, 1(3), 317-328.

Simner, J. (2012). Defining synaesthesia. British Journal of Psychology, 103, 1-15.

Simner, Julia, and Edward M. Hubbard. Variants of synesthesia interact in cognitive tasks: Evidence for

implicit associations and late connectivity in cross-talk theories. Neuroscience 143.3 (2006): 805-814.

Smilek D, Dixon M. J, Cudahy C, Merikle P. M (2002) Synesthetic color experiences influence memory.

Psychol Sci, 13(6): 548–552.

Ward J., Simner J. (2005). Is synaesthesia an X-linked dominant trait with lethality in males? Perception, 34: 611–623.

Ward, J., Huckstep, B., & Tsakanikos, E. (2006). Sound-colour synaesthesia: To what extent does it use cross-modal mechanisms common to us all? Cortex, 42(2), 264-280.

Bijlage

Bijlage I: Interview Romke Rouw

Dr. R. Rouw is cognitief neurowetenschapper, psychologe en synesthesie-onderzoeker aan de Universiteit van Amsterdam. Ze onderzoekt de neuronale basis en de erfelijkheid van synesthesie. Ook heeft zij veel geschreven over het aanleren van synesthesie met voornamelijk grafeem-kleur experimenten.

Wat is de definitie van synesthesie en op wat voor manier is het voor- of nadelig?

Het hangt er vanaf hoe je het gebruikt en waar je het voor wil gebruiken. Mensen hebben er last van als ze teveel tegelijk ervaren zoals supersynestheten, maar veel mensen zijn dat natuurlijk niet. Ze associeren een aantal kleuren met een aantal letters en dan zeggen ze meestal dat het hun wereld interessanter maakt. Sommige mensen ervaren helemaal geen kleuren en dan denk ik ‘oh wat jammer’. Het is aangetoond dat ze het kunnen gebruiken in geheugentaken.

In welke mate lijkt aangeleerde synesthesie op natuurlijke synesthesie?

Het is belangrijk om erachter hoe je ‘ware’ synesthesie definieert en daarom heb ik een artikel daarover geschreven. Mensen zijn er mee bezig en de meningen erover zijn verdeeld. Sommige mensen vinden dat alle cross-modale correspondenties erbij horen, dat hebben we allemaal. Hoge geluiden zijn makkelijker te associëren met hoge dingen in de spatiële ruimte. Sommige mensen vinden dat synesthesie slechts in extreme vorm bestaat. Sommigen zien het echt als een apart iets. Het is een onderwerp van discussie. Als ik je aanleer dat je bepaalde associaties hebt, ben je dan een synestheet of heb je dan associaties aangeleerd? Een van de dingen die aan synestheten bijzonder is dat ze de associaties echt ervaren. Ze zien, voelen en ervaren het echt. Is deze ‘ware’ ervaring te controleren bij aangeleerde synesthesie?

Dat is heel lastig, het enige onderzoek dat hieraan gedaan kan worden is mensen vragen stellen. Er zijn wel een paar andere dingen, je kan bijvoorbeeld de activatie meten in visuele gebieden als je een synthetische kleur ervaart. Dit is echter nog niet gedaan bij aangeleerde synestheten. We denken dat dat misschien zou moeten kunnen. Olympia heeft een studie gedaan en er is een studie van de auteur Bor. Hij heeft gezegd dat mensen wel echt de kleur beginnen te ervaren na het leren. Er was een hele intensieve leerfase. Mensen begonnen de kleuren echt te zien net zoals synestheten dat doen. Hoe weet je zeker of dat hetzelfde is? Dat zijn subjectieve ervaringen, en dus is het een hele filosofische vraag.

Wat is de beste variabele om te meten of synestheten profijt hebben bij een geheugentaak? Kan een Sensory Substitution Device helpen bij verbetering?

Er zijn best al wat onderzoeken gedaan over het voordeel van synesthesie voor geheugen. Daar kan je een beetje afkijken. Een van de auteurs is Rothen. Hij heeft ook een soort review paper geschreven over geheugen en synesthesie. Ik denk dat bij SSD’s functionaliteit heel belangrijk wordt. Ga je door SSD’s beter functioneren, heb je het gevoel dat het een verbetering is? Mensen die handicaps hebben, ook mensen die dat niet hebben, kunnen dat misschien gaan gebruiken. Bijvoorbeeld met boodschappenlijstjes. Dat is een beetje een filosofische vraag die jij stelt. Is het nog synesthesie te noemen?

Mijn eigen insteek is, dat ik dit geen synesthesie vind. Mensen met synesthesie hebben uit zichzelf bepaalde ervaringen en dat versterken zij in hun jeugd en in de loop van hun leven blijven ze het gebruiken. Dat blijft altijd hetzelfde en het hoort bij hen. Ik vind dat al die andere dingen zoals cross-modale correspondentie en het aanleren van associaties allemaal in een andere hoek zitten, namelijk het integreren van informatie over zintuigen, wat we allemaal doen. Maar dat heeft niet dat specifieke wat een synestheet heeft, dat het die specifieke kleur moet zijn. Het heeft niet het genetische aspect, dat het dat hele sterke consistente en automatische associaties zijn en het heeft niet diezelfde subjectieve ervaring. Misschien is het helemaal niet

waar dat mensen op een bepaalde manier gevormd zijn. Misschien zijn we allemaal nog om te vormen naar synestheten. Dat is uiteindelijk een empirische vraag. Op dit moment vind ik dat niet. Het zijn mensen die uit zichzelf al die extra ervaringen hebben, altijd hetzelfde, heel specifiek, heel privé en niet veranderlijk. Wij gebruiken altijd iets als ‘trained synesthesia’ of ‘pseudo synesthesia’. Zo’n soort term dat je de link naar synesthesie nog hebt maar een andere term eraan geeft. Van mij mag het nooit synesthesie genoemd worden. Omdat dat toch wat anders is, het is aangeleerd en je weet het zelf dus ook niet.

Hoe is het onderzoek naar aangeleerde grafeem-kleur synesthesie met het lezen van boeken in gekleurde letters in praktijk gegaan?

We hebben dus mensen gevraagd of ze mee wilden doen met het onderzoek. We hadden vier letters gekozen en elke letter heeft een kleur gekregen. Dat waren alleen hoog frequente letters en dat was omdat het inkleuren van alle letters één kleurenzee wordt. Maar als je bijvoorbeeld een ‘a’, ‘e’, ‘k’ en ‘l’ neemt, vonden wij een betere manier van aanleren dan bewust een strategie aanleren omdat je gewoonlijk leert door andere dingen te doen. Op deze manier gebruik je het: ik heb een boek gelezen en ik was niet goed in het onthouden van de naam van de hoofdpersoon, ik kon het beter onthouden omdat ik wist dat er veel rood in zat. In de studies van Bohr staan heel veel trainingen. Je moet wel een beetje tijd hebben. Je kunt wel iemand een taak geven en dan weer een taak. Maar dan is het gewoon priming. Priming werkt goed, dus dan ga je dingen vinden. Maar dat is geen synesthesie.

Bijlage II: Interview met Olympia Colizoli

Dr. O. Colizoli onderzoekt de neuromodulatie van perceptuele ‘decision making’. Haar onderzoek tijdens haar PhD thesis ging over individuele verschillen in visuele perceptie en geheugen. Verder heeft ze veel samen geschreven aan artikelen over de neurologische verschijnselen en definities van synesthesie met Romke Rouw

What is your definition of synaesthesia?

There are several criteria that we use to test whether someone has synaesthesia or not. How many of these characteristics after training should they show before you could consider them a synesthete? Also how long should it last? Because that’s a really big difference. So far the couple of trainings that have been done even with the few people who reported colour experience after, say it doesn’t last when the training is over. So that’s already a huge qualitative and quantitative difference between trained and real synesthetes. We have our own opinion about what you should use as diagnostic. In a way it’s a little bit arbitrary because we don’t know how a lot of those tests relate to each other. So we don’t know whether it’ll have a stronger side effect if it’s consistent over the years. It should remain. If you really want to call it synaesthesia you should have it at least for years. But it doesn’t mean it’s the same mechanism as somebody else has who developed it in their childhood. You might put the same term on it. We call it developmental synaesthesia. Some of them could have learned it from the environment. So it’s not the case that all developmental synesthetes are only genetic, but maybe it’s a different mechanism, maybe they have a different ability to acquire synaesthesia in the hard-wired brain. We actually still don’t know. There are some hypothesis that genetic factors influence it.

Do you think that trained synaesthesia is beneficial?

It might help you a little bit. It might help you in the domain of the synaesthesia. It might help you remember colours better or letters like phone numbers. But it’s not going to boost your IQ or make you like a genius. The Bohr study that you found showed a huge increase in IQ scores, because they were actually doing cognitive tasks every day for weeks, like working-memory tasks. What you will have to show to make the case that synaesthesia made the IQ stronger, is to compare the trainees who had a colour experience, the IQ of them, to the IQs of trainees who didn’t have. So you need a control group that did all the training that didn’t have the colour experience. They couldn’t do that because almost everybody had a colour experience.

Is it useful to learn synaesthesia if you have not that much effect?

I think it depends on what you’re trying to train and why. You have a lot of different types of synaesthesia. I think the level that you make the association can determine if it’s helpful or not. Like letters and colours might help with certain things. I think numbers and colours might help more than letters and colours. Words and colour might be able to help people a lot if you would make learning tools out of it. So learn a new language and you could colour the verbs one colour. You can use colours to add some dimensions to words that. You’re adding another level of meaning on top of it. In that sense it can be helpful. There is potential, but I don’t think it’s going to solve all your problems.

Do you think synesthaesia could have a downside because of extra information input? In magazines you see coloured letters and words all the time and it doesn’t bother the most of us. If you try reading in colour, there are a couple of people who find it distracting. It’s really a minority. About the types of synaesthesia, some types are easier to train just given what we have to work with. I think that you can do a lot with music and sounds when it comes to mapping them to a color, also mapping into space, like shapes and forms. In terms of music you can colour the notes, that is what I think is the greatest potential. You’re not becoming Einstein. There are a few who are genius and have synaesthesia, and some people think that it’s the synaesthesia causing it. There is so much going on with those people, it’s a combination of factors.

Could synesthaesia be beneficial for memory skills?

Nicolas Rothen did group studies on synaesthesia, he gave them a kind of an IQ test, he showed that they don’t have overall better memories. They are just a little bit better in certain things. There has been a couple of other studies by Jamie Ward. They do congruent versus incongruent colours and have to try to remember. There is quite a lot looked at the memory of synaesthetes. How can sensory substitution be helpful in training synaesthesia and can it give a higher dimension in experiencing things?

You’re just adding on the top what’s already there. It could be harder for them in a way because you’re giving information to a system that actually exists already. You really have to think for every device or idea or association you’re trying to make, how to do it and why? What kind of thing would you expect them to experience, and how is it going to affect their behaviour? But it’s true that when you take a group of synesthetes and you test their memory I don’t really expect that it’s much better then a group of controls. Synaesthesia is the experience of a colour in your mind, there is no physical colour. Putting associations to each other isn’t synaesthesia.

Could ‘synaesthesia’ be beneficial for computers or a device?

I’m trying to make applications, based on synaesthesia, like learning tools. For example a song that helps you remember the alphabet. Anything that you use to remember something, it’s like a little game. What you’re thinking about is a more nomadic approach. If you scan something and that’s helping somebody remembering it better. Imagine language learning programs, I want to make calendars that is based the way you want. So you can remember your time better. You can do so much right now. You can add tactile or kinetic information, like movement and touch, but it’s not synaesthesia.

How could you measure the benefits of having synaesthesia?

Memory is the most obvious thing, you would expect a boost in memory. I want to make a calendar that I can design myself. My mental representation of time is different than the physical agenda’s. You have incongruent representations of agenda’s and you can map that. What happens with synesthetes when they see letters and colours they don’t like? It feels like it’s wrong. Romke did a lot of work about cognitive control, if you’re constantly in a state of incongruousness, do synesthetes show superior cognitive control mechanism? Are they better in inhibition or switching. I don’t think they found strong evidence for strong control mechanisms. Besides

memory you could look at cognitive control. Memory would be the first thing I would look at and cognitive control the second.

Bijlage III: Interview met Steven Scholte

Dr. H. S. Scholte is universitair hoofddocent aan de UvA, expert op het gebied van visuele waarneming, persoonlijkheid en intelligentie, en werkzaam bij neuromarketing onderzoek- en adviesbureau Neurensics. Hij onderzoekt hoe het brein zijn structuur gebruikt voor de efficiënte verwerking van visuele informatie middels neuro-imaging.

Wat zijn volgens u de voordelen van het hebben van synesthesie?

Ik ben sceptisch over voordelen van synesthesie. Synestheten zijn niet beter in dingen; mensen zijn alleen graag speciaal, net als bij een duur glas wijn. We accepteren makkelijk dat synesthesie voordelen heeft. Synesthesie kan bij bepaalde dingen helpen, maar dan zou er een real world gain moeten zijn: je zou over het algemeen gelukkiger, beter, enzovoorts moeten zijn. Dat is niet zo. Dit geldt wel voor kleine taakjes, maar dit is niet voordelig voor een slim systeem.

Gebruik van synesthesie zorgt ervoor dat er beter wordt gepresteerd: kan je niet iets specifiek in een systeem implementeren?

Dit betekent dat je het systeem minder flexibel maakt. Mensen zijn generalisten, specialisatie is voor insecten. Kinderen kunnen niets, maar andere jonge dieren kunnen dit wel. Flexibiliteit gaat ten koste van dingen meteen doen. Constraints gaan ten koste van flexibiliteit. Hardwiren betekent minder flexibiliteit. Voor sommige dingen is dit voordelig, voor synesthesie geldt geen evolutionair voordeel; hoogstens trade-off. Constraints voor computersystemen zijn wel interessant. Detectoren voor de dingen die in de wereld voorkomen; minder flexibiliteit, maar wel nuttig, want de wereld is betrekkelijk simpel. Als je een goede meetbank hebt, heb je de flexibiliteit niet meer nodig, behalve als de visuele wereld verandert. Ik ben meer en meer sceptisch over het algemene nut van synesthesie. Intelligente systemen moeten een zo efficiënt mogelijk beeld van de wereld krijgen. Je wilt de invariabelen vastzetten met behulp van constraints en voor de variabelen moet je open blijven. Hiervoor is synesthesie onhandig; kan in de ene situatie wel handig zijn, maar niet altijd. Dit is niet goed, want dan verliest het systeem veel aan flexibiliteit en efficiëntie. Bijvoorbeeld, het kan soms handig zijn om letters aan de kleur rood te koppelen, maar als je dit niet nodig hebt, heb je veel minder flexibiliteit en die connectie wordt nog steeds gemaakt, wat weer ten koste gaat van de efficiëntie.

Hoe worden computers gebouwd die geïnspireerd zijn op de werking van het brein? Er zijn twee manieren om een computersysteem op te bouwen. Je bouwt een lokaal symbolische representatie. Er is een bepaalde staat in het systeem, als het systeem verandert zorgt dit ervoor dat er informatie verloren gaat. Of je bouwt een enorme mate van redundancy in. Hierbij zijn meer neuronen nodig, dit gebeurt ook in een computersysteem zijn. Dit heeft niets met synesthesie te maken en is er ook niet van afgeleid. Synesthesie is niet dynamisch, dat is het hele probleem. Heel veel associaties, maar die raak je nooit meer kwijt. Handig om dingen terug te halen, maar verder ook heel onhandig.

Welk cognitief proces zou voordelig kunnen zijn voor een intelligent systeem?

Op zijn minst zou je het geheugenkasteel kunnen leggen als vergelijking voor een computersysteem. Boek lezen met gekleurde woorden kan voordelig zijn, ik vraag me af wat de gain is. Geheugenkasteel: ruimte die je goed kent, daar objecten in plaatsen. Ik betwijfel het voordeel hiervan. Het is goed voor feitjes, slecht voor associaties. Synesthesie gaat ten koste van de fluïditeit van het geheugen. Maar, welke van de twee methodes heeft de grootste gain gemeten naar de uren? Ik wil de kracht van creativiteit en fluïditeit niet onderschatten. Het brein zou makkelijk veel informatie op kunnen slaan, maar een van de belangrijkste dingen die we leren is niet onthouden, maar vergeten. Ik denk dat het geheugenkasteel de grootste gain heeft ten opzicht van synesthesie.

Hoe leert een computer systeem ‘vergeten’?

Dat gebeurt automatisch als je een neurale netwerkstructuur hebt. De gedistribueerde representatie, meerdere lagen, zorgt ervoor dat elke plaatje de structuur verandert. Met elk plaatje verandert de structuur, dit zorgt voor vergeten, niet expliciet, maar wel een vorm van vergeten. Het versterken van een plaatje zorgt voor onthouden.

Bijlage IV: Interview met Pieter Adriaans

Prof. dr. P. Adriaans werkt aan de FNWI van de Universiteit van Amsterdam als hoogleraar Kunstmatige Intelligentie. Hij doet onderzoek naar informatieverwerking, leren als datacompressie en legt de link tussen zijn wetenschappelijke kennis met zijn werk als kunstenaar.

Wat is volgens u synesthesie en welke definitie gebruikt u in uw vakgebied?

Het komt voor bij mensen. Er zijn cognitieve verschillen tussen mensen die het wel en niet hebben. We weten ook dat het brein bij gebieden voor kleur zien soms heel dichtbij waarbij we getallen interpreteren. Kennelijk blijven er verbindingen bestaan in het brein die nuttig zijn. Het bestaat dus gewoon. Ik denk dat de vraag eerder omgekeerd is, wat zou het nut zijn om die zintuigen precies te scheiden? We denken dat alles gewoon samenwerkt. Er is helemaal geen a priori reden om niet cijfertjes in kleur zou mogen zijn. Bijvoorbeeld als je kijkt naar een geslachte koe dat je ook het vlees zou ruiken of iets dergelijks. Ik heb onder andere met Adriaan van Olphen, bekend KNO arts in Nederland. Pionier in Nederland op het gebied van cochleaire implantaten. Je hebt een microfoontje achter je oor en dan gaat het direct een sensor in het cochlea, het slakkenhuis. Daarmee omzeil je het trommelvlies gedoe als het bijvoorbeeld kapot is. Het gehoor kan dan worden gereconstrueerd bij bijvoorbeeld doof geborenen. Dat is dus prettig, lijkt ook rare effecten te hebben op het brein. Ik ben informaticus hij is KNO-arts, we wilde kijken wat we met informatietheorie en die cochleaire implantaten kunnen doen. We weten dat deze implantaten maar heel weinig van het oorspronkelijke hoorsignaal aanbieden aan het oor, en toch kunnen mensen daar redelijk dingen mee verstaan. We weten dat er allerlei andere zintuiglijke waarnemingen zoals visueel lezen, ruimtelijke ervaring die spelen allemaal een rol bij dat horen. Met redelijk arme signalen kun je al redelijk spraak verstaan. Toen we dat model gingen testen, bleek het ook een model voor synesthesie te zijn. Interessante observatie. Hoe vergelijk je het ‘uitpakken van informatie’ met synesthesie?

Als ik wil leren wat een koe is, dan ga ik naar plaatjes kijken van een koe en ga ik generaliseren. Dat model kun je technisch zien als informatie van een koe dat je helpt om beter te interpreteren. Leren blijkt een verband te hebben met compressietechnieken in de informatica. Dus als je een schilderij met koeien ziet, let je niet op elk detail van het schilderij, je hebt ergens in je hoofd een idee hoe een koe eruit ziet. Een concept van een boom heb je in je brein. De zintuigen zijn constant bezig om samenvattingen te maken van onze zintuiglijke waarnemingen. Die worden in ons brein weer uitgepakt tot een ervaring van de wereld. Dus compressietechnieken zijn ontzettend belangrijk voor het begrijpen van menselijke cognitie. Eigenlijk is het moraal van het verhaal dubbel. Nu blijkt dat het cochleair implantaat comprimeert het signaal ontzettend, er zitten soms maar 6 of 12 frequenties in het oor aangestuurd en toch blijken mensen met zo’n heel arm signaal, spraak te kunnen verstaan. Wat er kennelijk gebeurt, het signaal wordt enorm samengeperst tot elementaire formatie, het brein is dus ontzettend goed in het uitvouwen ervan. Het gebruikt eigenlijk zijn eigen bibliotheek van ervaringen. En daar komt dan synesthesie bij kijken. Als ik tegen jullie zeg ‘lekkere banaan’, daarbij kan je bijvoorbeeld de geur, de smaak het beeld terwijl je alleen het woord hoort. Het signaal wordt met alle middelen van het brein geïnterpreteerd. Daarom heb je ook een model van synesthesie.

Maar wat is dan precies het verschil tussen synesthesie en compressie- en associatietechnieken?

Het is voornamelijk een gradueel verschil. Ik denk dat het hele brein synesthetisch werkt. Ik zal een voorbeeld geven. Ik geef jullie 2 figuurtjes “Kiki en Maluma”. Waarom denk je dat? Je denkt het omdat Kiki een scherp geluid heeft, Maluma is een zacht geluid. Dat is al synesthetisch. Het is een zo basaal element van cognitie. Het speelt gewoon altijd een rol. Het valt ons op als hele onverwachte vormen aanneemt, zoals mensen die kleuren in cijfers gaan zien. Of elke toon een kleur geven. Ons hele bewustzijn is door en door synesthesie. Antwoord evolutionair-technisch: Hoe meer informatie je verwerkt, hoe beter het is. Het brein kan ontzettend snel symmetrieën herkennen. Dat is erg nuttig, om als je in een kudde leeft roofdieren te herkennen. Een echte volledige symmetrie in de natuur dat betekent dat er iets aan de hand is. Er is een proces over de ruimte coördinatie heeft gehad. Het is kennelijk prettig als je dat herkent, als het een leeuw is die je kudde wilt aanvallen, dan ga je onmiddellijk weg. Er is natuurlijk geen enkele reden om als leeuw tegelijk ook te brullen, dan ga je dat onmiddellijk integreren. De vraag is verkeerd denk ik. Het is niet ‘Waarom hebben wij synesthesie?’ nee de vraag is, het brein is constant bezig met hele beperkte middelen een beeld van de realiteit te construeren gebaseerd op heel weinig informatie. Af en toe zijn er bepaalde mensen die daar heel aparte ervaringen mee hebben: synesthesie.

Denkt u dat er evolutionare voordelen zitten aan synesthesie boven gewone associaties? Ja, want het zit vaak veel dichter ge-wired. We hebben daar onderzoek naar gedaan met plaatjes en scans van het brein. Dit soort organisaties van plaatjes wordt heel snel herkend. Symmetrie achtige dingen en richtingen van penseelstreekjes in schilderijen worden wel in het oog herkent. De hele machine is al geoptimaliseerd voor dat soort associaties. Dus je hebt veel van die functies die synesthetisch zijn, zijn ook buiten de controle van het bewustzijn. Terwijl het bij associaties heel anders ligt. In de biografie van Feynman (Nobelprijswinnaar), hij wil erachter komen of er in het brein een tijdswaarneming zit. Hij gaat zichzelf oefenen dat hij precies 1 minuut kan tellen en dat lukt hem dan. Hij gaat dat zijn vrienden ook leren. Dan ontdekken ze dat die vrienden het kunnen maar als je tijdens het tellen met die vrienden begint te praten dan gaat het helemaal mis. Dan kunnen ze niet tegelijkertijd tellen. Maar er blijkt 1 vriend te zijn die dat wel kan. Hij telt visueel. Je kunt van buiten wel denken dat het er hetzelfde uitziet maar die cognitieve processen is totaal verschillend georganiseerd. Voor hem was het weer raar dat de andere verbaal telden. Als je naar het oog kijkt zitten er ongeveer 130 miljoen receptoren in het oog en die doen van alles aan herkenning van contouren en richting van penseel streken. Er is contact tussen de visuele cortex en het oog en al die informatie wordt modulair gemaakt. Kleurinformatie is niet zo exact. We kunnen bijvoorbeeld niet scherp zien in blauw. Vandaar is blauw voor ons diepte en verte. Kleuren zien in rood geel en groen heeft met planten te maken. Maar voor evolutietechnisch is er niet zoveel reden om heel scherp in blauw te zien. Daarom bijvoorbeeld dat schilderijen van Picasso in blauw ons zo fascineren. Die 130 miljoen receptoren die gaan over 3 miljoen telefoonlijntjes. Er is een enorme compressieslag gaande. De wereld zien is puur constructie van het brein.

Kun je synesthesie op deze manier in een computer bouwen?

Ik denk dat je het vrij makkelijk kunt bouwen. Ik heb er nog wel eens over gedacht. Waarom kwamen we op het synesthesiemodel? Je moet je eens voorstellen: als je een cochleair implantaat aan een doof persoon geeft, dan ga je testen hoe doof hij is, hoeveel informatie komt er over? Dat doe je met zogenaamde CVC lijsten. CVC staat voor consonant, vowel, consonant. Dus je geeft hem hele korte woordjes zoals pop, pap, doen, bom, man, etc. Je moet voor de frequentie van het Nederlands corrigeren, in een andere taal zou je weer een andere test moeten nemen. Dan kun je op een gegeven moment als iemand bijvoorbeeld constant van “pap”, “pas” of “pan” maakt, of je zegt bijvoorbeeld “dan”, dan weet je dus dat hij die “a” wel hoort, maar dat hij moeite heeft met die plofachtige klinkers. En dan kan je een beetje reconstrueren wat er mis is met zijn gehoor en het cochleaire implantaat. We kunnen zelfs soms vanuit die test opmaken dat het implantaat is verschoven in het oor en daardoor de verkeerde frequenties aanspreekt en dat soort zaken. Dat is puur informatietheorie. Maar we moesten dus een tweede correctie daarop toepassen want wat er natuurlijk gaat gebeuren wanneer je woorden aan mensen geeft die geen