D
OOR DE OGEN VAN MISDADIGERS
?
Een mogelijke toepassing van beeldreconstructie op fMRI-geheugendetectie
Opdracht: Eindverslag Vak: Thema III - deel 2 Cluster: Cognitie Door: Lotte Cijvat 11007486 Celine Weel 11000082 Tessel Wisman 11050519 Senior-docent: Machiel Keestra Junior-docent: Ger Post Datum: 21-01-2018 Aantal woorden: 6450Abstract
Het doel van dit onderzoek is het vinden van een mogelijke, waardevolle toepassing van beeldreconstructietechnieken op geheugendetectie op basis van de Concealed Information Test (CIT) en fMRI-metingen. Aan de hand van literatuuronderzoek en expertinterviews worden allereerst zowel de mogelijkheden als de beperkingen van deze technieken uiteengezet. Hieruit blijkt dat de mogelijkheid van het nemen van tegenmaatregelen door de verdachte een onoverkomelijk grote beperking is. Hieruit wordt geconcludeerd dat beeldreconstructie in combinatie met CIT toegepast op verdachten geen realiseerbare methode zal vormen. Uit de resultaten ontspringt echter wel de suggestie om een integratie van de drie technieken (CIT, fMRI en beeldreconstructie) toe te passen op getuigen en het advies hier vervolgonderzoek naar uit te voeren. Daarnaast blijkt dat multi-voxel pattern analysis, waarvan beeldreconstructie een voorbeeld is, in de toekomst naar verwachting veel informatie zal kunnen verschaffen in zowel geheugendetectie als andere vakgebieden. Een belangrijke kanttekening hierbij is dat de fMRI-technieken en de kennis over de werking van verschillende hersengebieden zich eerst verder moeten ontwikkelen, voordat
1
Inhoud
Inleiding 2 Geheugendetectie en beeldreconstructie 4 De Concealed Information Test 4 De CIT in de praktijk 5 De voorbereiding 5 Het afnemen van de CIT 5 fMRI-geheugendetectie 7 Beeldreconstructietechniek 9 Toepassing beeldreconstructie op Concealed Information Test 12 Opzet combinatie CIT en beeldreconstructie 12 Praktische beperkingen: tegenmaatregelen 14 Beeldreconstructie bij getuigenverklaringen 15 Conclusie & Discussie 17 Literatuurlijst 19 Appendices 22 Appendix I: Expertinterview met Guido Meijer (19-12-2017) 22 Appendix II: Expertinterview met Sanne Schoenmakers (28-11-2017) 242
Inleiding
Al sinds het begin van de 20e eeuw wordt er gezocht naar een betrouwbare, inzetbare manier om leugens te detecteren (Grubin & Madsen, 2007). De bekendste leugendetectietechniek, de polygraaf, is gebaseerd op het idee dat mensen tijdens het liegen nerveuzer zijn dan wanneer ze de waarheid spreken en overeenkomende fysiologische reacties vertonen, zoals een hogere hartslag, bloeddruk en een snellere ademhaling (Ben-Shakhar, 2012). Deze aanname is echter niet wetenschappelijk onderbouwd, aangezien mensen die de waarheid spreken ook stress kunnen ervaren en overeenkomstige fysiologische reacties vertonen (Ben-Shakhar, 2012; Mameli et. al, 2017).Een veelbelovende tegenhanger van leugendetectie is geheugendetectie. Met geheugendetectie tracht men niet om leugens te detecteren, maar te ontdekken of een persoon essentiële kennis heeft over een misdrijf die hij/zij alleen zou kunnen hebben verkregen door nauw betrokken te zijn bij het plegen ervan (hiernaar zal in het vervolg van het verslag verwezen worden als daderkennis). De bekendste methode hiervoor is de Concealed Information Test (CIT), welke er vanuit gaat dat personen met daderkennis anders reageren op relevante ‘items’ dan personen zonder daderkennis. De CIT heeft verschillende praktische beperkingen die in het verslag uiteengezet zullen worden. Desalniettemin wordt de CIT sinds de jaren ‘60 succesvol toegepast in bijvoorbeeld Japan (Matsuda, Nittono & Allen, 2012). Het kan echter waardevol zijn om te zoeken naar toevoegingen op de geheugendetectie om de praktische beperkingen van de methode te overwinnen. Eén van de praktische beperkingen van de CIT is dat er genoeg kennis over een onderwerp moet zijn bij de ondervrager om de test te kunnen afnemen (Matsudo, Nittono & Allen, 2012). Hierbij moet gedacht worden aan de juiste details zoals een specifiek tijdstip, maar ook aan bijvoorbeeld een foto van een moordwapen of gezicht van een betrokkene of dader om de ondervraagde mee te confronteren.
Een mogelijkheid om deze informatie te verkrijgen kan gevonden worden in de computationele informatietechnologie, waar onderzoek wordt gedaan naar gedetailleerde vormen van het lezen van de hersenen. Door te kijken naar specifieke volume-pixels in het brein kunnen individuele patronen van hersenactiviteit worden vastgesteld. Deze methode, genaamd multi-voxel pattern analysis, wordt onder meer toegepast bij onderzoek naar bewustzijn en zintuiglijke waarnemingen. Een specifieke toepassing is beeldreconstructie, waarbij met behulp van een machine-learning algoritme wordt gereconstrueerd naar wat voor een afbeelding een proefpersoon kijkt (Miyawaki et al., 2009). Deze techniek is onder andere toegepast bij het reconstrueren van binaire contrastpatronen (Miyawaki et al., 2009), handschriften (Schoenmakers, Güçlü, van Gerven & Heskes, 2015), natuurlijke afbeeldingen (Naselaris et al., 2009), afbeeldingen van gezichten (Cowen, Chun & Kuhl, 2014) en zelfs filmmateriaal (Nishimoto et al., 2011). Hoewel beeldreconstructie een techniek in ontwikkeling is, lijkt in theorie ook beeldreconstructie vanuit het geheugen zeker tot de mogelijkheden te behoren (Cowen, Chun & Kuhl, 2014). Eerste pogingen hiertoe zijn gedaan door Horikawa, Tamaki, Miyawaki en Kamitani (2013) en Senden, Emmerling, Frost en Goebel (2017), in het respectievelijk voorspellen van dromen en reconstrueren van ingebeelde letters.
Een dergelijke beeldreconstructie vanuit het geheugen zou mogelijk interessante perspectieven in geheugendetectie en de CIT kunnen bieden. Wanneer het mogelijk zou zijn waarnemingen uit het geheugen te lezen, zou dit wellicht kunnen worden gebruikt om vast te stellen of de visuele representatie van de gedachten van een verdachte geassocieerd kan worden met een
3
bekende situatie, gezicht of object. Ook is het misschien mogelijk om informatie die verkregen kan worden door een beeldreconstructie verder te gebruiken in een ondervragingsproces.
In dit onderzoek wordt bekeken hoe deze beeldreconstructietechnieken zouden kunnen worden toegepast op geheugendetectie door middel van CIT. Om deze vraagstelling te beantwoorden is gekozen voor een interdisciplinaire onderzoeksopzet waarbij inzichten uit de kunstmatige intelligentie, neurobiologie en medische informatiekunde gecombineerd worden. Deze disciplines brengen inzichten over respectievelijk beeldreconstructietechnieken, geheugendetectie op basis van fMRI en ondervragingsmethoden die in de onderzoeksopzet samenkomen. De common ground is in dit onderzoek dan ook gevonden in de hersen-imaging methode (fMRI) die in zowel CIT als beeldreconstructie een belangrijke component omvat. In beeldreconstructie levert fMRI echter de data aan de hand waarvan resultaten verkregen worden, terwijl in de CIT fMRI-data resultaat zijn van een daarvoor uitgevoerde methode. Het stadium van het onderzoek waarin de techniek wordt ingezet verschilt dus in beide methoden. Ondanks dit verschil leent fMRI zich goed als uitgangspunt voor het verbinden en integreren van geheugendetectie en beeldreconstructie. Om de hoofdvraag te beantwoorden is literatuuronderzoek gedaan en hebben gesprekken met experts op het gebied van ondervragingsmethoden, visuele representaties in de hersenen en beeldreconstructiealgoritmen plaatsgevonden.
In dit verslag worden ten eerste de CIT, fMRI-geheugendetectie en de techniek achter beeldreconstructie besproken. Vervolgens wordt een opzet gepresenteerd van de mogelijkheid waarop beeldreconstructie een aanvulling kan zijn op geheugendetectie door middel van de CIT. Vervolgens worden de praktische beperkingen besproken die leiden tot de conclusie dat beeldreconstructie bij het vaststellen van daderkennis een zeer beperkte rol kan spelen, maar dat desalniettemin beeldreconstructie wel op andere vlakken relevant kan zijn bij het vaststellen van misdrijfgerelateerde kennis. Daarom concluderen wij dat vervolgonderzoek zich vooral zou moeten richten op de mogelijkheden van integratie van beeldreconstructietechnieken met CIT gebaseerd op fMRI in welwillende betrokkenen, bijvoorbeeld in de vorm van het reconstrueren van compositietekeningen.
4
Geheugendetectie en beeldreconstructie
In dit theoretisch kader worden drie onderzoeksmethoden besproken die een rol spelen bij de voorgestelde geheugendetectie in combinatie met beeldreconstructie. Als eerste wordt de ondervragingstechniek Concealed Information Test (CIT) verder toegelicht. Vervolgens wordt besproken op welke wijze geheugendetectie in het brein kan plaatsvinden, en tenslotte volgt een uiteenzetting van de genoemde beeldreconstructietechniek en de ontwikkeling hiervan.
De Concealed Information Test
De Concealed Information Test (CIT) is een methode waarmee ‘verborgen kennis’, oftewel daderkennis, bij een verdachte achterhaald kan worden aan de hand van fysiologische responsen (Ben-Shakhar, 2012; Verschuere & Meijer, 2014). De test bestaat uit een aantal vragen met meerdere antwoordopties (items). Één van deze antwoordopties is het correcte antwoord dat hoort bij de misdaad en wordt ook wel het relevante item genoemd. De overige antwoorden zijn controle-antwoorden en zijn voor onschuldigen even realistisch als het significante item.
De theorie achter de CIT is dat ondervraagden met daderkennis bij de confrontatie met het relevante item een orienting response (OR) vertonen (Lykken, 1974). Deze respons treedt op wanneer iemands omgeving verandert en zorgt voor verandering in gedrag en fysiologische reacties (Verschuere & Meijer, 2014). De OR ontstaat in intensere mate bij totaal nieuwe stimuli of stimuli die persoonlijk ‘significant’ zijn. Voorbeelden hiervan zijn het horen van je eigen naam of een krakend takje wanneer je alleen in het bos loopt (Linda Geven, pers. comm. 11-01-2018), of confrontatie met details over een misdrijf dat je gepleegd hebt. Hierbij geldt tevens: hoe significanter de stimulus, hoe intenser de resulterende OR. Een intensere OR gaat gepaard met intensere fysiologische reacties, die op verschillende manieren gemeten kunnen worden. Bij de introductie van de CIT werd de fysiologische respons gemeten aan de hand van huidgeleiding (Lykken, 1959). Later bleek dat de test ook bij andere metingen zoals reactietijd, ademhaling, hartslag en methoden die hersenactiviteit visualiseren zoals EEG, ERP en fMRI, betrouwbaar genoeg is om rechtmatig te gebruiken (Ben-Shakhar, 2012).
In dit onderzoek zal de focus gelegd worden op geheugendetectie met behulp van de CIT, omdat de wetenschappelijke onderbouwing hiervoor sterk genoeg is om de test rechtmatig in de praktijk in te zetten (Matsuda, Nittono & Allen, 2012; Verschuere & Meijer, 2014; Ben-Shakhar, 2012). Omdat onderzocht zal worden of de eerder genoemde beeldreconstructietechniek een aanvulling op geheugendetectie met behulp van de CIT kan zijn, zal de fysiologische informatie voor de CIT noodzakelijkerwijs uit fMRI-scans verkregen moeten worden. Rosenfeld, Ben-Shakhar en Ganis (2012) onderzochten de betrouwbaarheid van deze methode in combinatie met de CIT, en vonden dat met fMRI zowel personen met als personen zonder daderkennis even vaak gedetecteerd kunnen worden als met ERP en combinaties van metingen aan het autonome stelsel (Rosenfeld, Ben-Shakhar & Ganis, 2012). fMRI brengt echter beperkingen met zich mee die niet buiten beschouwing gelaten kunnen worden. In onderstaande paragraaf zullen deze en de algemene beperkingen van de CIT benoemd worden aan de hand van een casus.
5
De CIT in de praktijk
Deze paragraaf doorloopt het proces van het opstellen en afnemen van een CIT met behulp van fMRI, waarbij voorbeeldvragen gegeven zullen worden en de praktische beperkingen van de test en de meetmethode aan het licht komen. Dit zal voornamelijk gebeuren aan de hand van een zelfbedachte casus (zie Box 1) en de beschrijving van de toepassing van de CIT in de dagelijkse praktijk zoals beschreven in het boek van Verschuere, Ben-Shakhar en Meijer (2011).
De voorbereiding
Voor het opstellen van een CIT moet de ondervrager over genoeg geschikte details over de misdaad beschikken. Een detail is geschikt wanneer het de juiste specificiteit heeft, wat wordt gedefinieerd als een detail dat de dader zich kan herinneren, maar andere verdachten niet kunnen kennen (Meegan, 2008). Ook mag het detail niet gelekt zijn naar onschuldigen, bijvoorbeeld door de media of eerdere ondervragingen door de politie, omdat dit kan leiden tot het incorrect identificeren van onschuldigen (Matsuda, Nittono & Allen, 2012). Men kan dit voorkomen door de CIT zo vroeg mogelijk in het proces af te nemen en te controleren welke details reeds openbaar bekend zijn. Om personen met en zonder daderkennis significant van elkaar te kunnen onderscheiden, worden tijdens de CIT doorgaans vijf of zes vragen gesteld met elk liefst vijf antwoordopties (waarvan één het relevante item is) (Verschuere, Ben-Shakhar & Meijer, 2011, hoofdstuk 14). Er moeten echter altijd meer vragen beschikbaar zijn. Voor aanvang van de test krijgt de ondervraagde namelijk alle items te zien of te horen. Hierna krijgt hij of zij de kans om om verduidelijking te vragen of te laten blijken dat hij of zij bekend is met een of meerdere items. Zo is zeker dat de ondervraagde alle items begrijpt, wordt het geheugen van de dader eventueel opgefrist en kan achterhaald worden of er informatie gelekt is (Verschuere, Ben-Shakhar & Meijer, 2011, hoofdstuk 10). De items die door de ondervraagde herkend worden, zullen niet in de test voorkomen. De methode gaat er hierbij vanuit dat de schuldige niet van alle items zal zeggen dat hij/zij deze herkent, om niet te veel argwaan te wekken bij de ondervragers, zodat er genoeg items overblijven om in de CIT terug te vragen. Box 1: Casus (1) Op woensdag 10 januari 2018 rond 20:15 ‘s avonds liepen twee mannen hotel X in Amsterdam binnen. Ze liepen doelgericht naar kamer 248 op de tweede etage van het hotel en drongen de kamer binnen. Daar staken zij de man neer die daar op dat moment aanwezig was met een mes, welke op het plaats delict niet aangetroffen werd. Het slachtoffer overleed ter plaatse en werd de volgende ochtend aangetroffen door een kamermeisje. Het hotel werd tijdelijk afgezet voor het politieonderzoek, en het nieuws van de moord bereikte binnen korte tijd de media. Het slachtoffer bleek lid te zijn van een criminele organisatie. Met behulp van recherchewerk werd één mogelijke verdachte van een rivaliserende organisatie opgespoord en onderworpen aan een CIT. Het afnemen van de CIT Wanneer de ondervrager genoeg vragen tot zijn beschikking heeft, kan de CIT afgenomen worden. Op basis van bovengenoemde overwegingen kunnen we een voorbeeldvraag voor de casus geven (zie Box 2).
6 Box 2: Casus (II) Omdat de naam en locatie van het hotel al via de media gelekt zijn, kan hiernaar niet gevraagd worden in de CIT. Wel kan de dader onderworpen worden aan onder andere de volgende vraag: Waar in hotel X vond de moord plaats? ● In de lobby? ● Op de derde verdieping? ● In de kelder? ● Op de tweede verdieping? ● Op de eerste verdieping? Op een vergelijkbare manier kan gevraagd worden naar andere details, zoals het kamernummer, kleding van het slachtoffer, het voorwerp waarmee het slachtoffer gestoken is en de plek in de kamer waar het slachtoffer achtergelaten is.
Soms is bij aanvang van de CIT nog niet het gewenste aantal vragen beschikbaar of is er behoefte aan meer informatie om op zoek te kunnen naar fysiek bewijs. Ondervragers gebruiken daarom wel eens een variant op de CIT, de Searching CIT (S-CIT) (Verschuere, Ben-Shakhar, & Meijer, 2011, hoofdstuk 10). De vragen bij een S-CIT zijn hetzelfde als bij een gewone CIT, alleen is bij de ondervragers en politie niet bekend welk item het correcte is (zie Box 3). De ondervrager probeert daarom mogelijke items op te stellen die alle mogelijkheden omvatten. Een succesvolle S-CIT kan helpen bij de zoektocht naar fysiek bewijs, wat eventueel ook bij een latere CIT ingezet kan worden. Box 3: Casus (III) Op camerabeelden van het hotel is te zien dat de daders na de moord het hotel uitlopen en in een auto stappen. De auto is daarna niet meer gesignaleerd en het kenteken is ook onbekend. Om de auto te kunnen achterhalen wordt een Searching CIT uitgevoerd, waarin gevraagd wordt naar de vluchtroute die de daders na de moord namen: Vluchtten de daders na de moord via: ● De A10 Noord? ● De A9? ● De A5? ● De A10 West? ● De A1? Uit de metingen leidt de ondervrager af dat de verdachte daderkennis bezit doordat de verdachte orienting responses vertoont bij de relevante items in andere vragen. Met behulp van de versterkte reactie op de vierde antwoordoptie van bovenstaande vraag, kan de politie gericht camerabeelden (op de betreffende vluchtroute) zoeken en bekijken. Hierdoor is mogelijk het kenteken en de verdere route van de vluchtauto te bepalen. Met behulp van camerabeelden wordt de ondervraagde verdachte geïdentificeerd als eerste dader, maar de tweede blijft onbekend. Deze is ook niet herkenbaar waar te nemen op de camerabeelden van het hotel. Wel is de tweede dader, een man, gezien door een receptiemedewerker. Zowel de CIT als het gebruik van fMRI-metingen daarbij hebben een aantal beperkingen. De belangrijkste is de mogelijkheid tot het saboteren van de methode (Ben-Shakhar, 2012; Matsuda, Nittono & Allen, 2012). Dit worden ook wel tegenmaatregelen (countermeasures) genoemd en kunnen mentaal of fysiek zijn. Fysieke tegenmaatregelen zijn een algemene beperking van
7
fysiologische meetmethoden bij geheugendetectie: bewegingen tijdens bijvoorbeeld een fMRI-scan verstoren de betrouwbaarheid en accuraatheid van de scan. Mentale tegenmaatregelen houden in dat een verdachte simpelweg kan weigeren om aan een bepaald voorwerp of gezicht te denken. Onderzoek heeft uitgewezen dat het toepassen van tegenmaatregelen de betrouwbaarheid van de CIT met fMRI van 100% naar 33% kan brengen (Ben-Shakhar, 2012). Het detecteren van fysieke tegenmaatregelen is mogelijk, bijvoorbeeld met behulp van sensoren, maar voor mentale tegenmaatregelen kan dit nog niet. Op de implicaties die tegenmaatregelen hebben op de uitkomsten van de CIT met fMRI wordt later in het verslag verder ingegaan (zie Toepassing beeldreconstructie op Concealed Information Test - Praktische beperkingen: tegenmaatregelen).
Daarnaast benoemen Verschuere & Meijer (2014) de mogelijkheid dat een opvallende reactie ten gevolge van de intensere OR niet meetbaar is door lichamelijke verschillen tussen individuen. Als oplossing stellen zij voor om fMRI-metingen te combineren met andere metingen zoals huidgeleiding of ademhaling. Dit heeft echter de praktische beperking dat het ideale aantal herhalingen van de vragen per meting verschilt. Als laatste beperking wordt genoemd dat de hoge kosten en slechte verplaatsbaarheid van fMRI-meetapparatuur het gebruik van fMRI relatief complex maken voor de combinatie met de CIT (Rosenfeld, Ben-Shakhar & Ganis, 2012).
fMRI-geheugendetectie
Een methode die recentelijk steeds vaker gebruikt wordt in combinatie met CIT om de fysiologische en cognitieve responsen tijdens de test vast te stellen, is fMRI (Gamer, 2014). De eerder benoemde orienting response, waarop de CIT is gebaseerd, kan met behulp van fMRI gemeten worden. Wanneer de dader geconfronteerd wordt met daderkennis is dit vergeleken met andere stimuli namelijk extra significant waardoor specifieke hersengebieden extra gestimuleerd worden. Het ontstaan van een OR behelst complexe cognitieve functies, zoals aandacht en inhibitie, die echter ook in veel andere stimulus-gedreven acties belangrijke rollen spelen. Hierdoor moet voorzichtig worden omgesprongen met correlaties tussen hersengebieden en conclusies over de mate waarin een verdachte daderkennis lijkt te hebben (Corbetta, Patel & Shulman, 2008). Door dit samenspel van hogere cognitieve functies is er bij het ontstaan van een OR niet één concreet hersengebied wat oplicht bij dit proces. Er is echter wel sprake van een vast activatiepatroon tijdens een OR. Hoe de aanwezigheid van deze OR's vervolgens wordt geïnterpreteerd, namelijk of deze wel of niet duidt op daderkennis, is aan de ondervragers en sterk afhankelijk van de context. Een detail wat niet direct aan het misdrijf gekoppeld zou hoeven worden, zoals bijvoorbeeld een uiterlijk kenmerk van een slachtoffer, zal ook in onschuldigen een OR kunnen opleveren. Daarom moeten de ondervragers per situatie afwegen welke conclusies ze trekken uit het onstaan van een OR op een aangeboden stimulus.Over het 'meten' van een OR in de hersenen en welke geactiveerde hersengebieden zouden duiden op een OR, is op het moment geen volledige consensus in het onderzoeksveld. De gebruikelijkste invalshoek is het meten van overt aandacht waarvan sprake is wanneer een verdachte wordt geconfronteerd met een antwoordoptie die voor hem 'significanter' is dan andere opties (Gamer et al., 2012). Uit onderzoek komt een aantal hersengebieden naar voren die een hogere activiteit laten zien tijdens het waarnemen van deze significante opties. Dit zijn de rechter temporopariëtale junctie (TPJ), bilaterale inferior frontale gyrus (IFG) en de superior frontale gyrus (SFG) (o.a. Ding et al., 2012; Gamer et al., 2007; Peth et al., 2015). In figuur 1 zijn deze locaties
8
aangegeven. In een vergelijkend onderzoek stelt Gamer (2014) dat deze gebieden gekoppeld kunnen worden aan het hebben van daderkennis.
De stimulus-gedreven functies van hersengebieden die actief worden tijdens daderkennis kunnen per hersengebied specifieker gedefinieerd worden. Zo is van de superior en inferior frontale gyrus bekend dat deze een rol spelen in het controleren van reacties, zoals inhibitie van reacties, door in het korte-termijn geheugen een afweging te maken op basis van binnenkomende stimuli (Aron, Robbins & Poldrack, 2014; Boisgueheneuc et al., 2006). Deze hersengebieden overwegen in het geval van het ontstaan van een OR dus welke informatie minder relevant is en dus niet de aandacht verdienen. Vice versa beïnvloedt de TPJ het detecteren van stimuli en het geven van voorkeur en meer aandacht aan stimuli die opvallender zijn, waarmee je zou kunnen stellen dat dit hersengebied de totstandkoming van de OR naar aanleiding van significante stimuli verzorgt (Corbetta, Patel & Shulman, 2008). Concluderend zou door te kijken naar de activiteit van de TPJ, IFG en SFG tijdens het aanbieden van informatie die de dader zou kennen dus vastgesteld kunnen worden dat iemand hierop heviger reageert en dus daderkennis bezit. Dit leidt tevens tot een belangrijke aanname in de praktische kant van de CIT, namelijk dat het herhalen van tests mogelijk is omdat in het geval van daderkennis niet wordt gekeken naar het wel of niet herkennen van informatie, maar naar een versterkte OR op significante details (i.e. daderkennis). Deze versterkte OR zal bij enkele herhalingen dus blijven optreden waardoor met meer zekerheid gesteld kan worden dat iemand bepaalde daderkennis wel of niet heeft door het letterlijk meerdere keren binnen de test te vragen.
Figuur 1: Locaties van hersengebieden die na voor de proefpersoon significante items een hogere activatie lieten zien
dan na neutrale items, zijnde de TPJ, IFG en SFG. Gebaseerd op de acht studies vergeleken door Gamer (2014, p.175).
Een ander, maar door minder onderzoekers ingenomen, standpunt, benadert het ontstaan van een OR vanuit het geheugen. Gamer en mede-onderzoekers stellen in een onderzoek uit 2012 dat veel onderzoekers die beweren CIT-methoden te onderzoeken, uiteindelijk vooral naar misleidingsgedrag neigen te zoeken in de hersengebieden waarin zij activiteit meten (en een geheugendetectie-methode dus interpreteren als leugendetectie). Dit is volgens Gamer et al. in strijd met de CIT-methode waarvan veel onderzoekers naar hun idee de criteria niet strikt genoeg van nastreven. Veel studies concludeerden dat de activatie van de frontale cortex duidt op misleidingsgedrag in de proefpersoon, terwijl de manier van analyseren hier eigenlijk niet specifiek genoeg voor was. De activiteit kon namelijk ook geïnterpreteerd worden als een verhoogd beroep op het werkgeheugen. Gamer et al. benaderen de activiteit van de frontale cortex in hun onderzoek dus juist vanuit diens functie in het werkgeheugen en vonden sterke activiteit in laterale inferior frontale
9
gebieden van de hersenen. Deze activatiepatronen werden normaal gesproken gekoppeld aan overte aandacht, dus de aandacht van een verdachte die naar een stimulus toe getrokken wordt wanneer deze significanter is dan andere stimuli, zoals in het hiervoor besproken paradigma. Door Gamer et al. werden deze activaties echter toegeschreven aan het ophalen van informatie uit het geheugen, doordat door hun methoden uitgesloten werd dat er activatie zou ontstaan door overte aandacht. In dit licht lijken activaties in de frontale cortex tijdens het voorkomen van een OR dus veroorzaakt te worden door herkenning, wat volgens Gamer et al. verklaard kan worden doordat die items, dus bijvoorbeeld daderkennis, dieper in het geheugen gecodeerd liggen. Concluderend stelt de onderzoeksgroep dus dat hersengebieden die geactiveerd worden bij een OR niet per se duiden op verhoogde aandacht voor de stimulus, maar eerder op een diepere of sterkere codering in het geheugen. Overigens hoeft dit uitgangspunt niet te betekenen dat de eerdergenoemde assumptie over het herhalen van vragen in de CIT niet gemaakt mag worden; Gamer et al. stellen dat informatie die een sterkere OR oplevert, dieper gecodeerd ligt en dus niet gebaseerd is op een nieuwe-oude informatie tegenstelling. Al met al is nog niet precies duidelijk hoe de OR het beste gemeten kan worden met fMRI, maar is er wel een aantal hersengebieden wat in onderzoek steeds naar boven komt. Welke functie deze gebieden hebben in het reguleren van de OR kan niet met zekerheid gesteld worden, maar deze onzekerheid hoeft geen implicaties te hebben voor de praktische toepasbaarheid van de CIT en het daarmee meten van de OR's. In beide paradigma's kunnen vragen namelijk herhaald worden in de CIT en in beide gevallen duidt een verhoogde activiteit in de laterale frontale cortex op het bezit van daderkennis.
Beeldreconstructietechniek
In deze paragraaf volgt een introductie en uitleg van de beeldreconstructietechniek die dit onderzoek voorstelt als aanvulling op geheugendetectie.
Het reconstrueren van afbeeldingen op basis van hersenactiviteit is een techniek die tot op het heden in ontwikkeling is. De meeste studies die visuele input reconstrueren op basis van hersenactiviteit maken gebruik van voxel-based analysis van de primaire visuele cortex, zoals in Miyawaki et al. (2009). Deze studie reconstrueert simpele contrastrijke beelden zoals letters en vormen. De methode die in onderzoeken zoals dat van Miyawaki et al. (2009) gebruikt wordt bestaat uit twee basisstappen. Ten eerste wordt een deel van het gezichtsveld van een proefpersoon gekoppeld aan bepaalde hersenactiviteitpatronen. Hierbij wordt gebruik gemaakt van retinotopie van de primaire visuele cortex: een deel van het gezichtsveld wordt geassocieerd met een voxel (volume-pixel) in de hersenen. Vervolgens moeten de fMRI-data die wordt verzameld wanneer een proefpersoon een bepaald beeld ziet, kunnen worden teruggezet naar visuele informatie. Wanneer een beeld getoond wordt aan een proefpersoon, worden de voxel-activiteitpatronen door een decoder-algoritme gelabeld aan een het gemiddelde contrast dat hoort bij de specifieke activiteit van een voxel. Op basis hiervan kan het contrast per deel van het gezichtsveld succesvol gereconstrueerd worden en daarmee het getoonde beeld.
De hierboven beschreven methode is in staat om simpele beelden te reconstrueren die direct in de primaire visuele cortex gerepresenteerd worden (zie fig. 2). Om een reconstructie te kunnen maken over complexere beelden is het ook waardevol om te kijken naar ‘hogere niveaus’ van de
10
visuele cortex zoals in het onderzoek van Cowen, Chun en Kuhl (2014). Deze studie doet een succesvolle poging om op basis van hersenactiviteit in de hogere visuele cortex gezichten waarnaar gekeken wordt te reconstrueren. Hiertoe werd principal component analysis (PCA) toegepast op een trainingsset van afbeeldingen van gezichten, zodat verschillende karakteristieke componenten van deze gezichten werden geïsoleerd. Een machine-learning algoritme werd vervolgens toegepast om patronen van fMRI-activiteit aan deze karakteristieke componenten (eigenfaces) te koppelen. Op basis van de neurale activiteit die gemeten werd tijdens het zien van een ander gezicht was het algoritme in staat om een voorspelling te doen welke eigenfaces het sterkst op dit gezicht leken. Een combinatie van deze eigenfaces vormt vervolgens een reconstructie van het gezicht waarnaar gekeken werd.
Deze studie laat zien dat het niet alleen mogelijk is om een voor het beeldreconstructiealgoritme bekend beeld te herkennen, maar ook om een ‘nieuw’ beeld te construeren dat overeenkomt met de gemeten hersenactiviteit. Daarnaast was het een interessante uitkomst dat het ook mogelijk bleek de gezichten te reconstrueren zonder te kijken naar de activiteit in de occipitaalkwab. Dit opent de deuren naar het reconstrueren van offline visuele informatie op basis van geheugen of inbeelding, dus zonder dat direct naar een beeld gekeken wordt. Deze reconstructies op basis van geheugen zouden het aspect zijn dat relevant is bij het verkrijgen van misdrijfkennis: een herinnering over een moordwapen of gezicht van een dader. Beeldreconstructie vanuit het geheugen is in de praktijk gebracht in een zeer recent onderzoek waarbij het mogelijk bleek om een reconstructie van letters te maken op basis van inbeelding (Senden, Emmerling, Frost & Goebel, 2017). Een wat oudere maar noemenswaardige bijdrage hierin is ook geleverd door Horikawa, Tamaki, Miyawaki en Kamitani (2013). In deze studie werden hersenactiviteitpatronen tijdens slaap in de hogere en lagere visuele cortex, fusiform face area en de parahippocampal place area gebruikt voor een reconstructie van visuele beelden in de slaap.
De voornaamste reden dat een gedetailleerde reconstructie van complexe afbeeldingen op basis van geheugen of inbeelding nog niet volledig mogelijk is, is het feit dat er over het merendeel van de hersenen nog weinig bekend is over de structuur op detailniveau. Het gebrek aan deze kennis heeft mede te maken met een andere reden dat deze techniek nog niet optimaal functioneert: het feit dat fMRI-scanners op dit moment niet in staat zijn om hersenactiviteit op zeer klein voxelniveau te registreren. De huidige standaardresolutie ligt op het moment op 2x2x2 mm3 en de nieuwste machines gaan richting de 0,5x0,5x0,5 mm3, terwijl voxels in die orde miljarden neuronen bevatten die op zichzelf relevante informatie bevatten (Sanne Schoenmakers, pers. comm. 28-11-2017). Dit maakt dat de huidige reconstructies op basis van grotere voxels wat grovere beelden opleveren (zie figuur 2). De resolutie van fMRI gaat echter vooruit, en het is waarschijnlijk dat binnen 10-20 jaar zowel de resolutie van hersen-imagingtechnieken als de kennis over het brein ver genoeg gevorderd is om beeldreconstructie op basis van geheugen mogelijk te maken (Sanne Schoenmakers, pers.comm., 28-11-2017).
11
Figuur 2. Een voorbeeld van de beelden die getoond worden aan proefpersonen en de gereconstrueerde
contrasten op basis van hersenactiviteit (Miyawaki et al., 2009, p.6).
12
Toepassing beeldreconstructie op Concealed Information Test
In deze paragraaf wordt uitgelicht op welke wijze de hierboven besproken beeldreconstructietechniek in de praktijk zou kunnen worden toegepast bij geheugendetectie door middel van CIT. Zoals beschreven in het theoretisch kader is de techniek van beeldreconstructie op het moment nog niet optimaal ontwikkeld, hoewel de afgelopen jaren veelbelovend onderzoek heeft plaatsgevonden. Om toepassingen van beeldreconstructie op geheugendetectie op waarde te kunnen schatten wordt er bij de onderstaande bespreking van uitgegaan dat de technische ontwikkelingen doorzetten en het op den duur mogelijk is om een gedetailleerde reconstructie te maken van wat iemand zich inbeeldt, zoals in de lijn der verwachting ligt (Sanne Schoenmakers, pers. comm. 28-11-2017).
Om de toepassing van beeldreconstructie te illustreren wordt ten eerste de beoogde ondervragingsopzet van CIT in combinatie met beeldreconstructie besproken en worden vervolgens de praktische beperkingen bij deze opzet uitgelicht. Uit deze praktische beperkingen blijkt dat beeldreconstructie geen significante toevoegingen kan bieden bij geheugendetectie en het verkrijgen van daderkennis zoals oorspronkelijk in dit onderzoek voor ogen stond. Daarentegen zijn er wel interessante perspectieven te vinden in het gebruik van beeldreconstructie bij het verkrijgen van misdaadgerelateerde kennis in bredere zin, zoals bij het maken van compositietekeningen. Dit zal in een aparte paragraaf worden besproken.
Opzet combinatie CIT en beeldreconstructie
Eén van de beperkingen van de Concealed Information Test kan zoals eerder besproken een gebrek aan informatie met de juiste specificiteit zijn. Om deze informatie met de juiste specificiteit te verkrijgen wordt voorgesteld om gebruik te maken van beeldreconstructie van de gedachten van een verdachte in het desbetreffende misdaadonderzoek. Dit betekent in de praktijk het visualiseren van gedachten van een verdachte, opdat dit mogelijk nieuwe informatie kan leveren over het onderwerp waarover op dat moment ondervraagd wordt. Wanneer de inbeelding van de verdachte een adequate afbeelding oplevert die gekoppeld kan worden aan een onderwerp in het misdaadonderzoek, kan deze afbeelding gebruikt worden als sturend bewijs (bijvoorbeeld, wanneer het moordwapen of een essentieel voorwerp zoals een jas of tas gereconstrueerd wordt, als indicator waar de politie naar op zoek moet). Daarnaast kan deze informatie gebruikt worden als basis voor het verder afnemen van de CIT bij andere verdachten. De manier waarop deze output van de één de input van de volgende kan vormen is ook weergegeven in figuur 3 welke hieronder verder zal worden toegelicht, onder andere aan de hand van de eerder beschreven casus.
De eerste vraag die in dit model gesteld moet worden is: zijn er genoeg details over het misdrijf beschikbaar om een CIT uit te voeren? Zo ja, dan gaat men verder met een reguliere CIT; zo nee, dan kiest men voor een Searching CIT (S-CIT). Op de wijze die eerder is besproken worden vragen en antwoorden voorgelegd aan de verdachte en wordt er gemeten op welke details er een orienting response ontstaat. In het geval van de casus beschreven in voorgaande boxen zou dit bijvoorbeeld kunnen door te vragen: 'Wat voor mes is er voor de moord gebruikt?' met als antwoordopties verschillende soorten messen zoals zakmes, koksmes of broodmes. Wanneer er inderdaad een OR onstaat in de verdachte, kan dit detail toegevoegd worden aan de misdrijfkennis
13
van de ondervragers. Deze kennis is in sommige situaties echter nog erg globaal, zoals in het geval van de casus: stel dat er een OR ontstaat op de optie 'zakmes', dan is nog steeds onduidelijk hoe het mes er precies uitziet. Op dit punt kan beeldreconstructie van het item waarop een OR ontstond inspringen, waarna de politie gerichter kan zoeken naar het specifieke zakmes wat sluitend bewijs zou kunnen vormen in de zaak. Hierbij wordt uitgegaan van een visuele representatie van het moordwapen tijdens de confrontatie met de optie 'zakmes' (Sanne Schoenmakers, pers. comm., 28-11-201). Daarnaast kan het gereconstrueerde beeld van het mes bij een volgende proefpersoon aangeboden worden tijdens een reguliere CIT, waarmee opnieuw onderzocht kan worden of er een OR ontstaat in de ondervraagde en of deze persoon dus betrokken is geweest bij het misdrijf. Op deze wijze zou de tweede dader mogelijkerwijs geïdentificeerd kunnen worden. Zo zou beeldreconstructie dus bij kunnen dragen aan de totale hoeveelheid misdrijfkennis van ondervragers en daarnaast concrete aanknopingspunten kunnen vormen bij het zoeken van
sluitende bewijsstukken zoals wapens of DNA-sporen.
Figuur 3: Een schematische weergave van de praktische toepassing van beeldreconstructie in de Concealed
Information Test.
14
Praktische beperkingen: tegenmaatregelen
Wanneer men beeldreconstructie volgens het bovenstaande model toepast op het verkrijgen van informatie van daders brengt dit twee grote en grotendeels onoverkomelijke praktische problemen met zich mee: de eerder besproken mentale en fysieke tegenmaatregelen (zie: De Concealed Information Test - het afnemen van de CIT). Beide problemen rusten op het feit dat er hoogstwaarschijnlijk geen significante resultaten geleverd kunnen worden wanneer iemand weigert mee te werken aan het onderzoek. Fysieke tegenmaatregelen zijn een algemene beperking van fMRI-onderzoek en spreken voor zich. Mentale tegenmaatregelen zijn een complexer probleem in het licht van dit onderzoek en worden hiertoe uitgebreider besproken.
Een eerste mentale tegenmaatregel die problemen oplevert, is dat de primaire visuele cortex, waar beeldreconstructie op gebaseerd is, vrij gemakkelijk te manipuleren is (Guido Meijer, pers. comm. 19-12-2017). Wanneer een verdachte heel hard zijn best doet om aan een roze olifant te denken zal dit het enige zijn wat er te reconstrueren valt. Daarbij zijn er natuurlijk ook minder overduidelijke manieren om de visuele cortex te manipuleren: een kleine verdraaiing van de waarheid in misdrijfonderzoek kan zeer invloedrijk zijn maar is onmogelijk te detecteren op basis van alleen beeldreconstructie.
Een kanttekening die hierbij geplaatst kan worden is dat het volledig controleren van gedachten geen makkelijke opgave is, en moeilijker is dan weigeren vragen van de onderzoeker te beantwoorden of het manipuleren van fysiologische responsen. Daarmee is het dus de vraag of het met juiste inzet van ondervragingsmethoden zoals bijvoorbeeld een Searching CIT niet toch mogelijk zou zijn om herinneringen en gedachten op te roepen die ook een representatie in de visuele cortex triggeren, zoals in het geval van de casus bij de vraag 'Wat voor mes is er voor de moord gebruikt?'. Bij de relevante antwoordoptie 'zakmes' zou naast een OR naar verwachting ook een inbeelding van dit zakmes ontstaan. Over de vraag of deze representaties zelfs met deze methode lang genoeg aanwezig zijn en sterk genoeg zijn om andere inbeeldingen of tegenmaatregelen te overstemmen is op het moment echter nog geen uitsluitsel (Sanne Schoenmakers, pers. comm., 28-11-2017; Guido Meijer, pers. comm., 19-12-2017). Daarmee is het met de verzamelde kennis niet mogelijk om te concluderen dat beeldreconstructie van gedachten getriggerd door S-CIT succesvol uitgevoerd kan worden.
Daarnaast is het probleem dat om met de huidige onderzoeksmethoden een afbeelding op basis van inbeelding te reconstrueren, aan proefpersonen gevraagd moet worden om herhaaldelijk geconcentreerd aan een afbeelding te denken (Senden, Emmerling, Frost & Goebel, 2017). Beeldreconstructie maakt namelijk gebruik van fMRI, een techniek die gebaseerd is op BOLD-levels en een lage temporele resolutie heeft. Wanneer een gedachte dus als het ware “door je hoofd flitst” zijn de activaties in de primaire visuele cortex te kort van duur om te meten met fMRI (Guido Meijer, pers.comm., 19-12-2017). Om reconstructie van een representatie in de visuele cortex mogelijk te maken is dus concentratie nodig. De kans is echter aanzienlijk dat een verdachte in een misdrijf hieraan niet meewerkt.
In conclusie is de verwachting dat beeldreconstructie geen significante aanvulling zou kunnen zijn bij het vaststellen van daderkennis in combinatie met CIT. Hoewel de techniek van beeldreconstructie uitgaande van verdere ontwikkelingen in de toekomst toereikend zal zijn, zorgt
15
de mogelijkheid tot mentale en fysieke tegenmaatregelen ervoor dat toepassing op mensen die niet meewerken aan het onderzoek niet realistisch is. Gezien het feit dat tegenmaatregelen echter de voornaamste beperkingen blijken te zijn, is in de loop van het onderzoek tevens waardevol gebleken om ook een optie te verkennen waarbij tegenmaatregelen mogelijk geen beperking spelen: beeldreconstructie toegepast op andere takken van misdrijfonderzoek zoals getuigenverklaringen. Dit onderwerp zal in de volgende paragraaf verder worden besproken.
Beeldreconstructie bij getuigenverklaringen
Hoewel de praktijk van het reconstrueren van daderkennis met beeldreconstructie waarschijnlijk dus onoverkomelijke obstakels met zich meebrengt, is de consensus dat technisch gezien een gedetailleerde reconstructie van gedachten in nabije toekomst mogelijk zal zijn (Sanne Schoenmakers, pers. comm., 28-11-2017; Guido Meijer, pers. comm., 19-12-2017). Een interessante invalshoek waarin tegenmaatregelen geen obstakel vormen is het inzetten van beeldreconstructie van algemenere misdrijfkennis bij getuigen, die bereid zullen zijn om zich in te zetten voor een onderzoek. Vanzelfsprekend gebeurt dit niet aan de hand van de CIT, omdat niet gezocht wordt naar de aanwezigheid van daderkennis. Desondanks kan het gebruik van beeldreconstructie bij getuigen van aanvulling zijn op het algehele proces van het vinden van daders en het proces uit figuur 3.
Bij een dergelijke opzet kan bijvoorbeeld gedacht worden aan het reconstrueren van gezichten van daders in een misdrijf uit het geheugen van een getuige, als alternatief voor een compositietekening. De menselijke capaciteit om gezichten te herkennen is veel groter dan het vermogen om deze vervolgens met woorden te beschrijven (Brown & Lloyd-Jones, 2005). Het reconstrueren van een gezicht op basis van gedachten levert dus mogelijk een waarheidsgetrouwer beeld op dan op basis van verbale communicatie. Terugblikkend op de casus die beschreven is in voorgaande boxen (zie met name box III) zou een compositietekening uit de gedachten van bijvoorbeeld de receptiemedewerker, die de tweede dader heeft gezien, gemaakt kunnen worden. Het verspreiden van deze compositietekening onder politiebureaus zou het onderzoek kunnen bevorderen en zorgen dat de dader sneller opgepakt kan worden.
Een kanttekening die bij deze opzet geplaatst zou moeten worden is dat een herinnering niet synoniem is met de werkelijkheid (Schacter & Slotnick, 2004). Als iemand zich bepaalde componenten van het gezicht niet goed herinnert, zal een beeldreconstructie een afbeelding produceren die synchroon is met deze herinnering, niet per se met de werkelijkheid (Guido Meijer, pers. comm., 19-12-2017). Emotionele lading, eerdere ervaringen of ervaringen die na de misdaad zijn opgedaan kunnen zorgen voor een verdraaid beeld van de werkelijkheid. Wanneer dit beeld eenmaal in de hersenen van de betrokkene is vastgelegd, zou dit bij beeldreconstructie ook 'verdraaid' ten opzichte van de werkelijkheid naar voren komen. Ook zou met het verstrijken van de tijd het beeld van de dader kunnen veranderen, bijvoorbeeld door media-aandacht of interactie met politie of andere betrokkenen.
De winst die het inzetten van beeldreconstructie zou kunnen opleveren is daarom vooral het verkleinen van de fouten die ontstaan door de ‘gap’ tussen wat verbaal gecommuniceerd kan worden en een afbeelding. De beeldreconstructie die gemaakt wordt kan vervolgens worden gebruikt voor opsporingsdoeleinden of als basis voor verdere ondervragings- en
16
geheugendetectiemethoden, zoals eerder weergegeven in figuur 3. Dezelfde opzet zou in theorie gebruikt kunnen worden bij het reconstrueren van andere voorwerpen, locaties of andere relevante informatie. In dit soort gevallen zal echter de winst van het gebruik van beeldreconstructie ten opzichte van het beschrijven van de relevante informatie zorgvuldig bekeken moeten worden. Het beschrijven van een voorwerp als een moordwapen (bijvoorbeeld een rood mes) is namelijk minder complex dan het beschrijven van een gezicht, waardoor de ‘gap’ tussen verbale communicatie en een afbeelding kleiner zal zijn. Hiermee is de inzet van een complexe methode als fMRI minder goed te verantwoorden. Dergelijke vraagstukken zouden wellicht een onderwerp kunnen zijn voor vervolgonderzoek en verder worden besproken in de conclusie/discussie.
17
Conclusie & Discussie
Zoals besproken is het zeer waarschijnlijk dat het reconstrueren van gedetailleerde afbeeldingen op basis van geheugen en inbeelding binnen een aantal jaar mogelijk zal zijn. Vanwege de mogelijkheid tot fysieke en mentale tegenmaatregelen zal het echter in de praktijk ingewikkeld zijn om beeldreconstructie op basis van fMRI te laten plaatsvinden op basis van de gedachten van mensen die niet willen meewerken aan een onderzoek, waar personen met daderkennis in de meeste gevallen onder zullen vallen. Een toepassing van beeldreconstructietechnieken op geheugendetectie op basis van CIT valt om deze reden moeilijk te onderbouwen. Een interessante alternatieve invalshoek die tijdens het onderzoek naar boven kwam, is dat deze technieken wellicht wel toepasbaar zouden kunnen zijn op betrokkenen waarbij de tegenmaatregelen geen of in mindere mate een rol spelen.In het geval van bereidwillige individuen, zoals slachtoffers en getuigen, zouden de mentale en fysieke tegenmaatregelen die bij verdachten onoverkomelijk zijn, een stuk minder beperkend zijn. Zij zullen namelijk meer hun best doen om zich te concentreren op een beeld en zo stil mogelijk in de scanner liggen. Een concrete toepassing zou kunnen zijn om een beeldreconstructiealgoritme compositietekeningen te laten maken, dat waarschijnlijk een waarheidsgetrouwer beeld zou kunnen reconstrueren dan een tekenaar op basis van verbale communicatie. Ook de reconstructie van andere beelden van voorwerpen, ruimtes en locaties zou in dit geval in theorie mogelijk zijn. Hierbij moet echter goed gekeken worden naar de winst die te behalen valt in het reconstrueren van een afbeelding ten opzichte van verbale communicatie. Het vaststellen van de mogelijkheden die beeldreconstructie zou bieden op het vlak van getuigenverklaringen en verbetering van opsporing van misdadigers zou een interessant onderwerp voor vervolgonderzoek kunnen zijn. Hierbij is ten eerste vooral meer onderzoek nodig naar gezichtsreconstructietechnieken, voortbordurend op het onderzoek van Cowen, Chun en Kuhl (2014). Daarnaast is verder onderzoek naar de winst die behaald wordt door het inzetten van beeldreconstructietechnieken bij getuigen ten opzichte van het opnemen van een mondelinge verklaring relevant. Hierbij zou ook moeten worden gekeken naar de invloed van de blijvende complicatie dat herinneringen niet 100% waarheidsgetrouw zijn en verdraaid kunnen zijn door bijvoorbeeld emotionele lading of het verstrijken van de tijd.
Daarnaast moet benadrukt worden dat op dit moment nog niet alle technieken ver genoeg ontwikkeld zijn en er ook nog niet genoeg kennis over de hersenen is om een dergelijke beeldreconstructie op dit moment te kunnen implementeren. Zo zijn zoals eerder genoemd beeldreconstructietechnieken nog niet vergevorderd genoeg om complexere afbeeldingen te reconstrueren uit hersenactiviteit en is de kennis over de hersenen nog niet uitgebreid genoeg om ingewikkelde activatiepatronen die ontstaan bij het zien of inbeelden van visuele inhoud te kunnen analyseren. Voor een complete beeldreconstructie zou je idealiter de locatie van elk neuron en diens functie in kaart moeten brengen, of in ieder geval kennis moeten hebben op een voxelniveau wat veel kleiner is dan de huidige fMRI-resoluties. Daarnaast is de structuur en functie van het brein iets wat per individu verschilt, wat merkbaarder zal worden naarmate het niveau waarop gemeten kleiner wordt. Met individuele mapping van hersenstructuur en goed toegepaste machine-learningtechnieken hoeft dit echter geen onoverkomelijk obstakel te zijn. Daarbij wordt verwacht dat fMRI-resolutie en hersenonderzoek zich in de komende jaren verder zullen ontwikkelen.
18 Deze ontwikkelingen zouden ook de deur kunnen openen naar multi-voxel pattern analysis en ‘reconstructies’ van andere zintuiglijke gebieden. Haxby et al. hebben bijvoorbeeld in 2001 een poging gedaan om te bepalen of iemand objecten herkent op basis van de spatial cortex, en een tot op heden ongepubliceerd onderzoek wat besproken wordt door Smith (2013) bekijkt een toepassing waarbij vastgesteld kan worden of iemand een bepaalde ruimte (in het onderzoek virtual reality) al eerder heeft gezien. In theorie zou het met genoeg kennis van het desbetreffende hersengebied mogelijk moeten zijn om van alles een reconstructie te maken: ook bijvoorbeeld de primaire auditieve cortex, die een basis kunnen zijn voor een reconstructie van geluiden (Sanne Schoenmakers, pers. comm. 28-11-2017).
Al met al is multi-voxel pattern analysis een veelbelovende methode om hersenactiviteit uit het brein te lezen, ook bij andere takken van onderzoek naar geheugendetectie. Vanwege de manipuleerbaarheid is de toepassing van beeldreconstructie op basis van de visuele cortex bij het detecteren van daderkennis niet mogelijk. Wanneer de ontwikkelingen zich echter volgens de huidige verwachtingen voortzetten zijn reconstructietechnieken op basis van multi-voxel pattern analysis over het algemeen een zeer veelbelovende techniek die ook in onderzoek naar geheugendetectie in het oog zal moeten worden gehouden.
19
Literatuurlijst
Aron, A. R., Robbins, T. W., & Poldrack, R. A. (2014). Inhibition and the right inferior frontal cortex: one decade on. Trends in cognitive sciences, 18(4), 177-185.Ben-Shakhar, G. (2012). Current research and potential applications of the concealed information test: an overview. Frontiers in psychology, 3(342). doi: 10.3389/fpsyg.2012.00342
Boisgueheneuc, F. D., Levy, R., Volle, E., Seassau, M., Duffau, H., Kinkingnehun, S., ... & Dubois, B. (2006). Functions of the left superior frontal gyrus in humans: a lesion study. Brain, 129(12), 3315-3328.
Brown, C., Lloyd-Jones, T.J. (2005) Verbal facilitation of face recognition. Memory & Cognition, 33 (8), 1442-1456. doi:10.3758/BF03193377
Corbetta, M., Patel, G., & Shulman, G. L. (2008). The reorienting system of the human brain: from environment to theory of mind. Neuron, 58(3), 306-324.
Cowen, A.S., Chun, M.M., & Kuhl, B.A. (2014). Neural portraits of perception: Reconstructing face images from evoked brain activity. NeuroImage, 94, 12-22. doi: 10.1016/j.neuroimage.2014.03.018
Ding, X. P., Du, X., Lei, D., Hu, C. S., Fu, G., & Chen, G. (2012). The neural correlates of identity faking and concealment: an FMRI study. PloS one, 7(11). doi: e4863
Haxby, J. V., Gobbini, M. I., Furey, M. L., Ishai, A., Schouten, J. L., & Pietrini, P. (2001). Distributed and Overlapping Representations of Faces and Objects in Ventral Temporal Cortex. Science,
293(5539), 2425-2430. Opgevraagd op 12-10-2017 van
http://www.jstor.org/stable/3084889.
Gamer, M., Bauermann, T., Stoeter, P., & Vossel, G. (2007). Covariations among fMRI, skin conductance, and behavioral data during processing of concealed information. Human brain mapping, 28(12), 1287-1301. Gamer, M., Klimecki, O., Bauermann, T., Stoeter, P., & Vossel, G. (2012). fMRI-activation patterns in the detection of concealed information rely on memory-related effects. Social cognitive and affective neuroscience, 7(5), 506-515. Gamer, M. (2014). Mind Reading Using Neuroimaging. European Psychologist. Grubin, D.,& Madsen, L. (2007). Lie detection and the polygraph: A historical review. The Journal of Forensic Psychiatry & Psychology, 16(2), 357-369. doi:10.1080/14789940412331337353
Horikawa, T., Tamaki, M., Miyawaki, Y., & Kamitani, Y. (2013). Neural decoding of visual imagery during sleep. Science, 340(6132), 639-642.
Lykken, D. T. (1959). The GSR in the detection of guilt. Journal of Applied Psychology, 43, 385–388. Lykken, D. T. (1974). Psychology and the lie detector industry. American Psychologist, 29(10), 725.
20
Mameli, F., Scarpazza, C., Tomasini, E., Ferucci, R., Ruggiero, F., Sartori, G., & Priori, A. (2017). The guilty brain: the utility of neuroimaging and neurostimulation studies in forensic field. Reviews in the Neurosciences, 28(2), 161-172. doi: 10.1515/revneuro-2016-0048
Matsuda, I., Nittono, H., & Allen, J.J.B. (2012). The current and future status of the concealed information test for field use. Frontiers in psychology, 3(532). doi: 10.3389/fpsyg.2012.00532
Meegan, D. V. (2008). Neuroimaging techniques for memory detection: scientific, ethical, and legal issues. The American Journal of Bioethics, 8(1), 9-20.
Miyawaki, Y., Uchida, H., Yamashita, O. , Sato, M., Morito, Y., Tanabe, H. C., Sadato, N. & Kamitani, Y. (2009). Visual image reconstruction from human brain activity: A modular decoding approach. Journal of Physics: Conference Series, 197. doi: 10.1088/1742-6596/197/1/012021
Naselaris, T., Prenger, R.J., Kay, K.N., Oliver, M., & Gallant, J.L. (2009). Bayesian Reconstruction of Natural Images from Human Brain Activity. Neuron, 63(6), 902-915. doi: 10.1016/j.neuron.2009.09.006 Nishimoto, S., Vu, A.T., Naselaris, T. Benjamini, Y., Yu, B. & Gallant, J.L. (2011). Reconstructing Visual Experiences from Brain Activity Evoked by Natural Movies. Current Biology, 21, 1641-1646. doi: 10/1016/j.cub.2011.08.031 Peth, J., Sommer, T., Hebart, M. N., Vossel, G., Büchel, C., & Gamer, M. (2015). Memory detection using fMRI—Does the encoding context matter?. NeuroImage, 113, 164-174.
Rosenfeld, I.P., Ben-Shakhar, G., & Ganis, G. (2012). Detection of concealed stored memories with psychophysiological and neuroimaging methods (pp. 263). In L. Nadel & W. Sinnott-Armstrong (Eds.), Memory and Law. Oxford University Press.
Rusconi, E., & Mitchener-Nissen, T. (2013). Prospects of functional magnetic resource imaging as lie detector. Front. Hum. Neurosci. 7(594). doi: 10.3389/fnhum.2013.00594
Schacter, D. L., & Slotnick, S. D. (2004). The cognitive neuroscience of memory distortion. Neuron,
44(1), 149-160.
Schoenmakers, S., Güçlü, U., Van Gerven, M., & Heskes, T. (2015). Gaussian mixture models and semantic gating improve reconstructions from human brain activity. Frontiers in
computational neuroscience, 8, 173.
Senden, M., Emmerling, T., Frost, M., & Goebel, R. (29-6-2017). Faithful reconstruction of imagined letter from 7T fMRI measures in early visual cortex. Poster gepresenteerd op OHBM 2017, Vancouver. doi: 10.13140/RG.2.2.28166.37445
Smith, K. (2013). Reading Minds. Nature, 502, 428-430. Opgevraagd op 13-10-2017 van https://www.nature.com/polopoly_fs/1.13989!/menu/main/topColumns/topLeftColumn/ pdf/502428a.pdf
Verschuere, B., Ben-Shakhar, G., & Meijer, E. (2011). Memory Detection - Theory and Application of the Concealed Information Test. Cambridge University Press.
21
Verschuere, B. & Meijer, E.H. (2014). What’s on Your Mind? Recent Advances in Memory Detection Using the Concealed Information Test. European Psychologist, 19(3), 162-171. doi: 10.1027/1016-9040/a000194
22
Appendices
Appendix I: Expertinterview met Guido Meijer (19-12-2017)
Guido Meijer is MSc aan het Swammerdam Institute for Life Sciences aan de UvA en expert op het gebied van multi-sensory integration Welke activiteit ontstaat er in de primaire visuele cortex bij het herinneren van een beeld of inbeelden? Is dat bij inbeelding even sterk als bij het direct zien van een stimulus?De hersenactiviteit tijdens inbeelding zou in principe sterk genoeg moeten zijn om een beeld te reconstrueren. Deze is namelijk hetzelfde tijdens inbeelding als wanneer je iets zit. Het probleem van inbeelding is echter de complexiteit van een scène; het reconstrueren van letters is heel makkelijk, want dat is een groot contrast tussen wit-zwart, oftewel een wel-niet situatie. Een omgeving is veel complexer, want hier heb je veel combinaties nodig van neuronen die allemaal verschillende functies hebben; de één reageert alleen op oriëntatie en lijnpatronen, de andere op kleur. Om een complete reconstructie te maken zou je de volledige retinotopie van de verschillende kolommen moeten kennen, dus welke kolom van neuronen reageert op welk aspect van een beeld en op welke plek in het gezichtsveld. Met fMRI is het niet mogelijk om op zo'n gedetailleerd niveau weer te geven welke functies neuronen hebben, omdat we op voxelniveau kijken en fMRI gebaseerd is op bloedtoevoer. Als je op zo'n gedetailleerd niveau zou willen kijken zou je dus moeten achterhalen welke kolom welke functie heeft; dit zou je moeten mappen door verschillende stimuli in verschillende oriëntaties aan te bieden (en alle andere karakteristieken waar specifieke neuronen voor zijn) en te kijken welke kolom reageert; daarna zou je deze neuronen moeten trainen om te kijken of je mapping klopt, en daarna zou je een proefpersoon kunnen vragen zich iets in te beelden. Hiervoor heb je echter ook een hogere fMRI resolutie nodig dan op dit moment ontwikkeld is.
Wat gebeurt er in de visuele cortex als je tijdens het aangeboden krijgen van een stimulus aan iets anders probeert te denken? Gaan ze dan interfereren?
De primaire visuele cortex doet vooral wat jij je inbeeldt. Als je denkt aan een roze olifant dan zie je die ook voor je, dus dit is heel makkelijk te beïnvloeden. De visuele cortex heeft wel een soort signaal van herkenning, maar verder zit er weinig emotionele valience in. Een test zoals voorgesteld zou dus heel makkelijk te manipuleren zijn als je deze alleen baseert op de visuele cortex.
En als je andere hersengebieden zou meenemen in de analyse? Of zou kijken naar een early en late effect? Zouden die minder makkelijk te beïnvloeden zijn door de proefpersoon?
De temporele resolutie van fMRI is te laag om te kijken naar een early en late effect. Misschien zou EEG daar beter voor zijn omdat dat een hogere temporele resolutie heeft. Wellicht zou je verder kunnen kijken naar de amygdala, om te kijken hoe bang mensen zijn. Al is het moeilijk uit elkaar te halen of mensen bang zijn om de gevangenis in te gaan of dat ze het echt gedaan hebben. Verder is de hippocampus belangrijk in het herkennen van plaatsen, dus misschien zou je daar aan kunnen meten bij het weergeven of voorstellen van bepaalde locaties (crime scenes bijvoorbeeld).
23
Dus voor verdachten is het niet erg goed toepasbaar, in ieder geval niet als het gebaseerd wordt op de activiteit van de primaire visuele cortex. Denk je dat het toe te passen zou zijn op welwillenden, bijvoorbeeld getuigen?
Ja, maar waarom zouden welwillende getuigen niet gewoon zeggen hoe iets eruit zag? Een mes is verder ook niet zo moeilijk te omschrijven.
We willen ons dan richten op compositietekeningen, omdat we van een expert hoorden dat mensen over het algemeen slecht zijn in het beschrijven van gezichten.
Dat kan wel, dat geeft misschien een eerlijker beeld dan als mensen het omschrijven. Je moet er dan wel rekening mee houden dat het beeld alsnog verstoord kan zijn door de omstandigheden; het vertroebelen van herinneringen is een probleem dat op geen enkele manier op te lossen is. Maar die loss tussen inbeelding en verbale communicatie, daar zou je misschien winst kunnen behalen met reconstructie.
We hadden het al kort over de hippocampus en het gebruiken van locaties. Hoe zouden we dat verder kunnen toepassen? Omdat over de visuele cortex al veel bekend is, zijn reconstructies daar vooral nog op gericht, maar wellicht zouden we ook naar andere gebieden kunnen kijken?
Dan zou je kunnen kijken naar het decoderen van context en plaats. Over de hippocampus is ook erg veel bekend, alleen deze is minder retinotoop georganiseerd (dan de visuele cortex, red.). Met multivoxel pattern analysis kan je misschien wel patronen decoderen om te kijken of mensen naar een bepaalde plek zijn geweest of niet. Als je aan een plek denkt worden in de dentate gyrus bepaalde cellen actief waaraan je de context voor een locatie zou kunnen aflezen. Ook geeft dit gedeelte en novelty signaal. Het nadeel van contexten reconstrueren is wel dat deze bij onschuldigen ook bekend kunnen zijn. Dat is waar, het reconstrueren van een compositietekening zou een meer valide toepassing zijn. Alles wat met de dader heeft is heel makkelijk te beïnvloeden. Nog even terug naar die inbeelding en de primaire visuele cortex. Zou een beeld te reconstrueren zijn, ook al 'flitst' dit door iemands hoofd? Dus als het maar heel kort voorgesteld wordt? In een recentelijk gepubliceerd onderzoek kunnen ze uit inbeelding letters reconstrueren, maar daar moeten mensen zich wel heel hard voor concentreren. Misschien zou dat met de juiste vraagtechnieken wel kunnen. Dan zou je minder concentratie nodig hebben. Alleen is fMRI gebaseerd op bloedtoevoer en dus relatief langzaam. Misschien zou je MEG kunnen gebruiken, dat heeft een betere spatiële resolutie dan EEG. De magneetvelden die daar gebruikt worden zijn locatiespecifieker. fMRI heeft echt een te lage temporele resolutie.
Laatste gedachten over het voorstel?
Voor het maken van een compositie zou het prima zijn, maar alles wat je met de dader wil doen is moeilijk. Wellicht biedt de hippocampus nog mogelijkheden, als je de verdachte de locatie bijvoorbeeld niet laat zien. En verder zou het toe te passen zijn op andere complexe beelden die niet goed verbaal te beschrijven zijn, waarvan de compositie een voorbeeld is.
24
Appendix II: Expertinterview met Sanne Schoenmakers (28-11-2017)
Sanne Schoenmakers is postdoc in Computationele Cognitieve Neurowetenschappen aan Maastricht University en expert op het gebied van beeldreconstructie Is gedetailleerde beeldreconstructie op basis van gedachten technisch haalbaar? Op het moment nog niet. Het is redelijk recent dat machine learning wordt toegepast op MRI-data, dus er valt nog veel te onderzoeken. Door machine learning en technische vooruitgang vallen wel steeds meer details te zien in het brein. We zijn in de wetenschap echter pas ‘net’ begonnen met informatie uitlezen, en de verwachting is dat er nog veel te halen valt. Op het gebied van beeldreconstructie hebben we voornamelijk gekeken naar wat mensen op het moment zelf direct zien. We zijn net begonnen met onderzoek naar het uitlezen van gedachten, en ook dat lijkt te lukken. Bij het uitlezen van gedachten heb je echter ook informatie nodig uit een andere cortex dan de visuele, zoals bij het uitlezen van een handschrift of een tekening waar iemand naar kijkt (Sanne Schoenmakers’ eigen onderzoek, red.).In een artikel als dat van Cowen, Chun en Kuhl (2014) worden gezichten gereconstrueerd op basis van andere hersengebieden dan de visuele cortex, zoals de fusiform face area, en dat leverde redelijke reconstructies op. Hoe ziet u die ontwikkeling?
De fusiform face area is nog steeds een visueel gebied (niet primaire visuele cortex, maar een ander deel). In de toekomst zouden we het hele brein moeten kunnen en willen gebruiken, dat maakt betere voorspellingen mogelijk. Bij het uitlezen is tot nu toe voornamelijk gekeken naar de visuele cortex omdat we daar relatief veel vanaf weten. Dit maakt onderzoek doen makkelijker, omdat je aannames kloppen. Het hele brein in kaart brengen duurt echter lang, daarom worden bij dit soort onderzoeken slechts kleine gebieden gekozen om je resultaten op te baseren. Waarschijnlijk wordt de techniek over een tijdje wel beter, dat maakt het uitlezen van het brein een stuk makkelijker en goedkoper zodat we ook meer hersengebieden tegelijk kunnen meenemen en betere resultaten gaan behalen. Ziet een afbeelding er als je het verbeeldt er ‘hetzelfde’ uit als wanneer je er direct naar kijkt? Ja, althans dat is de aanname: als je een plaatje verbeeldt, ziet het er hetzelfde uit als wanneer je het ziet. Dat weten we echter nog niet helemaal zeker. Hoe betrouwbaar zou een visuele reconstructie op basis van gedachten zijn?
Je moet rekening houden met dat mensen hun gedachten kunnen sturen. Daarom zal het in de praktijk lastig zijn om bijvoorbeeld als bewijs in de rechtspraktijk te gebruiken. Een techniek als deze zou je moeten gebruiken om kennis te verzamelen, als sturend bewijs voor de politie bijvoorbeeld. Je kunt dan bijvoorbeeld vragen naar een misdrijflocatie en op basis van gereconstrueerde informatie verder kijken of je die kan vinden. Maar je weet nooit of daders meewerken. Getuigen zijn misschien welwillender, een betere mogelijkheid die je kunt overwegen. Als je gezichtsreconstructie gedetailleerder kan maken, is het dan wellicht mogelijk om gedachten getuigen te lezen en daar gezicht van verdachte uit reconstrueren?
Een dergelijke reconstructie is dan objectiever dan een omschrijving die iemand kan geven. Maar hij kan natuurlijk alsnog niet kloppen als iemand zich iets verkeerd herinnert.
25
Op welke termijn zou dit technisch mogelijk kunnen zijn?
De verwachting is dat het over 10/20 jaar wellicht wel kan lukken. fMRI is nu een dure en ingewikkelde methode, maar als het belangrijk blijft zal het vaak gebruikt worden en vanzelf toegankelijker en goedkoper worden. Kijk maar naar computers, dat waren eerst ook gigantische dure installaties en nu heeft iedereen er een in zijn broekzak. Wie weet heeft iedereen over 10 jaar ook een MRI-scanner in huis, dit soort dingen moet je nooit zomaar afschrijven met alleen het kosten-argument.
Hoe individueel verschillend zijn de hersenactiviteitspatronen op basis waarvan je een beeldreconstructie kan maken? Zou je een algoritme per persoon moeten trainen of kun je generaliseren?
Alle breinen zitten ongeveer gelijk in elkaar, dus globale dingen zoals emotionele activatie kun je gewoon op groepslevel uitlezen. Gedachten uitlezen zal echter wel individueel moeten, omdat je op een vrij klein niveau van voxels zit te kijken. Maar het ‘mappen’ van hersenen kan nu al vrij snel gebeuren, en in de toekomst waarschijnlijk nog wel sneller.
Met de huidige techniek moeten proefpersonen heel stil liggen om fMRI metingen mogelijk te maken, en zich goed concentreren op wat ze zien of zich inbeelden. Ook is er nog veel ruis en zijn herhalingen nodig. Zou dit niet meer nodig zijn als de techniek vooruit gaat? En zou je mensen op bepaalde manieren kunnen dwingen om over iets na te denken zodat je het kan reconstrueren met bijvoorbeeld een ondervragingstechniek als S-CIT?
Als de metingen nauwkeuriger worden zou je in principe iemands gedachten wel kunnen meten tijdens een gesprek. En wat betreft dwingen om over iets na te denken: je moet je afvragen hoe lang je je gedachten onder controle kunt houden? Mensen breken op een gegeven moment als je blijft doorvragen, en vertellen je toch iets wat ze je eerst niet wilde vertellen. Je hersenen onder controle houden is nog veel moeilijker dan weigeren om iets te zeggen. Maar wie weet dat mensen daar wel beter in zouden worden als het ‘nodig’ zou zijn, je zou jezelf er wel in kunnen trainen. En daarnaast blijft het een issue dat in een MRI-scanner mensen stil moeten liggen; tegenwerken kan altijd, als je met je hoofd gaat wiebelen worden metingen onbruikbaar. Daarom is het waarschijnlijk haalbaarder om mensen te ondervragen die zouden willen meewerken. Ook omdat als het wel zou lukken om iemand ‘te dwingen aan iets te denken’ deze gedachte in theorie ook zou kunnen zijn ontstaan door de ondervragingsmethode, hoe zou je zeker kunnen weten dat het echt een herinnering is?
Stel dat een min of meer succesvolle compositietekening gemaakt kan worden van bijvoorbeeld een betrokkene of dader in een misdrijf, en je zou willen kijken of bepaalde ‘persons of interest’ aan dat signalement voldoen. Kun je dan beter een computeralgoritme laten kijken of een mens?
Ik zou zeggen een computeralgoritme, dat heeft meer oog voor details en gaat ook een stuk sneller. Een algoritme kijkt per pixel, een mens naar het hele plaatje, dus misschien zou je het ook in een combinatie kunnen zoeken. Samen zijn computer en mens erg sterk hierin.
Als je een reconstructie van een ‘simpel’ beeld zoals een letter of patroon vergelijkt met een complex beeld zoals een foto, hoe veel kwaliteitsverschil zit er dan tussen de reconstructies?
Op het moment vrij veel, dingen als letters zijn heel goed na te maken, foto’s nog niet pixel voor pixel. Maar in de toekomst gaat dat vast wel kunnen, dan kun je ook complexe filmbeelden reconstrueren.
