Een brein in je broekzak

(1)

Neuromorphic Computing Een brein in je broekzak

Jonas Doevenspeck

1

(2)

WIE BEN IK?

2

Fysica en burgerlijk ingenieur

Doctoraat over nieuwe geheugens voor neurale

netwerken

Stage over nieuwe geheugens voor deep

learning chips

2011-2016 2016-2020 2019

(3)

WAT GA IK JULLIE VERTELLEN?

3

1. AI is eindelijk nuttig

2. Maar er zijn veel uitdagingen: energieverbruik

3. Mogelijke oplossing is neuromorphic computing

4. Applicaties?

(4)

WAT GA IK JULLIE VERTELLEN?

4

3. Mogelijke oplossing is neuromorphic computing 4. Applicaties?

(5)

AI is eindelijk nuttig

5

(6)

ARTIFICIELE INTELLIGENTIE (AI)

6

DATA INFORMATIE

KENNIS WIJSHEID

Ruwe data: Beelden uit een camera (pixels)

Betekenis: Voetganger op 50m Interpretatie: Er loopt een

voetganger over de straat Actie: Stop de auto

Verleden

Toekomst

OOK GEKEND ALS KUNSTMATIGE INTELLIGENTIE (KI)

AI? Waarom?

Intelligente programmas/algoritmes om informatie en kennis uit data halen

→ gebruik deze kennis om acties te nemen

(7)

EEN HEEL KORTE AI GESCHIEDENIS

Handgemaakt 1980

Kennis engineering

Expert systemen

1956

Dartmouth conference

Geboorte van AI

2015

Neurale netwerken Big data, snelle hardware Alle grote tech. bedrijven gebruiken

het

Recente AI boom

Transitie van kennis gedreven 1990

naar data gedreven aanpak

Machine learning

"machines will be capable, within twenty

years, of doing any work a man can do."

"In from three to eight years we will have a machine with the general intelligence of an

average human being”

Marvin Minsky, 1970

H. A. Simon, 1965

Deepfakes

Virtual assistants

(8)

WAT IS EEN NEURAL NETWERK?

8

Een zeer ingewikkelde functie/model:

y = f(x)

y = f(x) y = ax+b

y

x Lineare functie

y = f(x)

Klasse = f(afbeelding)

x f y

Neuraal netwerk

b

a

Taken from becominghuman.ai/debunking-convolutional-neural-networks- cnn-with-practical-examples-688284c45b85

(9)

HOE WERKT EEN NEURAAL NETWERK?

9

Input

Model

Output

‘Blackbox’

Mogelijke inputs:

• Afbeelding

• Tekst

• Spraak

• ...

Mogelijke outputs:

• Label: kat/hond

• Spraak

• Tekst

• ...

Classificeren of voorspellen = ‘inference’

(10)

WAT IS ER NIEUW AAN DEEP LEARNING?

10

Manuel ingeven van relevante eigenschappen: vb. band, deur, bumper, etc ...

Relevante eigenschappen worden geleerd door de AI

1980-2010

2010-2020

Taken from: lawtomated.com/a-i-technical-machine-vs-deep-learning/

(11)

DIEPE NETWERKEN LEREN HIERARCHISCH

11

pixels lijnen/cirkels ogen/neuzen gezichten

Dit is persoon ‘...’

Taken from: https://www.researchgate.net/figure/Feature- hierarchy-in-Deep-Neural-Networks_fig2_306072426

(12)

DIEPE NETWERKEN VOOR GEAVANCEERDE TOEPASSINGEN ZIJN GIGANTISCH

12

+ + + + ...

Om cijfers te herkennen

Om objecten zoals auto’s en mensen te herkennen

Taken from: https://towardsdatascience.com/training-deep-neural-networks-9fdb1964b964

(13)

DEEP LEARNING IS EEN SUBSET VAN MACHINE LEARNING EN VAN AI

13

Ook vele niet deep-learning AI applicaties vandaag

Taken from https://blogs.nvidia.com/blog/2016/07/29/whats- difference-artificial-intelligence-machine-learning-deep-learning-ai/

(14)

14

20.000 categorien:

• ballon

• aardbei

• auto

• ...

14.000.000 afbeeldingen

Classificeer afbeelding

Verander model om juiste classificatie te bekomen

HOE LEERT ZO EEN NETWERK?

MET ENORM VEEL DATA

Input Output Check of output juist

Model

Taken from https://www.researchgate.net/figure/Examples-in- the-ImageNet-dataset_fig7_314646236

(15)

TRAINEN IN DE CLOUD, INFERENCE IN DE EDGE

15

Training in datacenter/cloud

Inference in the edge

Robot

Smart Camera

Smart Glasses Smartphone

We trainen 1 model dat iedereen kan

gebruiken

(16)

WAT GA IK JULLIE VERTELLEN?

16

(17)

Uitdagingen van hedendaagse AI

chips

17

(18)

YOLO: YOU ONLY LOOK ONCE

18

STATE OF THE ART OBJECTHERKENNING

From https://pjreddie.com/darknet/yolo/

https://www.youtube.com/watch?v=MPU2HistivI&t=1s

(19)

HOE LANG GAAT MIJN BATTERIJ MEE?

19

YOLO:

State of the art objectherkenning

1.5 months (no driving) 5 seconds

11 min.

TIJDENS DE INFERENCE

From https://pjreddie.com/darknet/yolo/

(20)

HOEVEEL ENERGIE? EN WAT KOST DAT?

20

VOOR HET TRAINEN/LEREN VAN HET MODEL

300.000 kg

2000 kg

Trainen van state of the art vertalingsmodel Auto levenscyclus

Vlucht Brussel → New York

50.000kg

Bron: https://www.technologyreview.com/s/613630/training-a-single-ai- model-can-emit-as-much-carbon-as-five-cars-in-their-lifetimes/

Kost cloud compute:

1 → 3 miljoen USD

Meeste modellen gebruikt vandaag zijn minder groot dus gebruiken minder energie

CO2 uitstoot

(21)

WAT GA IK JULLIE VERTELLEN?

21

3. Mogelijke oplossing is neuromorphic computing

4. Applicaties?

(22)

De energie moet omlaag →

Neuromorphic Computing

22

(23)

HET MENSELIJK BREIN IS ENORM ENERGIE-EFFICIENT

23

MAAR NIET DE BESTE IN ALLES

Menselijk brein 20 Watt = Supercomputer

13 MegaWatt

𝟏 𝟔𝟓𝟎, 𝟎𝟎𝟎

• Plannen

• Problemen oplossen

• Communicatie

• Creativiteit

• Rekenen

• Patroon herkenning

• Klimaatsimulaties

= 10.000x

(24)

NEUROMORPHIC COMPUTING

24

WAT BETEKENT DAT?

Idee: AI systemen bouwen waarvan de

architectuur en ontwerp gebaseerd zijn op biologische hersenen.

Multidisciplinair veld dat gebruikt maakt van:

• Biologie

• Fysica

• Computerwetenschappen

• Electronica

Doel: AI chips bouwen die energie-efficienter zijn dan hedendaagse chips

(25)

NEUROMORPHIC COMPUTING

25

HOEVER MOET JE DAAR IN GAAN?

Het brein perfect nabootsen

Human Brain Project (EU)

Spinnaker IBM TrueNorth

Grafische kaart:

online te koop AI algorithmes die op klassieke computers draaien

→ hedendaagse oplossing Computers geinspireerd

door het brein

(26)

26

We gebruiken enkel de principes en kopieren niet alles

Welke principes moeten we gebruiken?

NEUROMORPHIC COMPUTING

HOEVER MOET JE DAAR IN GAAN?

(27)

WAAROVER GAAT MIJN ONDERZOEK?

27

≈

Nano-geheugen

Biologische synapse

10 nanometer

(1 haar = 100.000 nanometer)

Gebruiken van nanogeheugens voor neuromorphic computing Atomen

100.000 miljard synapsen in onze hersenen

(28)

WAT HEEFT IMEC DAAR MEE TE MAKEN?

28

Imec cleanroom

Nano-geheugen

1 miljoen nano-

geheugens in 1 testchip Imec maakt nanogeheugens voor

dataopslag en ook voor AI chips

(29)

WAARVOOR IS DIT NUTTIG?

29

WANDELBEWEGING-AUTHENTICATIE (GAIT-AUTHENTICATION)

Iemand zijn manier van wandelen kan zo uniek zijn als een vingerafdruk

Identificatie mogelijk via:

• Video

• Acceleratiemeter (in smartphone, autosleutel, etc ...) Nuttig voor: authenticatie en herkenning

(30)

WANDELBEWEGING-AUTHENTICATIE

30

Tijd

Acceleratie

Acceleratie-data Neuromorphic chip

“Deze person is wel/niet de

eigenaar”

(31)

Uitdagingen voor Neuromorphic

Computing

31

(32)

UITDAGINGEN NEUROMORPHIC COMPUTING

Hoe nuttig is dit?

→Vertaal de voordelen/nadelen naar applicatie niveau

32

Niemand begrijpt echt hoe het brein werkt

?

→ hoe kunnen we er dan van leren?

Hoeveel inspiratie moeten we nemen van het brein?

→ we gebruiken silicium, geen biologische cellen ...

(33)

SAMENWERKEN OVER DISCIPLINES HEEN IS CRUCIAAL

33

Neuro

wetenschappers

Materiaal

wetenschappers Fysici Chip ontwerpers

Computer wetenschappers

Applicatie -ingenieurs

(34)

WAT GA IK JULLIE VERTELLEN?

34

(35)

Applicaties

35

(36)

ENERGIE ZUINIGE AI MAAKT TALLOZE APPLICATIES MOGELIJK

Lage energie inferentie in de edge:

Geavanceerd AI toepassen waar er weinig energie voorhanden is

36

Leren/trainen in de edge:

AI modellen leren zonder communicatie met de cloud

(37)

AI AT THE EDGE: INFERENTIE

37

Constant streamen van video naar datacenter voor AI-herkenning

Camera Videostreaming AI in

Datacenter

AI zit in de camera → stuur enkel bericht als er iets wordt herkend

AI in smart camera

LAGERE ENERGIE

(38)

AI AT THE EDGE: INFERENCE

SNELLER BESLISSINGEN MAKEN

Voor sommige applicaties is een ‘real-time’ response nodig.

Geen tijd voor communicatie met cloud.

Afhankelijk van draadloze verbinding → groot risico

Voorbeeld: zelf-rijdende auto’s Cloud inference

Edge inference

(39)

LEREN IN DE EDGE:

39

Personal:

Alle edge apparaten leren een persoonlijk model

Privacy:

Geen data meer naar de cloud

Risk:

Invloed van buitenaf wordt uitgesloten

(40)

LEREN IN DE EDGE: PERSOONLIJKE AI MODELLEN LEREN

40

Hartslag anomalie detectie

Biometrische beveiliging met wandelbeweging-authenticatie

Monitoren van vibraties in bruggen: anomalie detectie

Mensen en fysische objecten hebben allemaal een eigen patroon.

→ Niet mogelijk om een gemeenschappelijk cloud-trained model te gebruiken!

(41)

TAKE HOME

41

AI is eindelijk nuttig

AI algoritmes vragen heel veel energie

We hebben nieuwe, lage energie AI chips nodig!

Dit maakt talloze applicaties mogelijk!

→ AI at the edge

= zuinig, veilig, snel, mobiel, goedkoop

email: jonas.doevenspeck@imec.be LinkedIn