de wiskunde achter virtuele realiteit
Theo Moons
1. Computermodellen en virtuele realiteit.
Computermodellenvanbestaande 3-dimensionale(3D)omgevingen wordensteedsbelang-
rijkerbijde besluitvorminginverschillendemaatschappelijkedomeinen. Voorbeeldenhier-
van zijn het gebruik van3D-stadsmodellenin ruimtelijkeordening (bv. om het eect van
een geplandbouwwerk ophet omliggendelandschap tebeoordelen; of,als basisvoorcom-
putersimulatiesomdegeluidsoverlastinde naburigewoningenvaneennieuwaanteleggen
weg inteschatten of om de optimalepositionering van antennesvoor mobieletelefonie te
bepalen). Een ander belangrijk toepassingsdomein van 3-dimensionale computermodellen
is bij de planning en uitvoering van chirurgische ingrepen: een levensgevaarlijke operatie
wordt eerst uitgeprobeerd op een 3-dimensionaal modelvande patient dat geconstrueerd
werd door volumetrische gegevens verkregen met CT, MR, PET, ... scanners te combi-
neren. De occasionelecomputergebruikeriszekerreedsinaanrakinggekomenmet virtuele
werelden in computerspellen of bij een virtueel museum- of stadsbezoek via internet. En,
wieheeftnognietgehoordvandetechnologische evolutiesindelmwereldwaar adembene-
mendevisuele eectenverkregenworden door beeldenvanlevende personen en bestaande
omgevingen te combineren met doorde computer gegenereerde objecten?
Deze module wil de (wiskundige) basisprincipes uitleggen die toelaten om een 3-di-
mensionaal computermodel van een bestaande omgeving te construeren uit een aantal
2-dimensionalebeelden (foto's, lm- of videobeelden).
2. Beeldvorming in een digitale camera.
De meest eenvoudige voorstellingvan het beeldvormigsproces ineen (foto-,lm- of video-
) camera is die van een camera obscura. In een camera obscura wordt het beeld van
de omgeving (de scene genaamd) gevormd door de lichtstralen die door de voorwerpen
in de scene weerkaatst worden en via het centrum van de lens op het beeldvlak invallen
(cf. Figuur 1). Dit beeldvlak kan het oppervlak van een lichtgevoelige lm (zoals bij
een foto- of lmcamera) of van een CCD (zoals bij een digitale camera of bij een video-
camera) zijn. Het beeld dat op die manier gevormd wordt, is het foto-negatieve beeld
van de scene. Het foto-positievebeeld dat men waarneemt wanneer men naar een foto of
beeld dia-positief
f f
Figuur1: Ineen cameraobscura wordthetbeeldvandescenegevormddoor delichtstralen
die door de voorwerpen in de scene weerkaatst worden en via het centrum van de lens op
het beeldvlak invallen. Het foto-positief beeld situeert zich in een (hypothetisch) vlak voor
de camera.
een televisiescherm kijkt,komt daarentegen overeen met de projectie van de scene opeen
(hypothetisch)vlak dat gesitueerd isvoor de cameraop dezelfdeafstand van het centrum
van de lens als het beeldvlak. In het vervolg van deze tekst zal met de term \beeldvlak"
steeds dithypothetische vlak voorde camera bedoeld worden.
Wiskundiggesproken,iseenscene eenverzamelingpunten,lijnstukkenenoppervlakken
inde Euclidische ruimteIR 3
;en, een beeld vaneen voorwerp in de scene isde perspectief-
projectie vandatvoorwerpophetbeeldvlak. Hoeweldecameraobscuraeenovergesimpli-
eerdevoorstellingvande beeldvormingineenechtecamerageeft,kanmen tochvaststellen
dat de betere lenzensystemen die tegenwoordig in de handel verkrijgbaar zijn, een zeer
goede benadering vaneen perspectiefprojectie realiseren. Voor onze doeleinden is het dus
niet nodigom een gesostikeerder camera-model tegebruiken.
In formulevorm wordt het beeldvormingsproces ineen cameraobscurahet eenvoudigst
beschreven ten opzichte van een zogenaamd camera-gecentreerd assenstelsel. Dit is een
rechtsdraaiend, orthonormaal assenstelsel voor de scene dat als volgt gedenieerd wordt
(zie Figuur2 (links)) : de oorsprong vanhet assenstelsel valtsamen met het centrum van
de lens van de camera (d.i. het projectiecentrum), de Z-as is de optische as van de lens,
en het XY-vlak is het vlak door de oorsprong en loodrecht op de Z-as. Het beeldvlak is
het vlak metvergelijkingZ =1. Hetbeeld vaneen puntPinde scene isdan het snijpunt
p van de rechte door P en door de oorsprong van het camera-gecentreerd assenstelsel en
het vlakmetvergelijkingZ =1. Als(X;Y;Z)2IR 3
het stelcoodinatenvanhet scenepunt
P t.o.v. het camera-gecentreerd assenstelsel is, dan heeft het beeldpunt p als coordinaten
(u;v;1)met
u= X
Z
en v = Y
Z
: (1)
Z
Y X
(u,v)
0
Z = 1 v
u (X,Y,Z)
y
x
Figuur2: Links: Ineencamera-gecentreerdassenstelselheeftdeprojectievaneenscenepunt
(X;Y;Z) in het beeldvlak als coordinaten (u;v;1)=( X
Z
; Y
Z
;1). Rechts: De positie van een
beeldpunt in een digitaal beeld wordt uitgedrukt in pixelcoordinaten.
origineel 2 4 8 16
Figuur 3: Een digitaal beeld is opgebouwd uit een groot aantal minuscule beeldelementjes,
pixels genaamd.
Wanneer men werkt met digitale beelden, dan is het handiger om de positie van een
beeldpunt aan te geven met zogenaamde pixelcoordinaten. De reden hiervoor is dat een
digitaal beeld is opgebouwd uit een groot aantal minuscule beeldelementjes, pixels ge-
naamd. Hetwoord\pixel" iseen contractie vandeEngelse woorden\picture element". In
Figuur 3 werd een digitaal beeld uitvergroot zodat de pixels zichtbaar worden. Om een
digitaalbeeldopeencomputerschermtevisualiseren,wordtelkepixelvanhetbeeldscherm
belicht met een lichtstraal vaneen intensiteit(en kleur) dieevenredig isaan de intensiteit
(en de kleur) van de lichtstraal die op die positie in het beeldvlak inviel tijdens opname
vanhet beeld. In een computergeheugen wordteen digitaal(grijswaarden)beeld dusopge-
slagen in de vorm van een mn-matrix van gehele getallen die voor elke pixel de nodige
lichtintensiteitweergeven 1
; en de positie van elke pixel in het beeld wordt bepaald door
het rij- en het kolomnummervandie pixelin deze matrix (cf. Figuur 2(rechts)). Dit rij-
en kolomnummer, meestal genoteerd met (x;y), noemt men de pixelcoordinaten van de
1
Voor een kleurbeeld worden voor elke pixel 3 gehele getallen gegeven die elk de intensiteit van de
lichtstraalin3welbepaaldekleurbanden(nl. rood,groenenblauw)weergeven.
pixelcoordinaten van een beeldpunt is gegeven door :
(
x = k
x
u+sv+x
0
y = k
y v+y
0
(2)
Hierin zijn (x
0
;y
0
) de pixelcoordinaten van het optisch centrum van het beeld (d.i. het
puntwaarindeoptische asvandecamerahetbeeldvlaksnijdt)engeven k
x enk
y
hetaantal
pixels perlengte-eenheid inde horizontale en de vertikalerichting weer. k
x en k
y
bepalen
dus impliciet de lengte en de breedte van een pixel. De parameter s tenslotte geeft aan
hoesterk de vorm vaneen pixelafwijkt vaneen rechthoek. Bijde beteredigitalecamera's
zijn de pixels meestal rechthoekig en is s =0. De getallenk
x , k
y , s, x
0 en y
0
noemt men
de interne cameraparameters of ook wel de calibratiegegevens van de camera.
Vooraleer verder te gaan, herschrijven wij de bovenstaande formules nog even in ma-
trixvorm. Alsmen een punt p met pixelcoordinaten(x;y) inhet beeldvlak voorstelt door
de kolomvector p=(x;y;1) t
2IR 3
,dan kanmen formule (2) schrijven als:
p = 0
B
@ x
y
1 1
C
A
= 0
B
@ k
x
s u
0
0 k
y v
0
0 0 1
1
C
A 0
B
@ u
v
1 1
C
A
; (3)
waarbijde kolomvector (u;v;1) t
2IR 3
de Euclidischecoordinatenvanhet beeldpuntt.o.v.
het camera-gecentreerd assenstelsel weergeeft. Uit formule(1)volgtnu onmiddellijk dat
0
B
@ u
v
1 1
C
A
= 0
B
B
B
@ X
Z
Y
Z
1 1
C
C
C
A
= 1
Z 0
B
B
B
@ X
Y
Z 1
C
C
C
A
;
met (X;Y;Z) het stel coordinaten van het punt P in de scene waarvan p het beeld is.
Indien wij nu ook het scenepunt P identiceren met de kolomvector (X;Y;Z) t
, dan kan
deze laatste formulegeschreven worden als
0
B
@ u
v
1 1
C
A
= 0
B
@ X
Y
Z 1
C
A
=P (4)
met =Z. Samenmet formule(3)geeft ditde volgendeprojectievergelijkingen:
p=KP ; (5)
waarbij
K = 0
B
@ k
x
s u
0
0 k
y v
0
0 0 1
1
C
A
de calibratiematrix vande camera genoemd wordt.
scene.
Het doel van deze module is om te onderzoeken hoe men de ruimtelijke struktuur van
een scene kanreconstrueren uiteen of meerdere beelden vandie scene. Wiskundig gezien,
kan men dit probleem nu vertalen als: bepaal voor elk punt p in het beeld de coordinaten
van het punt P in de scene waarvan p de projectie in het beeldvlak is. Een blik op de
projectievergelijkingen (5) toont duidelijk aan dat dit probleem in die vorm onoplosbaar
is. Immers, P oplossenuit vergelijking (5) geeft
P=K 1
p :
Dus, wanneer alleen het beeldpunt p gegeven is, of zelfs indien ook de calibratiegegevens
van de camera (d.i. de matrix K) gekend zouden zijn, dan nog ligt het scenepunt P niet
volledigvast, wantde parameter kantheoretischelk (positief)reeelgetalzijn. Dithoeft
ons niet teverwonderen, want het isbekend dat men met slechtseen ooggeen dieptezicht
heeft. Menkandusverwachten daterminstens2beeldennodigzijnomdescenetekunnen
reconstrueren. En, inderdaad, als p de projectievaneen scenepunt P in het beeldvlak is,
dan ligtPopde rechte doorhet projectiecentrumen het beeldpunt p. Dezerechte noemt
men de projecterende rechte van Pvoorde gegeven camera. Indien nu de projecties p
1 en
p
2
van Pintwee beeldengegeven zijn,dan kanmen de positie vanP inde scene bepalen
alshet snijpuntvandeprojecterende rechtenvanPindetweecamera's, zoalsge
llustreerd
in Figuur 4 (links). Het bepalen van ditsnijpunt | en dus ook het stel coordinaten van
het scenepunt P |is vrij gemakkelijk op voorwaarde dat men de positie, de orientatie en
de calibratiegegegevens van beide camera's kent, Wanneer daarentegen alleen de beelden
gegeven zijnen mendus de positie, de orientatie en de calibratiegegevensvande camera's
niet kent,dan wordt het reconstrueren vande scene een heel stukminder eenvoudig.
MaarlaatonsFiguur4eenswatsystematischeranalyseren. Beschouween(willekeurig)
puntp
1
inheteerste beeld. p
1
isde projectievaneen puntPinde scene; en, belangrijker
nog, dit scenepunt P ligt op de projecterende rechte L van p
1
in de eerste camera. De
projectie p
2
van P in het tweede beeldvlak kan bijgevolg niet eender waar in het tweede
beeld terechtkomen, maar p
2
moet liggen op de rechte `
2
die de projectie van L in het
tweede beeld is (zie Figuur4 (rechts)). De rechte `
2
noemt men de epipolaire rechte van
p
1
in het tweede beeld. Meetkundig gezien, is de epipolaire rechte `
2
niets anders dan
de snijlijn met het tweede beeldvlak van het vlak door L en het projectiecentrum van de
tweede camera. Hetisduidelijkdat derichtingvande epipolairerechte`
2
inhet beeldvlak
bepaald wordt doorde orientatie van de tweede camera t.o.v. de eerste. Dus, indienmen
opeen of andere manier de epipolaire rechten in het tweede beeld zou kunnen berekenen,
dan kan men daaruit misschien ook nuttige informatie over de relatieve orientatie van de
camera's a eiden. Wij zullenhieronder nuaantonen dat men de epipolaire relatiestussen
twee beelden van een stationaire scene kan berekenen uitde beelden zelf. Maar daarvoor
moeten wij eerst de projectievergelijkingenvoor de tweede cameraopstellen.
Neem als assenstelsel voor de scene het camera-gecentreerd assenstelsel van de eerste
P
1 2
1
2 1
p p
2
1 2
Z y
C
0
C
x y
Y
X
x P
O
beeld 1
p 1 p
beeld 2
2
l 2
C
Figuur 4: Links: Als de positie, orientatie en cameraparameters van beide camera's ge-
kend zijn, dan kunnen de 3D coordinaten van het scenepunt P berekend worden uit de
pixelcoordinaten van hun projecties p
1 en p
2
in de beelden. Rechts: Het punt p
2
in het
tweedebeelddatovereenkomtmet eenpunt p
1
in heteerstebeeldligtopde epipolairerechte
` die de projectie in het tweede beeld is van de projecterende rechte van p
1
in de eerste
camera.
camera en laat ons dit assenstelsel het \wereldassenstelsel" noemen. De positie van de
tweede camera inde scene kandan weergegeven worden doorhet stel coordinaten vanhet
projectiecentrum C van de tweede camera t.o.v. het wereldassenstelsel en de orientatie
van de tweede camera kan voorgesteld worden door drie eenheidsvectoren ~r
1 , ~r
2 en ~r
3 ,
die de richting van respectievelijk de X-, de Y- en de Z-as van het camera-gecentreerd
assenstelsel van de tweede camera t.o.v. het wereldassenstelsel aangeven (zie Figuur 5).
De projectie p
2
van het punt P in het tweede beeld wordt volgens formule (5) gegeven
door
2 p
2
= K
2 co
2
(P) met co
2
(P) 2 IR 3
het stel coordinaten van P t.o.v. het camera-
gecentreerd assenstelsel van de tweede camera. co
2
(P) wordt gevonden door de vector
~
CP loodrecht te projecteren op elk van de coordinaatassen van het camera-gecentreerd
assenstelsel van de tweede camera. Herinner u dat de abscis van de loodrechte projectie
van een vector ~v 2 IR 3
op de rechte met eenheidsrichtingsvector ~r gegeven wordt door
het scalair product ~r~v. Indien men de reele drietallen~r en ~v als kolomvectoren noteert,
dan komt het scalair product ~r~v neer op het matrixproduct ~r~v = ~r t
~v. Toegepast op
de bovenstaande situatie, impliceert dit dat het stel coordinaten co
2
(P)van P t.o.v. het
camera-gecentreerd assenstelsel vande tweede camera gelijk zijnaan
co
2
(P) = 0
B
@
~r
1
(P C)
~r
2
(P C)
~r
3
(P C) 1
C
A
= 0
B
@
~ r t
1
(P C)
~ r t
2
(P C)
~ r t
3
(P C) 1
C
A
= 0
B
@
~r t
1
~r t
2
~r t
3 1
C
A
(P C)
= ~r
1
~r
2
~r
3 t
(P C) = R t
(P C)
met R = (~r
1
~r
2
~r
3
) de 33-matrix waarvan ~r
1 , ~r
2 en ~r
3
de respectievelijke kolommen
zijn. De projectievergelijkingen voorde tweede camera zijndus
2 p
2
=K
2 R
t
(P C) : (6)
Met dezeformuleter beschikkingkanmen nu de epipolairerelatietussen twee beelden
van eenzelfde scene a eiden. Beschouw dus een (willekeurig) punt p
1
in het eerste beeld.
p
1
is dan de projectievan een puntP in de scene; en, volgens formule(5)moet
1 p
1
=K
1
P voor een welbepaald (positief)reeelgetal
1
(7)
en met K
1
de calibratiematrix van de eerste camera. P hieruit oplossen, geeft P =
1 K
1
1 p
1
. Merk op dat deze laatste vergelijking een stel parametervergelijkingen voor
de projecterende rechte L van p
1
in de eerste camera geeft. Volgens formule (6) is de
projectie vanP inhet tweede beeld bepaalddoor
2 p
2
= K
2 R
t
(P C)
= K
2 R
t
(
1 K
1
1 p
1 C)
=
1 K
2 R
t
K 1
1 p
1 + K
2 R
t
(O C) : (8)
De laatste term in vergelijking (8) heeft precies dezelfde vorm als het rechterlid van de
projectievergelijkingen (6) vande tweede camera en geeftbijgevolgde projectiee
2
vande
oorsprong O vanhet wereldassenstelsel inhet tweede beeld:
e e
2
=K
2 R
t
(O C) met
e
een (positief) reeel getal. (9)
Maar het wereldassenstelsel is het camera-gecentreerd assenstelsel van de eerste camera.
De oorsprong vanditassenstelsel is dus het projectiecentrum van de eerste camera,zodat
e
2
dus de projectievande positie vande eerstecamerainhet tweedebeeldis. Metandere
woorden, e
2
duidt de positie in het tweede beeld aan waar men de eerste camera in de
scene ziet staan. Dit punt e
2
noemt men de epipool van de eerste camera in het tweede
beeld. Stel verder A=K
2 R
t
K 1
1
. Danis Aeen inverteerbare33-matrixdiede relatieve
orientatie en de calibratiegegevens van de beide camera's bevat. Vergelijking (8)kandan
herschreven worden als
2 p
2
=
1 Ap
1 +
e e
2
: (10)
Deze laatste vergelijking drukt algebra
sch uit dat p
2
op de rechte door de epipool e
2 en
het punt Ap
1
in het tweede beeld ligt (zie ook Figuur 5 (rechts)). Ap
1
is het vluchtpunt
inhet tweede beeld van de projecterende rechte van p
1
(en dus ook vanP) voorde eerste
camera. Herinnerudat de epipolairerechtevanp
1
inhettweedebeeldmeetkundig gezien
de snijlijn is van het tweede beeldvlak met het vlak door de projecterende rechte L van
p
1
en het projectiecentrum Cvan de tweede camera. Dit laatste vlak bevatechter ook de
P
u p
v
Z
Y
X 0
C r r 3
r 2 1
l 2
O P
p A
p
2 2
e e 1
1 p
1
C
Figuur5: Links: De positieen de orientatie van een tweede camera in de sceneis volledig
bepaald door een positievector C en een 33-rotatiematrix R t.o.v. het wereldassenstelsel.
Rechts: Deprojectie p
2
vanhetscenepuntPin hettweedebeeldligtop derechte`
2
doorde
epipoole
2
enhetvluchtpuntAp
1
vande projecterenderechtevanp
1
voor deeerstecamera.
rechte OC | diehet tweede beeldvlak snijdtin de epipool e
2
| en de rechte door C en
p | die evenwijdig is met de projecterende rechte L van p
1
. Vergelijking (10) zegt dus
niets anders dan dat de epipolaire rechte `
2
in het tweede beeld die correspondeert met het
punt p
1
in het eerste beeldprecies de rechte door de epipool e
2
en het vluchtpunt Ap
1 van
de projecterende rechte L van p
1
is. Eigenschap 1 hieronder drukt dit verband eleganter
uit.
Denitie 1.ZijI
1 en I
2
tweebeeldenvandezelfdescene. Tweepuntenp
1 2I
1 enp
2 2I
2
heten corresponderende punten van het beeldenpaar fI
1
; I
2
g als en slechts als p
1 en p
2
de projecties zijn in respectievelijk I
1 en I
2
van een en hetzelfde punt P in de scene.
Eigenschap 1 (epipolaire relatie). ZijI
1 en I
2
twee beeldenvan dezelfde scene. Voor
elk paar corresponderende punten p
1 2I
1 en p
2 2I
2
geldt de volgende relatie:
p t
2 F p
1
=0 ; (11)
waarbij F =[e
2 ]
A een reele 33-matrix met rang 2 is die men de fundamentele matrix
van het beeldenpaar fI
1
; I
2
g noemt.
Bewijs. Herinner u dat p
1 , p
2 en e
2
reele drietallen zijn die de pixelcoordinaten van
de gelijknamige beeldpunten bevatten. Bijgevolg kunnen met p
1 , p
2 en e
2
alle gekende
vergelijking (10) het vectorieelproduct met e
2
. Daar e
2
e
2
=O, volgt dat
2 e
2
p
2
=
1 e
2
Ap
1 :
Aangezien e
2
p
2
een vector in IR 3
is die loodrecht staat op e
2
en ook op p
2
, moet het
scalair product van deze vector met p
2
gelijk aan 0 zijn. Van beide leden in de vorige
vergelijking het scalair product met p
2
nemen,geeft dus
1 p
t
2 (e
2
Ap
1 )=
2 p
t
2 (e
2
p
2 )=
2 p
2
(e
2
p
2
)=0 ;
of, daar
1
>0,
p t
2 (e
2
Ap
1
)=0 :
Omdeuitdrukking(11)vandeeigenschapteverkrijgen,herschrijftmenhetlinkerlidvande
bovenstaandevergelijkingopdevolgendemanier: e
2
isvandevorme
2
=(x
e
;y
e
;1) t
2IR 3
.
Veronderstel nueven dat Ap
1
=(a
1
;a
2
;a
3 )
t
2IR 3
. Dan is
e
2
Ap
1
= 0
B
@ y
e a
3 1a
2
x
e a
3 + 1a
1
x
e a
2 y
e a
1 1
C
A= 0
B
@
0 1 y
e
1 0 x
e
y
e x
e 0
1
C
A 0
B
@ a
1
a
2
a
3 1
C
A=[e
2 ]
Ap
1
;
waarbij[e
2 ]
de 33-matrix
[e
2 ]
= 0
B
@
0 1 y
e
1 0 x
e
y
e x
e 0
1
C
A
is. Dit bewijsde eigenschap. 2
Gevolg 1. Zij I
1 en I
2
twee beelden van dezelfde scene en zij F de fundamentelematrix
van dit beeldenpaar. Voor elk punt p
1
van I
1
heeft de epipolaire rechte `
2 in I
2
die het
corresponderende beeldpunt p
2
bevat als vergelijking ax+by+c=0 , waarbij
(a;b;c) t
=Fp
1
. 2
Gevolg 2. Zij I
1 en I
2
twee beelden van dezelfde scene. De fundamentele matrix F van
het beeldenpaar fI
1
; I
2
g kan op een constante factor na berekend worden uit de gegeven
beeldenindiende pixelcoordinatenvanten minste8corresponderendepuntenparenp
1 2I
1
en p
2 2I
2
gekend zijn.
Bewijs. Verondersteldatp
1
=(x
1
;y
1
;1) t
endatp
2
=(x
2
;y
2
;1) t
corresponderendepunten
van respectievelijk I
1 en I
2
zijn. Noteer verder de componenten van F met f
ij
. Dan is
p
2 t
F p
1
=f
11 x
1 x
2 +f
12 y
1 x
2 +f
13 x
2 +f
21 x
1 y
2 +f
22 y
1 y
2 +f
23 y
2 +f
31 x
1 +f
32 y
1 +f
33 :
Alsdusp
1
=(x
1
;y
1
;1) t
enp
2
=(x
2
;y
2
;1) t
gekendzijn,dangevendebovenstaandeformule
en vergelijking (11) samen een lineaire vergelijking in de componenten f
ij
van de funda-
mentelematrixF. 8parenvancorresponderendepuntenp
1 en p
2
geven dusaanleidingtot
1 2
langsheende overeenkomstigeepipolaire rechte in het rechterbeelddoor het grijswaardenpa-
troon in de omgeving van dat punt te vergelijken.
een homogeen stelsel van 8lineaire vergelijkingen inde 9onbekende componenten f
ij van
F. Daar ditstelsel homogeen is, kunnen de f
ij
slechts opeen constante factor na bepaald
worden uitde beelden alleen. 2
Dit laatste gevolg is een belangrijke stap voorwaarts naar onze doelstelling, namelijk
een 3-dimensionale reconstructie van de scene berekenen op basis van (alleen maar) de
gegeven beelden. Het gevolg geeft immers aan hoe je de fundamentele matrix van een
beeldenpaar kanbepalenuitde beeldenzelf. De 8corresponderendepuntenparen diehier-
voor nodigzijn, kunnen automatischdoor de computer gevonden worden met behulp van
correspondentie-algoritmen of ze kunnen manueel ingegeven worden. Eens de fundamen-
tele matrix F bepaald, geeft Gevolg 1 voor elk punt p
1
in het ene beeld de vergelijking
van de overeenkomstige epipolaire rechtein het anderebeeld. De computer zoekt dan het
corresponderende punt p
2
door het punt q op deze epipolaire rechte te zoeken waarvoor
het grijswaarden- (of kleur-)patroon in de omgeving van q de meeste gelijkenis vertoont
met het grijswaarden- (of kleur-)patroon in de omgeving van p
1
in het eerste beeld (cf.
Figuur 6). Op die manier bepaalt de computer voor (bijna) alle punten p
1
in het ene
beeld het corresponderende punt p
2
in het andere beeld. In de volgende paragraaf zullen
wij onderzoeken hoe men uit die corresponderende puntenparen de coordinaten van het
onderliggende scenepunt P kan berekenen. De fundamentele matrix F zal ook hier een
crucialerol spelen.
Maareerstwillenwijnogevendekrachtvandevorigegevolgenillustreren. Veronderstel
dat je twee beelden I
1 en I
2
van dezelfde scene ter beschikking hebt. Je kan dan de
vraag stellen wat die twee beelden je vertellen over een mogelijk derde beeld I
3
. Welnu,
verondersteldatjedefundamentelematricesF
13 enF
23
vanrespectievelijkheteersteenhet
tweede naarhet derdebeeldkent(bv. omdatjeminstens8correspondendepuntenmethet
1 1 2 2
eerstetwee beelden. Hetpuntp
3
inhet derdebeelddat deprojectievanhetonderliggende
scenepunt P in I
3
is, moet enerzijds op de epipolaire rechte `
1
van p
1 in I
3
liggen en
anderzijds ook op de epipolaire rechte `
2
van p
2 in I
3
. Met andere woorden, p
3
is het
snijpunt vande epipolaire rechten `
1 en `
2
inhet derde beeld. Indien de pixelcoordinaten
van p
1 en p
2
en de fundamentele matrices F
13 en F
23
gekend zijn, dan zegt Gevolg 1 dat
de coeÆcienten in de vergelijking van `
1
gegeven worden door F
13 p
1
en die van `
2 door
F
23 p
1
. Dus, als F
13 en F
23
gekend zijn, dan kan men voor elk paar corresponderende
punten p
1 2 I
1 en p
2 2 I
2
de vergelijking van hun epipolaire rechten in het derde beeld
berekenen; en, hetsnijpuntvandietwee rechten isdan het overeenkomstigepuntp
3 inI
3 .
In formules geeft ditde volgende eigenschap.
Eigenschap 2. Zij I
1 , I
2 en I
3
drie beelden van dezelfde scene. Als de fundamentele
matrices F
13 en F
23
van respectievelijk I
1 en I
2
met I
3
gekend zijn, dan kan voor elk paar
corresponderendepunten p
1 2I
1 en p
2 2I
2
hetstel pixelcoordinaten van hetovereenkom-
stige punt p
3 in I
3
berekend worden met de formule:
p
3
=F
13 p
1
F
23 p
2
waarbij 2IR een evenredigheidsfactoris die door de vergelijking zelf bepaald wordt.
Bewijs. Wegens Gevolg 1 is de vergelijking van de epipolaire rechte `
1
van p
1 in I
3
gegeven doora
1 x+b
1 y+c
1
=0 met (a
1
;b
1
;c
1 )
t
=F
13 p
1
. En, wegens hetzelfde gevolg, is
de vergelijking van de epipolaire rechte `
2
van p
2 in I
3
gegeven door a
2 x+b
2 y+c
2
= 0
met (a
2
;b
2
;c
2 )
t
= F
23 p
2
. Het stel coordinaten (x;y;1) t
2 IR 3
van het snijpunt p
3 van `
1
en `
2
isdan een oplossingvan het stelsel
(
a
1 x+b
1 y+c
1
=0
a
2 x+b
2 y+c
2
=0
De eerste vergelijking kanin matrixvorm geschreven worden als
0=a
1 x+b
1 y+c
1
=
a
1 b
1 c
1
0
B
@ x
y
1 1
C
A=a t
1 p
3
=a
1
p
3
;
waarbija
1
=(a
1
;b
1
;c
1 )
t
2IR 3
is. Detweedevergelijkingkanopdezelfdemaniergeschreven
worden als
a
2
p
3
=0 met a
2
=(a
2
;b
2
;c
2 )
t
2IR 3
.
Maar dit betekent dat de kolomvector p
3
loodrecht staat op zowel het reele drietal a
1
als a
2
. Bijgevolg moet p
3
een scalair veelvoud zijn van het vectorieel product a
1
a
2
=
F
13 p
1
F
23 p
2
, namelijk p
3
=F
13 p
1
F
23 p
2
voor een bepaalde 2IR . Daar de derde
coordinaatvanp
3
gelijkisaan1,isdeevenredigheidsfactorgelijkaandederdecoordinaat
van het drietalF
13 p
1
F
23 p
2
. Dit bewijst de eigenschap. 2
beelden m.b.v. Eigenschap2.
Eigenschap 2 beweert dus dat, wanneer de fundamentele matrices F
13 en F
23
gekend
zijn(bv. doorde positievan8punten inhet derdebeeld aan teduiden), dat mendan het
derdebeeldI
3
volledigkanreconstruerenuitdetweegegevenbeeldenI
1 enI
2
vandescene.
Figuur7bewijstdezebewering: Opdebovensterijstaantwee echtebeeldenvaneenbuste.
Deondersterijtoontzesandere,kunstmatige beeldendieopbasisvandetweeechtebeelden
door de computer berekend werden. Uiteraard kan de computer alleen maar de projectie
in het derde beeld bepalen van scenepunten die in de twee gegeven beelden zichtbaar
zijn. Dit verklaart waaromde linkerhelftvande busteniet volledig gereconstrueerdwerd.
Bemerkdat de kunstmatiggegenereerde beeldenzeer realistischzijnzolangmen nietmeer
dan 30 Æ
van de oorspronkelijke kijkrichting van de twee gegeven beelden afwijkt. Deze
kennis opentheel wat nieuwe mogelijkheden vooreÆciente beeldcompressie voorstockage
en transmissie vanbeeldmateriaalbij internettoepassingen en videofonie: Twee beelden en
de pixelcoordinatenvan 8 beeldpuntenvolstaan om een nieuw zicht vanuit een willekeurige
kijkrichting van de scene te genereren!
4. 3-Dimensionale reconstructie uit meerdere beelden.
De conclusievande vorige paragraafbevestigthet vermoedendat de 3-dimensionalevorm
van een scene impliciet vervat zit in twee beelden van die scene en de bijbehorende fun-
damentele matrix. Laten wij nuonderzoeken hoe deze3-dimensionaleinformatie expliciet
gemaakt kanworden.
Wiskundig gezien, vertaalt het 3D-reconstructieprobleem zich als volgt: Gegeven twee
beeldenI
1 enI
2
vaneenzelfdescene. Bepaalvoorelkpaarcorresponderendepuntenp
1 2I
1
en p
2 2I
2
hetstel coordinaten van hetpunt P in de scene waarvanp
1 en p
2
de projecties
inderespectievelijkebeeldenzijn. Indevorigeparagraafwerdhetwiskundigverbandtussen
het stel coordinaten van het scenepunt P en de pixelcoordinaten van de beeldpunten p
1
en p
2
afgeleid. Volgens vergelijking (7) is
P=
1 K
1
1 p
1
1 1
van de eerste camera. Het reconstructieprobleem zal dus opgelost zijn, indien men
1
en K
1
kan bepalen. De matrix K
1
bevat uitsluitend technische gegevens betreende de
eerste camera (cf. x2) en heeft niets temaken met de 3-dimensionale vorm van de scene.
Laat ons daarom even veronderstellen dat de calibratiematrix K
1
gekend is (bv. omdat
mende calibratiegegevensvandecameraovergenomen heeft uitde technische che vande
camera). OpheteindevandezeparagraafzullenwijziendatK
1
ookuitde beeldinformatie
kan afgeleid worden. Als K
1
gekend is, dan maakt het niets uit of men nu rechtstreeks P
berekent dan wel of men eerst
^
P =K
1
P bepaalt en vervolgens hieruit P oplost met P=
K 1
1
^
P. De laatsteoptie iswiskundigechter eleganter, omdatde projectievergelijkingen(7)
van de eerste camera zich vertalenin
^
P=K
1 P=
1 p
1 :
Metandere woorden,de reconstructie
^
Pvan het scenepunt Pkan directberekend worden
uit de pixelcoordinaten van het beeldpunt p
1
op voorwaarde dat men ook nog het reeel
getal
1
kanbepalen. Welnu,de a eidingvande epipolairerelatie tussende beelden I
1 en
I
2
inx3 isgebaseerd opvergelijking (10), namelijk
2 p
2
=
1 Ap
1 +
e e
2
; (12)
waarbij
1 ,
2 en
e
de (onbekende) evenredigheidsfactoren voorde beeldpunten p
1 en p
2
en de epipool e
2
zijn en waarbije
2
en A volgens Eigenschap 1 de fundamentele matrix F
denieren.
1
kan uit deze vergelijking opgelost worden, zoals aangegeven in de volgende
eigenschap.
Eigenschap 3. Zij I
1 en I
2
twee beelden van dezelfde scene; en, zij A en e
2
zoals in
Eigenschap 1. Dan wordt voor elk paar corresponderende punten p
1 2 I
1 en p
2 2 I
2 de
3-dimensionale reconstructie
^
P = K
1
P van het onderliggende scenepunt P bepaald door
^
P=
1 p
1
waarbij
1
=
e (p
2
Ap
1 ) (e
2
p
2 )
(p
2
Ap
1 ) (p
2
Ap
1 )
(13)
met
e
een positieve constante.
Bewijs. Neem van de beide leden van vergelijking (12) het vectorieel product met p
2 .
Daar p
2
p
2
=O, volgt dat
O=
1 p
2
Ap
1 +
e p
2
e
2 :
Gebruik makend van het feit dat p
2
e
2
= e
2
p
2
kan deze laatste vergelijking her-
schreven worden als
1 p
2
Ap
1
=
e e
2
p
2 :
Vanbeide leden vandeze vergelijking het scalairproduct met p
2
Ap
1
nemen,geeftdan
1 (p
2
Ap
1 ) (p
2
Ap
1 )=
e (p
2
Ap
1 ) (e
2
p
2 ) :
De reconstructie
^
Pvanhet scenepuntPkannumetbehulpvanEigenschap 3berekend
wordenuitdeprojecties p
1 enp
2
vanPindebeeldenI
1 enI
2
. Omformule(13)tekunnen
gebruiken, moetmen echter het reeel getal
e
, de epipoole
2
en de 33-matrix A kennen.
Hetreeelgetal
e
isgeassocieerdmetdeepipolee
2
inhettweedebeeld(cf. vergelijking(9))
en is dus volledig onafhankelijk van de beeldpunten p
1 en p
2
en het scenepunt P.
e kan
dus beschouwd worden als een (positieve) constante in het 3-dimensionale model van de
scene. Een andere waarde kiezen voor
e
impliceertdat het 3-dimensionaal modelvan de
scene met een welbepaalde factor vergroot of verkleint.
e
bepaalt dus de schaal van de
reconstructie. Vermits
e
niet uit de beeldinformatie alleen kan afgeleid worden, kan men
ook de absolute schaal van de scene niet bepalen aande handvan de beeldenalleen. Dit is
intutiefduidelijk,wantindienmendescene2keerzogrootzoumaken,entegelijkertijdook
de camera's 2keerzoveruitelkaar en 2keerzoververwijderdvande scenezou opstellen,
dan zou men toch identiek dezelfde beelden van de scene verkrijgen als voordien. Deze
vaststellingwordtregelmatiggebruiktvoorvisueleeectenentruckagesindelmindustrie.
De andere, niet-beeld-componenten in formule (13) zijn de epipool e
2
en de 33-
matrix A. Maar dit zijn net ook de componenten waaruit, volgens Eigenschap 1, de fun-
damentele matrixF vanhet beeldenpaar fI
1
; I
2
gopgebouwdis. F kanvolgens Gevolg2
rechtstreeks uitde beelden berekend worden. Indien mendus F opeen unieke manierzou
kunnen ontbinden in F = [e
2 ]
A, dan zou het reconstructieprobleem opgelost zijn. De
volgendeeigenschap leert echter dat dit niet zoeenvoudig is.
Eigenschap 4. Zij I
1 en I
2
twee beelden van dezelfde scene; en, zij F de fundamentele
matrix van het beeldenpaar fI
1
; I
2 g.
(a) De (pixelcoordinaten van de) epipool e
2
in het tweede beeld I
2
worden gevonden als
de unieke oplossingvan het homogeen stelsel F t
e
2
=O, met laatste coordinaat gelijk
aan 1.
(b) De inverteerbare 33-matrix A uit Eigenschap 1, waarvoor F = [e
2 ]
A is van de
vorm
A=[e
2 ]
F +e
2 a
t
; (14)
met a2IR 3
een reeel drietal.
Bewijs.
(a) Schrijf e
2 alse
2
=(x
e
;y
e
;1) t
2IR 3
. Herinneru uithet bewijsvan Eigenschap 1 dat
[e
2 ]
= 0
B
@
0 1 y
e
1 0 x
e
y
e x
e 0
1
C
A :
Het is nu eenvoudig na te rekenen dat e t
2 [e
2 ]
= O t
. Bewering (a) volgt dus uit
het feit dat F =[e
2 ]
A.
(b) HetiseenvoudignaterekenendatA=[e
2 ]
F een33-matrixiswaarvoor[e
2 ]
A=
F. Bewering (b)volgtnuonmiddellijk uitde volgende observatie:
[e
2 ]
A
1
=[e
2 ]
A
2
alsen slechts als A
1
=A
2 +e
2 a
t
voor een zekere a2IR 3
,
watmenalsvolgtbewijst: [e
2 ]
A
1
=[e
2 ]
A
2
alsenslechtsals [e
2 ]
(A
1 A
2 )=
O
3
. Noteerde jde kolom vanA
1 A
2
metk
j
. Dejde kolomvanhetmatrixproduct
[e
2 ]
(A
1 A
2
) isdan gelijk aan [e
2 ]
k
j
=e
2
k
j
, per denitievan [e
2 ]
. Daar
[e
2 ]
(A
1 A
2
) = O
3
, volgt dat e
2
k
j
= O voor elke j. Maar dan moet k
j een
scalair veelvoud vane
2
zijn;d.w.z. k
j
=a
j e
2
vooreen zekere a
j
2IR . Bijgevolgis
A
1 A
2
= h
k
1 k
2 k
3 i
= h
a
1 e
2 a
2 e
2 a
3 e
2 i
=e
2 h
a
1 a
2 a
3 i
=e
2 a
t
vooreen zekere a=(a
1
;a
2
;a
3 )
t
2IR 3
. 2
Eigenschap 4 toont aan dat de matrix A die nodig is voor de berekening van de 3-
dimensionale reconstructie van de scene, slechts op 3 onbekende parameters na uit twee
beelden van de scene bepaald kan worden. Met anderewoorden,iedere keuze van a2IR 3
die de 33-matrix [e
2 ]
F +e
2 a
t
inverteerbaar maakt, is een mogelijke kandidaat voor
de matrix A en geeft aanleiding tot een (verschillende) 3-dimensionale reconstructie van
de scene via Eigenschap 3. Al deze reconstructies verschillen van elkaar en van de scene
door een projectieve transformatie. Ruwweg gezegd, betekent dit dat in een dergelijke re-
constructiealleenmaarde meetkundigebeperkingenvancollineariteiten vancoplanariteit
van punten in de scene bewaard gebleven zijn, maar dat alle andere meetkundige eigen-
schappen van de scene zoals evenwijdigheid en de onderlinge verhoudingenvanlengtenen
hoeken volledig verloren gegaan zijn. Anders gezegd, punten die in de scene op een be-
paalde rechteliggen, zullen ook inelke reconstructie van de scene op de reconstructie van
diebepaalderechte liggen,en allepunten die inde scene ineen bepaaldvlak liggen zullen
ook in elke reconstructie van de scene in de reconstructie van dat vlak liggen, maar alle
anderemeetkundige relatiestussende punten inde scene geldennietnoodzakelijkmeer in
de reconstructie.
Om een \nauwkeuriger" reconstructie van de scene te verkrijgen, zal men dus bijko-
mende eisen moeten opleggen. Welnu, in de praktijk worden de beelden van de scene
meestalopgenomen met dezelfde camera. Hetis dus niet onrealistisch omteveronderstel-
len dat de interne cameraparameters tussen de opnamen door niet gewijzigd zijn; of, met
anderewoorden,datK
1
=K
2
. NoteerdezegemeenschappelijkecameramatrixmetK. Her-
inneruuitx3datA=K
2 R
t
K 1
1
metRde33-rotatiematrixdiederelatieveorientatievan
detweedecamerat.o.v. deeersteweergeeft. WanneerK
1
=K
2
=K,danisA =KR t
K 1
of, anders gezegd, de matrix A is gelijkvormig met een rotatiematrix. De voorwaarde dat
de beelden opgenomen moeten zijn met dezelfde camera (of met twee identieke camera's)
levert dus een bijkomendeeis op voor de matrix A. Deze eis is echter niet voldoende om
A eenduidigte bepalen. Maar met behulp vanmeer gevorderde technieken uitde lineaire
Figuur 8: Een kubus in de scene (a) kan uit twee beelden slechts gereconstrueerd worden
alseen willekeurigzesvlak (b). Uit driebeeldenopgenomen met dezelfdecamera vindtmen
een kubus (d), maar de zijde van de scenekubus kan niet uit de beeldinformatie bepaald
worden. De intermediaire reconstrucie
^
P levert echter een parallellepipedum(c) op.
algebraen dealgebra
sche meetkunde ishetniet zomoeilijkomaantetonendat hetcom-
ponentena
1 ,a
2 en a
3
vanhet drietala=(a
1
; a
2
; a
3 )2IR
3
waarvoor[e
2 ]
F+e
2 a
t
=A
aan een veeltermvergelijking van de 4de graad voldoen. Wanneer er dus drie beelden I
1 ,
I
2 en I
3
vande scene beschikbaar zijn,die allenopgenomen werden met dezelfde camera,
dan geeft elke beeldenpaar fI
1
; I
2 g, fI
1
; I
3
g en fI
2
; I
3
g aanleiding tot een (andere)
4de-graadsvergelijkingina
1 ,a
2 en a
3
. Dezedrie veeltermvergelijkingenhebben slechtseen
eindig aantal gemeenschappelijke oplossingen. Elke oplossing a =(a
1
;a
2
;a
3
) geeft dan
met behulp van Eigenschappen 3en 4 aanleidingtot een3-dimensionalereconstructie van
de scene. Een eenvoudige visuele inspectie van de verkregen modellen volstaat nu om de
correcte reconstructie van de scene te identiceren. Meer nog, wanneer er meer dan drie
beelden van de scene, opgenomen met dezelfde camera, beschikbaar zijn, dan is het reele
drietal a uniek bepaald door de 4de-graadsvergelijkingen verkregen uitalle beeldenparen,
zodat de correcte reconstructie van de scene onmiddellijk wordt gevonden. Het feit dat
K een bovendriehoeksmatrix is, maakt het bovendien ook mogelijk om, met behulp van
gevorderde technieken uit de lineaire algebra, de calibratiematrix K te berekenen uit de
relatie A=KR t
K 1
. Samen geeftdit de volgendestelling.
Stelling 1. De ruimtelijke struktuur van de scene kan (op een gelijkvormigheid na) ge-
reconstrueerd worden uit puntcorrespondenties tussen (minstens) 3 beelden van de scene
die opgenomen werden met een camera waarvan de interne cameraparameters tussen de
opnamen door ongewijzigd gebleven zijn.
5 Enkele praktische toepassingen.
De mogelijkheid om automatisch nauwkeurige 3-dimensionale computermodellen van be-
staande voorwerpen en omgevingen tegenereren uiteen aantal beelden ervan, zoals in de
vorige paragrafen werd beschreven, opent nieuwe perspectieven in verschillende toepas-
singsgebieden. Indeze paragraafbespreken wij enkelebeloftevollenieuwe toepassingendie
Leuven met deze technologieontwikkeld werden.
5.1 . Computermodellen van historische en archeologische sites
voor archivering en conservatie.
Figuur 9: Boven: Enkele foto's van een Ja
n-tempel te Ranakpur (India). Onder: De
3-dimensionale reconstructie (links) en enkele details van het model.
Wegens het destructieve karakter van archeologische opgravingen en van restauratie-
procedures bij de conservering van historische monumenten, is het uitermate belangrijk
voorlaterestudies omzeernauwkeurige rapportenvanelk stadiumvanhet opgravings-of
conservatieproces tehebben. Immers, omhetleven opeen historische site ineen bepaalde
tijdtekunnenreconstrueren, moetmen nietalleenzeer zorgvuldigde gevondenartefacten
bestuderen,maarheelwatbelangrijkeinformatievaltookafteleidenuitdeprecieze plaats
en de volgorde waarin deze voorwerpen op de site gevonden werden. Daarom worden de
exacte vindplaatsen en de preciese afmetingenvande blootgelegdestructuren nauwkeurig
opgemeten en gedocumenteerd met fotograsch materiaal en met topograsche kaarten.
Dit is echter een arbeidsintensieve en tijdrovende aangelegenheid. Daarom is men recent
metexperimentengestartomhetnutvan3-dimensionalesite-modellenencomputermodel-
len van artefacten, gegenereerd uit foto's en video-opnamen met de hierboven beschreven
met een translerende camera, en twee aanzichten van het gereconstrueerde gezichtsmodel.
methode, voordergelijke doeleindenteevalueren. Figuur9toontbovenaandrie foto'svan
de historische Ja
n-tempel van Ranakpur(India), die opgenomen werden met een pocket-
camera. Onderaanindezelfdeguurwordtlinksdeberekende3-dimensionalereconstructie
en vervolgens enkele detail-beelden vanhet modelvanuiteen kijkrichting dievolledigver-
schiltvande origineleopnamen.
5.2 . Gezichtsmodellen voor lmanimatie en forensische toepas-
singen.
Een van de grootste uitdagingen in lmanimatie en speciale eecten bestaat in het mo-
delleren van het menselijk gelaat. Daar men personen het gemakkelijkst herkent aan hun
gelaat, zal een menselijke waarnemer onmiddellijk de tekortkomingen aan een kunstma-
tiggezichtsmodel opmerken. De hierboven uitgelegde methode voorzietin een eenvoudige
oplossing om 3-dimensionale snapshots van bestaande personen in een virtuele omgeving
te genereren en de discrepanties tussen het computermodel en de realiteit zo klein moge-
lijkte houden. In de gecontroleerde omstandigheden vaneen lmstudio kan de procedure
zelfsnog vereenvoudigd worden doorde camerabeweging tecontroleren. Inderdaad, alsde
camera een eenvoudige verschuiving ondergaat tussen de twee opnamen door (of wanneer
men een stereo-opstelling gebruikt), dan is de rotatiematrix R in formule (6) gelijk aan
de eenheidsmatrix I
3
en wordt A = KRK 1
= I
3
. De expliciete kennis van de matrix
A in ditgeval laattoe om, met behulp vanEigenschap 3, rechtstreeks een 3-dimensionale
reconstructie te berekenen uit slechts twee beelden. Figuur 10(links)toonteen beeld van
een stereopaar bestaande uit twee frontale foto's van een persoon, opgenomen met een
translerende camera. Dezelfde guur (midden en rechts) toont ook twee aanzichten van
het 3-dimensionaalgezichtsmodeldatuitdezefoto'sberekend werd. Recentelijk werdener
doorinternationalepolitiediensteneenreeksexperimentenopgezetomhetmogelijknutvan
dergelijke3-dimensionalegezichtsmodellenbij het herkennenvanmisdadigersdoor slacht-
oersen getuigen teondersteunen en tevergemakkelijken. Dergelijkemodellen geven veel
Eyetronics n.v.
Figuur 11: Boven: Enkele frames uit een videosequentie van een persoon die grimassen
maakt. Onder: Een geanimeerde dynamische 3D reconstructie van de videosequentie.
meer exibiliteitin kijkrichting dan de traditionele voor-en zij-aanzichten vancriminelen
in de huidige politiebestanden.
Maar wanneer men toch onder gecontroleerde omstandigheden werkt, dan kan men
nog een stapje verder gaan en een 3-dimensionaal model genereren uit slechts een foto.
De onderliggende gedachte is de volgende: vervang de eerste camera door een diaprojec-
tor die een jn rasterpatroon projecteert op het voorwerp dat je wil reconstrueren; en,
neem een foto van het voorwerp met het geprojecteerde patroon. De dia in de projector
enerzijds en de foto van het voorwerp met het geprojecteerde patroon anderzijds vormen
samen een beeldenpaar waaruit een 3-dimensionalereconstructie van het ophet voorwerp
geprojecteerde patroon kan berekend worden Dit 3-dimensionaal grid is een goede bena-
dering van het oppervlak van het voorwerp. Doorde textuur van het voorwerp tussen de
rasterlijnen uit de foto te lteren en te projecteren op het model, verkrijgt men een zeer
realistische reconstructie van het voorwerp in kwestie. Meer nog, daar men op diemanier
een 3-dimensionaalmodel van een voorwerp kan genereren uit slechts een beeld (met het
geprojecteerde rasterpatroon), kan met een 3-dimensionale \video" maken. Inderdaad,
door elk framevaneen videosequentie in 3D te reconstrueren, en deze reconstructies snel
naelkaar tetonenvanuitdekijkrichtingaangeduiddoordetoeschouwer, verkrijgtmeneen
dynamische 3-dimensionale reconstructie van de videosequentie. Dergelijke dynamische,
3-dimensionalereconstructies kunnendan verder geanimeerdwordenomallerleivisueleef-
fectentegenereren. Figuur11toontbovenaanenkeleframesuiteenvideosequentievaneen
persoondieeen grimastrekt(methetrasteropzijngelaatgeprojecteerd). Onderaaninde-
zelfdeguurwordenerenkeleframesuiteengeanimeerdedynamische 3Dreconstructie van
dieopnamegetoond. DezetechniekwordtonderpatentgeexploiteerddoorEyetronicsn.v..