zodanig dat kAx − bk minimaal is, waarbij
A = x1 1 x2 1 .. . ... xn 1 en b = y1 y2 .. . yn .
Deze procedure heet de methode van kleinste kwadraten.
Orthogonale en unitaire afbeeldingen.
Definitie: Een complexe n × n-matrix U waarvoor geldt dat U∗U = In, heet een unitaire matrix. Een re¨ele n × n-matrix Q waarvoor geldt dat QTQ = In heet een orthogonale matrix.
Propositie 4.8: De volgende beweringen zijn equivalent: i. U is een unitaire (resp. orthogonale) matrix.
ii. De kolomvectoren van U vormen een orthonormaal stelsel in Cn (resp. Rn). iii. De rijvectoren van U vormen een orthonormaal stelsel in Cn (resp. Rn).
Bewijs: De equivalentie van (i) en (ii) volgt direct omdat U∗U de Gram-matrix is van de
kolomvec-toren van A. De equivalentie van (i) en (iii) volgt uit het feit dat UT unitair (resp. orthogonaal) is als U unitair (resp. orthogonaal) is. Dit laatste volgt uit (UT)∗= (U∗)T = (U−1)T = (UT)−1.¦
Definitie: Laat V een complexe (resp. re¨ele) vectorruimte zijn met een inwendig product. Een
lineaire afbeelding T ∈ L(V ) heet unitair (resp. orthogonaal) als T∗T = idV.
Opmerking: Uit Propositie 4.4 volgt onmiddellijk voor het geval dat V een eindig-dimensionale
vectorruimte is, dat T unitair resp. orthogonaal is dan en slechts dan als de matrix van T t.o.v. een orthonormale basis van V een unitaire resp. een orthogonale matrix is.
Propositie 4.9: Laat V een complexe (resp. re¨ele) eindig-dimensionale vectorruimte met inwendig product zijn. De volgende beweringen zijn equivalent:
i. T ∈ V is unitair (resp. orthogonaal). ii. kT xk = kxk voor alle x ∈ V .
iii. (T x, T y) = (x, y) voor alle x, y ∈ V .
Bewijs: (i.⇒ ii.) Laat x ∈ V . Dan
kT xk2= (T x, T x) = (x, T∗T x) = (x, x) = kxk2.
(ii.⇒ iii.) Laat x, y ∈ V en λ ∈ C. Dan volgt uit
(T (x + λy), T (x + λy)) = (x + λy, x + λy) dat
(T x, T x) + 2Re λ(T x, T y) + |λ|2(T y, T y) = (x, x) + 2Re λ(x, y) + |λ|2(y, y) dat
Re λ(T x, T y) = Re λ(x, y) voor λ ∈ C. Door λ = 1, resp. λ = −i te kiezen, vinden we dat
Re (T x, T y) = Re (x, y) en Im (T x, T y) = Im (x, y).
(iii.⇒ i.) Uit (T x, T y) = (x, y) volgt dat (x, T∗T y) = (x, y), en dus (x, T∗T y − y) = 0 voor alle x, y ∈ V . Maar dan is T∗T = idV. ¦
Voorbeeld. Laat V een eindig-dimensionale vectorruimte zijn met een inproduct en W een lineaire
deelruimte. PW : V → V is de orthogonale projectie op W . Laat SW = 2Pw− idV. Dan is
SW = S∗
W en S2
W = idV. SW is dus hermites en unitair (resp. orthogonaal). SW heet een orthogonale spiegeling in W .
We leiden een spectraalstelling af voor unitaire en orthogonale afbeeldingen.
Stelling 4.10: Zij V een complexe vectorruimte van eindige dimensie met inproduct en T : V → V een unitaire afbeelding. Dan geldt:
a. Elke eigenwaarde van T heeft modulus 1.
b. Eigenvectoren behorende bij verschillende eigenwaarden van T zijn orthogonaal.
c. Zij W een lineaire deelruimte van W die invariant is onder T , d.w.z. T (W ) ⊂ W . Dan is W⊥
invariant onder T .
d. T heeft een orthonormale basis van eigenvectoren.
Bewijs:
a. Zij T x = λx voor x 6= 0. Dan is kxk = kT xk = |λ|kxk, dus |λ| = 1. b. Zij T x = λx en T y = µy. Dan is
(x, y) = (T x, T y) = λµ(x, y).
Als λ en µ verschillende eigenwaarden van T zijn, dan is λµ 6= 1 en dus (x, y) = 0.
c. Merk op dat de restrictie T |W : W → W unitair is en dus inverteerbaar. Laat nu x ∈ W⊥. Dan is (T x, w) = (x, T−1w) = 0 voor w ∈ W en dus T x ∈ W⊥.
d. We bewijzen dit met inductie naar de dimensie n van V . Voor n = 1 is de bewering waar. Neem aan dat de bewering waar is als n < N . Laat nu dim(V ) = N zijn. Zij x een eigenvector van T met kxk en W is de lineaire deelruimte span{x}. Volgens (c) is T (W⊥) = W⊥ en de restrictie
T |W⊥ heeft volgens de inductieveronderstelling een orthonormale basis van eigenvectoren. Deze basis, aangevuld met x vormt een orthonormale basis van eigenvectoren van T . ¦
Gevolg 4.11: Zij U een complexe n × n-matrix. Dan is er een unitaire matrix V en een di-agonaalmatrix D zodanig dat U = V DV∗. We zeggen dat U unitair gelijkvormig is met een diagonaalmatrix.
Opmerking: Een lineaire afbeelding T ∈ L(V ) voor V een complexe resp. re¨ele vectorruimte die
een orthonormale basis van eigenvectoren heeft heet unitair (resp. orthogonaal) diagonaliseerbaar. Uit de spectraalstelling voor unitaire afbeeldingen leiden we een spectraalstelling voor orthogonale afbeeldingen op een re¨ele vectorruimte af.
Stelling 4.12: Zij V een re¨ele eindig-dimensionale vectorruimte met een inproduct en T ∈ L(V ) een orthogonale afbeelding. Dan is er een orthonormale basis van V zodanig dat de matrix van T t.o.v. deze basis de vorm
Ik O O . . . O O −I` O . . . O O O R(φ1) . . . O .. . ... ... . .. ... O O O . . . R(φm) (4.5)
heeft, waarbij R(φ) de 2 × 2-matrix µ
cos φ − sin φ sin φ cos φ
¶
is.(φ ∈ R)
Opmerking: 1. Omdat R(0) = I2 en R(π) = −I2 kunnen we in bovenstaande uitdrukking aan-nemen dat k, ` ∈ {0, 1}.
Stelling 4.12 is equivalent met de bewering dat elke (re¨ele) orthogonale matrix orthogonaal ge-lijkvormig is met een matrix van de vorm (4.5). Zonder beperking der algemeenheid kunnen we dus veronderstellen dat V = Kn en T : V → V de afbeelding T : x → Qx is, waarbij
Q een orthogonale matrix is. Laat V = Cn met het standaard-hermites inproduct zijn. Voor elke lineaire deelruimte W van V defini¨eren we WR = {x ∈ W : (x, ej) ∈ R voor 1 ≤ j ≤ n}. I.h.b. is VR=spanR{e1, . . . , en} een re¨ele vectorruimte isomorf met Rn en WR een re¨ele lineaire deelruimte van VR. De restrictie van het hermites standaard-inproduct tot VR geeft het standaard-inproduct op VR (m.b.t. de basis {e1, . . . , en}). I.h.b. is (WR)⊥ = (W⊥)R waarbij het orthogonaal complement wordt genomen t.a.v. het inproduct op VR, resp. op V .
Lemma 4.13: Zij V een complexe vectorruimte en W een lineaire deelruimte van V . Dan is de dimensie van W gelijk aan de (re¨ele) dimensie van WR dan en slechts dan als W = W , m.a.w. voor elke x = x1e1+ . . . + xnen∈ W is ook x = x1e1+ . . . + xnen∈ W .
Bewijs: Zij PW de orthogonale projectie op W . Als {f1, . . . , fk} een orthonormale basis is van W ,
dan is de matrix van PW gelijk aan Pki=1fjf∗
j. Als W invariant is onder complexe conjugatie, dan is {f1, . . . , fk} eveneens een orthonormale basis van W , en dus is de matrix van PW gelijk aan Pk
i=1fjfj∗. De matrix van PW is dus een re¨ele matrix. Nu is de dimensie van W gelijk aan de rang van PW. Als PW re¨eel is, dan is WR het beeld van PW en de dimensie van WR is dus gelijk aan de rang van PW. Omgekeerd, als de dimensies van W en WR gelijk zijn dan is elke basis van
WR ook een basis van W . Hieruit volgt meteen dat als x ∈ W , dan x ∈ W . ¦
Bewijs van Stelling 4.12: Laat ˆQ : V → V de afbeelding x → Qx zijn en ˆQR : VR → VR de afbeelding x → Qx. ˆQ is unitair en we passen Stelling 4.10 toe. We passen inductie toe naar de
dimensie n van V . Voor n = 1 valt er niets te bewijzen. Neem aan dat de bewering waar is voor vectrorruimten van dimensie kleiner dan n. We onderscheiden twee gevallen:
1. ˆQ heeft alleen re¨ele eigenwaarden. Dan is V = V1⊕ V−1 de directe som van de eigenruimten bij eigenwaarden 1 resp. -1 en de beide eigenruimten zijn onderling orthogonaal. Omdat Q een re¨ele matrix is, hebben (V1)R en (V−1)R dezelfde dimensies als V1 resp. V−1 en dus is VR = (VR)1⊕ (VR)−1. Beide eigenruimten zijn ook onderling orthogonaal. Er is dus een orthonormale basis van eigenvectoren van ˆQR en t.o.v. deze basis heeft de matrix van ˆQR de vorm (4.5) met
k + ` = n en m = 0.
(2). ˆQ heeft een niet-re¨ele eigenwaarde eiφ. Laat x een eigenvector zijn. We kunnen x = y + iz schrijven met y, z ∈ VR. Merk op dat de complex geconjugeerde x = y − iz eigenvector is bij de eigenwaarde e−iφ. Uit
Q(y + iz) = (cos φ + i sin φ)(y + iz)
volgt dat
Qy = cos φy − sin φz, Qz = sin φy + cos φz.
Verder volgt uit
dat yTz = 0 en yTy = zTz, dus door y en z zo nodig met eenzelfde factor te vermenigvuldigen, kunnen we aannemen dat {y, z} een orthonormaal stelsel is. De lineaire deelruimte W0 van VR opgespannen door y en z is invariant onder ˆQR en de restrictie van ˆQR tot W0 heeft t.o.v. de basis {y, z} de matrix R(φ). Verder laat ˆQR het orthogonaal complement (W0
R)⊥ = ((W0)⊥)R
invariant. We kunnen nu de inductie-onderstelling toepassen op de restrictie van ˆQR tot (W0 R)⊥. Een orthonormale basis van (W0
R)⊥ verenigd met {y, z} geeft een orthonormale basis van VR. ¦ We passen Stelling 4.12 toe op het geval dat V = Rn met n = 2 of n = 3:
n = 2: Voor een orthogonale afbeelding T : V → V zijn er twee mogelijkheden: (1) T heeft t.o.v.
een orthonormale basis de matrix µ
1 0
0 −1 ¶
; T is in dit geval een orthogonale spiegeling. (2) De matrix van T t.o.v. een orthonormale basis is R(φ) voor zekere φ. T is in dit geval een rotatie om 0V over een hoek φ. Merk op dat de matrix dezelfde vorm heeft voor elke willekeurige orthonormale basis. Gevallen 1 en 2 zijn verder te onderscheiden doordat in geval 1 de determinant van T gelijk is aan -1, in geval 2 is de determinant gelijk aan +1.
n = 3. In dit geval heeft T t.o.v. zekere orthonormale basis {f1, f2, f3} de vorm
±10 cos φ − sin φ0 0 0 sin φ cos φ
.
T stelt een rotatie voor over een hoek φ om de as span{f1}, in het geval dat ±1 = −1 wordt de
rotatie nog gevolgd door een loodrechte spiegeling in het vlak opgespannen door f2, f3. In het eerste geval heet T een draaiing of rotatie, in het tweede geval heet T een draaispiegeling. Beide gevallen worden onderscheiden door het teken van de determinant van T (det(T ) = ±1). Verder is de rotatiehoek φ eenvoudig te bepalen via tr(T ) = ±1 + 2 cos φ.
V. DE DUALE VAN EEN VECTORRUIMTE
Laat V een eindig-dimensionale re¨ele of complexe vectorruimte zijn met een (hermites) inwendig product ( , ). Voor een vaste v ∈ V is de afbeelding iv : V → K (waarbij K = R resp. C) gegeven door iv(w) = (v, w) een lineaire afbeelding en dus een element van de vectoruimte L(V, K) (ga dit na). Omgekeerd, als f ∈ L(V, K), dan is er een v ∈ V zodanig dat f = iv. Immers, laat {v1, . . . , vn} een orthonormale basis zijn van V (zo’n basis bestaat altijd). f wordt geheel
bepaald door de beelden f (vj) = aj van de basisvectoren. Laat nu v = a1v1+ . . . + anvn. Dan is
iv(vj) = (v, vj) = aj = f (vj) en dus is f = iv.
Gevolg: de afbeelding v → iv (voor v ∈ V ) is een vectorruimte-isomorfisme tussen V en L(V, K). De vectorruimte L(V, K) heet de duale vectorruimte van V . Een gebruikelijke notatie voor L(V, K) is V∗. In het bijzonder geldt als dim(V ) < ∞:
dim(V ) = dim(V∗). (5.1)
Opmerking: Ook voor willekeurige vectorruimten V is de duale gedefinieerd als V∗ = L(V, K). Als dim(V ) = ∞ levert de afbeelding v → iv echter geen isomorfisme tussen V en V∗. Merk op dat
iv zelfs niet gedefinieerd is als V niet een vectorruimte met inproduct is. Zie opgave V.8 voor een voorbeeld.
Voor een willekeurige vectorruimte V bestaat er een natuurlijk (of kanoniek) isomorfisme tussen
V en een lineaire deelruimte van V∗∗ = L(V∗, K): zij immers v ∈ K. Dan is de afbeelding v] : V∗ → K gegeven door v](f ) = f (v) een lineaire afbeelding (ga na) en dus een element van
V∗∗. De afbeelding die v afbeeldt op v] is een injectieve lineaire afbeelding van V naar V∗∗, dus een vectorruimte-isomorfisme van V op een lineaire deelruimte van V∗∗ die we dan met V kunnen identificeren. Deze afbeelding heet natuurlijk of kanoniek omdat deze niet afhangt van speciale keuzen (van een basis of een inproduct). Merk op dat dit niet het geval is voor de afbeelding v → iv van V naar V∗ omdat iv afhangt van het inproduct in V . Merk nog op dat als dim(V ) eindig is, dan is dim(V ) = dim(V∗) = dim(V∗∗) en dan is de afbeelding v → v] zelfs surjectief en dus een vectorruimte-isomorfisme. In dit geval kunnen we V∗∗ en V identificeren.
Propositie 5.1 (duale basis). Zij {v1, . . . , vn} een basis van de vectorruimte V . Laat f1, . . . , fn∈ V∗ de lineaire afbeeldingen van V naar K zijn zodanig dat fj(vi) = δij (d.w.z. fj(vi) = 1 als i = j en fj(vi) = 0 als i 6= j). Dan is {f1, . . . , fn} een basis van V∗.
Bewijs: Omdat dim(V ) = dim(V∗), is het voldoende om aan te tonen dat f1, . . . , fn lineair on-afhankelijk zijn. Neem hiertoe aan dat 0 = λ1f1+ . . . + λnfn voor zekere λ1, . . . , λn ∈ K. Dan
is
0 = (λ1f1+ . . . + λnfn)(vj) = λj (j = 1, . . . , n). ¦
{f1, . . . , fn} heet de duale basis van {v1, . . . , vn}. Als V een inproduct heeft, dan zijn er vectoren v1, . . . , vn ∈ V zodanig dat fj = ivj, m.a.w. fj(v) = (vj, v). I.h.b. is (vj, vi) = δij. We
noemen {v1, . . . , vn} eveneens de duale basis van {v1, . . . , vn}. (In tegenstelling tot de duale basis {f1, . . . , fn} is de duale basis {v1, . . . , vn} dus een basis van V .)
De getransponeerde van een afbeelding. Laat V en W vectorruimten zijn en T : V → W een lineaire afbeelding. We defini¨eren de afbeelding T0 : W∗ → V∗ d.m.v. (T0f )(v) = f (T v) waarbij f ∈ W∗en v ∈ V . T0 is weer een lineaire afbeelding en heet de getransponeerde of pull-back van T . Als V en W eindig-dimensionale vectorruimten zijn met een inproduct, dan bestaat er een nauw verband tussen de getransponeerde T0en de geadjungeerde T∗. Zoals we hebben gezien bestaat er voor elke f ∈ W∗ een w ∈ W zodanig dat f = iw. Dan is voor v ∈ V
(T0iw)(v) = iw(T v) = (w, T v) = (T∗w, v) = iT∗w(v). We hebben daarmee aangetoond:
Propositie 5.2. Laat V, W eindig-dimensionale vectorruimten zijn met inwendig product en
T ∈ L(V, W ). Dan is T0iw= iT∗w.
De annihilator van een lineaire deelruimte. Zij V een vectorruimte en U een lineaire deel-ruimte van V . De annihilator U⊥ van U is de lineaire deelruimte van V0 bestaande uit de lineaire afbeeldingen f : V → K zodanig dat f (u) = 0 voor alle u ∈ U . Als V een inwendig product heeft, dan is het orthogonaal complement U⊥ van U een lineaire deelruimte van V . De notatie U⊥ is dus dubbelzinnig. Wel geldt het volgende verband:
Opgave: Laat zien dat voor w ∈ V geldt: w ∈ U⊥ (lin. deelruimte van V ) dan en slechts dan als
iw∈ U⊥ (lin. deelruimte van V0).
Duale vectorruimte en tensorproduct. Laat V en W eindig-dimensionale vectorruimten over het lichaam K zijn. In opgave I.30 is aangetoond dat er een isomorfisme is tussen het tensorproduct
V ⊗W en de vectorruimte L(V, W ) van lineaire afbeeldingen van V naar W . Zo’n isomorfisme is niet
kanoniek, omdat de vorm afhangt van de basis en niet behouden blijft onder basistransformaties (verg. opgave V.9). Er bestaat echter wel een kanoniek isomorfisme φ : V∗⊗ W → L(V, W ): daar V∗⊗ W wordt opgespannen door tensorproducten v0⊗ w met v0 ∈ V en w ∈ W is het voldoende
om φ vast te leggen op tensorproducten en vervolgens lineair tot V∗⊗ W voort te zetten. Laat nu φ(v0⊗ w)(v) = v0(v)w voor v ∈ V . φ(v0⊗ w) is dan een lineaire afbeelding van V naar W . Merk
op dat deze definitie onafhankelijk is van een basiskeuze. Het is niet moeilijk om aan te tonen dat