In elke inproductruimte heeft elk punt #\vec{p}# op elke eindigdimensionale deelruimte #W# een uniek punt dat het dichtst bij #\vec{p}# ligt. Het unieke punt is de loodrechte projectie van #\vec{p}# op #W#. Deze resultaten gelden ook in het algemenere geval waarin #W# een affiene deelruimte is.
Laat #W# een eindigdimensionale affiene deelruimte zijn van een inproductruimte #V# en #\vec{x}# een vector van #V#. Dan bestaat er een unieke vector #\vec{y}# in #W# zodanig dat #\vec{x}-\vec{y}# loodrecht staat op #W#.
Deze vector #\vec{y}# heet de loodrechte projectie van #\vec{x}# op #W#, en wordt genoteerd met #P_W(\vec{x})#.
De uitspraak dat #\vec{x}-\vec{y}# loodrecht staat op de deelruimte #W# betekent dat #\dotprod{(\vec{x}-\vec{y})}{\vec{w}}=0# voor alle #\vec{w}# in #U#, waarbij #U# de richtingsruimte van #W# is.
Het begrip orthogonale projectie is gevisualiseerd in onderstaande figuur. In dit specifieke geval kijken we naar een #2#-dimensionale lineaire deelruimte #W# van #V=\mathbb{R}^3# weergegeven door het donkere vlak. De vectoren #\vec{x}# en #\vec{y}# zijn als in de definitie.
3d plaatje
Hier is #\vec{x}-\vec{y}# de gestippelde vector, die loodrecht staat op #W#.
We bewijzen de stelling eerst voor het geval waarin #W# een lineaire deelruimte van #V# is. Volgens de stelling van Gram-Schmidt heeft iedere eindigdimensionale deelruimte een orthonormale basis. Laat #\basis{\vec{a}_1,\ldots,\vec{a}_k}# zo'n basis voor #W# zijn. Omdat een loodrechte projectie een vector in #W# is, kunnen we een dergelijke projectie #\vec{y}# schrijven als lineaire combinatie #\lambda_1 \vec{a}_1+\cdots + \lambda_k\vec{a}_k# voor zekere scalairen #\lambda_1 ,\ldots ,\lambda_k#. De eis dat #\vec{x}-\vec{y}# loodrecht op #W# staat, betekent dat voor elke #j# met #1\le j\le k#,
\[
\dotprod{
(\vec{x}-(\lambda_1 \vec{a}_1+\cdots + \lambda_k\vec{a}_k))}{\vec{a}_j}=0\]
Gebruik makend van de orthonormaliteit van de basis en de lineariteit van het inproduct kunnen we deze vergelijking in #\lambda_j# uitwerken tot \( \lambda_j =\dotprod{\vec{x}}{\vec{a}_j} \). Bijgevolg is de vector \[\vec{y}=(\dotprod{\vec{x}}{\vec{a}_1} )\vec{a}_1+\cdots +(\dotprod{\vec{x}}{\vec{a}_k})\vec{a}_k\] uniek bepaald door de eis dat #\vec{x}-\vec{y}# loodrecht op #W# staat. Bovendien behoort deze vector tot #W# en ligt #\vec{x}-\vec{y}# in #W^\perp#. Er is dus precies één orthogonale projectie van #\vec{x}# op #W#. Hiermee is de stelling bewezen in het geval dat #W# een lineaire deelruimte is.
Stel nu dat #W# een affiene deelruimte is van #V#. Dan zijn er een steunvector #\vec{a}# en een richtingsruimte #U# zo dat #W = \vec{a}+U#. De vector #\vec{y}=\vec{a}+P_U(\vec{x}-\vec{a})# is dan een loodrechte projectie van #\vec{x}# op #W# want
- #P_U(\vec{x}-\vec{a})# behoort tot #U# dus de vector #\vec{y}# behoort tot #\vec{a}+U=W#;
- de vector #\vec{x}-\vec{y}# is gelijk aan #(\vec{x}-\vec{a}) -P_U(\vec{x}-\vec{a})# en staat dus loodrecht op #U# vanwege de stelling voor de lineaire deelruimte #U# toegepast op de vector #\vec{x}-\vec{a}#.
Rest nog te bewijzen dat #\vec{y}# uniek is. Stel dat #\vec{z}# een orthogonale projectie is van #\vec{x}# op #W#. Dan is #\vec{z}-\vec{a}# de projectie van #\vec{x}-\vec{a}# op #U#, dus (vanwege de stelling voor de lineaire deelruimte #U#) gelijk aan #P_U(\vec{x}-\vec{a})#. De laatste vector is gelijk aan #\vec{y}-\vec{a}#, zodat #\vec{z}-\vec{a}=\vec{y}-\vec{a}#. We concluderen dat #\vec{z} = \vec{y}#, waarmee aangetoond is dat #\vec{y}# de unieke orthogonale projectie van #\vec{x}# op #W# is.
In veel optimalisatieproblemen speelt het berekenen van de minimale afstand van een vector #\vec{x}# tot een affiene deelruimte #W# van #V# een belangrijke rol.
Als de affiene deelruimte #W# oneindige dimensie heeft, hoeft er geen loodrechte projectie te bestaan. Laat, om dit in te zien, #V# de inproductruimte zijn van alle veeltermen in #t# met het inproduct waarvoor #\basis{1,t,t^2,\ldots}# een orthonormale basis is (zodat #\dotprod{t^i}{t^j}=\delta_{ij}#, waarbij #\delta_{ij} =1 # als #i=j# en #0# anders). Neem verder voor #\vec{x} # de constante veelterm #1# en voor #W# de lineaire deelruimte van #V# bestaande uit alle veeltermen die de waarde #0# hebben voor #t=1#. De deelruimte #W# heeft als basis \[\basis{t-1,t^2-1,\ldots,t^j-1,\ldots}\] Als #\vec{y}# dus een orthogonale projectie op #W# is van #\vec{x}#, dan geldt #\vec{y} =\sum_{i=1}^na_i(t^i-1)# waarbij #n# een zeker natuurlijk getal is en #a_i# reële getallen zijn die voldoen aan
\[\dotprod{(\vec{x}-\vec{y})}{\vec{w}} = 0\text{ voor alle }\vec{w}\in W\]
Omdat #\dotprod{1}{(t-1)} = -1\ne0# staat #\vec{x}=1# niet loodrecht op #W#, zodat #\vec{y}\ne\vec{0}#. We kunnen dus aannemen dat #a_n\ne0#.
We werken het linker lid van bovenstaande vergelijking verder uit voor #\vec{w} = t^j-1# waarbij #j\ge 1#:
\[\begin{array}{rcl}\dotprod{(\vec{x}-\vec{y})}{\vec{w}} &=&\displaystyle \dotprod{\left(1-\sum_{i=0}^na_i(t^i-1)\right)}{ (t^j-1)}\\ &&\phantom{xx}\color{blue}{\text{uitdrukkingen voor }\vec{x},\, \vec{y},\, \vec{w}\text{ ingevuld}}\\&=&\displaystyle \dotprod {1}{(t^j-1)}-\sum_{i=0}^na_i\dotprod{(t^i-1)}{(t^j-1)}\\ &&\phantom{xx}\color{blue}{\text{lineariteit van inproduct}}\\&=&\displaystyle -1-\sum_{i=0}^na_i(\delta_{ij}+1)\\&&\phantom{xx}\color{blue}{\text{ orthonormaliteit van basis } \basis{1,t,t^2,\ldots}}\\&=&\displaystyle-\left(1+\sum_{i=0}^na_i\right)-a_j\\ &&\phantom{xx}\color{blue}{\text{met conventie }a_j =0 \text{ als }j\gt n}\end{array}\]Bekijk nu eerst waarden van #j# met #j\gt n#. Omdat dan #a_j = 0# en omdat bovenstaand inproduct gelijk moet zijn aan #0#, volgt \( 1+\sum_{i=0}^na_i= 0\). Dat heeft tot gevolg dat de vergelijking voor # j =n# te herschrijven is tot #-a_n = 0#, wat de aanname #a_n\ne0# tegenspreekt. Hiermee hebben we aangetoond dat er geen vector #\vec{y}# bestaat waarvoor #\vec{x}-\vec{y}# loodrecht staat op #W#. Er is dus geen loodrechte projectie van #\vec{x}# op #W#.
Hier volgen enkele nuttige eigenschappen van de loodrechte projectie op een affiene deelruimte.
Laat #V# een inproductruimte zijn met affiene deelruimte #W=\vec{a}+U# voor een vector #\vec{a}# en een lineaire deelruimte #U# van #V#. Stel dat #\basis{\vec{a}_1, \ldots ,\vec{a}_k}# een orthonormale basis van #U# is voor een natuurlijk getal #k#. De loodrechte projectie #P_W(\vec{x})# van een vector #\vec{x}# van #V# op #W# heeft de volgende eigenschappen:
- #\vec{x}-P_W(\vec{x})# staat loodrecht op iedere vector uit #W#.
- De loodrechte projectie #P_W(\vec{x})# wordt gegeven door \[\vec{a} + (\dotprod{(\vec{x}-\vec{a})}{\vec{a}_1})\,\vec{a}_1 + \cdots +(\dotprod{(\vec{x}-\vec{a})}{\vec{a}_k})\,\vec{a}_k\]
- De afstand van #\vec{x}# tot een vector uit #W# is minimaal voor de loodrechte projectie op #W#:\[\norm{\vec{x}-P_W(\vec{x})}=\min_{\vec{w}\in W}\norm{\vec{x}-\vec{w}}\]
- De loodrechte projectie is de unieke vector waarvoor dit minimum optreedt.
- #\norm{P_W(\vec{x})}\leq\norm{\vec{x}}# met gelijkheid dan en slechts dan als #\vec{x}=P_W(\vec{x})#.
- Er geldt #P_W(\vec{x})=\vec{x}# dan en slechts dan als #\vec{x}# in #W# zit.
De afstand tussen #\vec{x}# en #W# wordt gedefinieerd door #\norm{\vec{x}-P_W(\vec{x})}# als in uitspraak 3.
Als #W# een lineaire deelruimte is, dan kunnen we #\vec{a} = \vec{0}# en #U = W# nemen. Voor een eerste lezing van de stelling is het handig om dit speciale geval in gedachten te houden. Het algemene geval volgt hier eenvoudig uit na aftrekking van #\vec{a}# van de affiene deelruimte #W# en de vector #\vec{x}#.
1. De eerste uitspraak is slechts een herhaling van de definitie.
2. De tweede uitspraak volgt uit het bewijs van de vorige stelling.
3. Voor een goede intuïtie bij het bewijs van de derde uitspraak is de volgende afbeelding nuttig.
3d plaatje
Laat #\vec{w}# een vector in #W# zijn. We vergelijken #\norm{\vec{x}-P_W(\vec{x})}# met #\norm{\vec{x}-\vec{w}}#. Daartoe schrijven we #\vec{x}-\vec{w}=(\vec{x}-P_W(\vec{x}))+(P_W(\vec{x})-\vec{w})#. Omdat #P_W(\vec{x})# en #\vec{w}# tot de affiene deelruimte #W# behoren, ligt het verschil #P_W(\vec{x})-\vec{w}# in #U#. Deze vector staat loodrecht op #\vec{x}-P_W(\vec{x})# per definitie van de orthogonale projectie. We kunnen daarom de stelling van Pythagoras toepassen:
\[
\norm{\vec{x}-\vec{w}}^2 =\norm{\vec{x}-P_W(\vec{x})}^2 +
\norm{P_W(\vec{x})-\vec{w}}^2
\] Herschrijving hiervan geeft
\[
\norm{\vec{x}-P_W(\vec{x})}^2 =\norm{\vec{x}-\vec{w}}^2 - \norm{P_W(\vec{x})-\vec{w}}^2 \leq \norm{\vec{x}-\vec{w}}^2
\] zodat \(\norm{\vec{x}-P_W(\vec{x})}^2 \leq \norm{\vec{x}-\vec{w}}^2
\). Omdat lengtes niet-negatief zijn, concluderen we dat
\[\norm{\vec{x}-P_W(\vec{x})}\leq\norm{\vec{x}-\vec{w}}\] Gelijkheid treedt dan en slechts dan op als #\parallel P_W(\vec{x})-\vec{w}\parallel =0#, wat betekent dat #P_W(\vec{x})# gelijk moet zijn aan #\vec{w}#.
4. De laatste zin van het bewijs van de derde uitspraak bewijst meteen de vierde uitspraak.
5. De vijfde uitspraak volgt net als de derde uit de stelling van Pythagoras: We weten dat #P_W(\vec{x})# tot #W# behoort, en dus loodrecht staat op #\vec{x}-P_W(\vec{x})#. Er geldt dus
\[
\norm{\vec{x}}^2=\norm{\vec{x}-P_W(\vec{x}) +P_W(\vec{x})}^2 =\norm{\vec{x}-P_W(\vec{x})}^2 +
\norm{P_W(\vec{x})}^2
\] waaruit de uitspraak onmiddellijk volgt.
6. De implicatie van links naar rechts in de zesde uitspraak volgt uit het feit dat de projectie #P_W(\vec{x})# per definitie in #W# zit, dus zit #\vec{x}# in #W# als #P_W(\vec{x})=\vec{x}#.
De implicatie van rechts naar links is in te zien door de vierde uitspraak te gebruiken en op te merken dat de afstand tussen #\vec{x}# en #\vec{x}# gelijk is aan #0#, en dit de unieke vector in #W# is waarvoor dit geldt.
Volgens uitspraak 3 is de afstand tussen een vector #\vec{x}# en een affiene deelruimte #W# gelijk aan de minimale afstand tussen #\vec{x}# en een punt in #W#.
We zullen in #\mathbb{R}^3# de loodrechte projectie berekenen van de vector #\rv{1,1,1}# op de deelruimte opgespannen door de vector #\rv{1,2,2}#. Allereerst normaliseren we de vector #\rv{1,2,2}# om een orthonormale basis te krijgen. Omdat #{\norm{\vec{a}_1}} = \sqrt{1^2+2^2+2^2}=3 #, levert dit levert de vector \[\vec{a}_1=\dfrac{1}{3}\cdot \rv{1,2,2} =\rv{\frac{1}{3},\frac{2}{3},\frac{2}{3}}\]
De loodrechte projectie wordt nu gegeven door
\[\begin{array}{rcl} P_W(\vec{x})&=&(\dotprod{\vec{x}}{\vec{a}_1})\vec{a}_1\\ &=&\displaystyle\left(\dotprod{\rv{1,1,1}}{\rv{\frac{1}{3},\frac{2}{3},\frac{2}{3}}}\right)\cdot\rv{\frac{1}{3},\frac{2}{3},\frac{2}{3}}\\&=&\displaystyle\frac{5}{3}\cdot\rv{\frac{1}{3},\frac{2}{3},\frac{2}{3}}\\&=&\displaystyle\frac{5}{9}\cdot\rv{1,2,2}\end{array}
\]
De afstand van #\rv{1,1,1}# tot de deelruimte opgespannen door #{\rv{1,2,2}}# is dus gelijk aan de lengte van de verschilvector:
\[{\norm{\rv{1,1,1}-\frac{5}{9}\cdot\rv{1,2,2}}} ={ \norm{\rv{\frac{4}{9},\frac{-1}{9},\frac{-1}{9}}}} = \frac{1}{9}\sqrt{4^2+1^2+1^2} = \frac{\sqrt{18}}{9} = \frac{1}{3}\sqrt{2}\]
Bij de Gram-Schmidt procedure hebben we eigenlijk al gebruik gemaakt van de loodrechte projectie. Een aantal keren worden in die procedure vectoren genormaliseerd, maar de essentiële stap is \[ \vec{e}_{i+1}^*:=\vec{a}_{i+1}-\sum_{j=1}^i(\dotprod{\vec{a}_{i+1}}{\vec{e}_j})\cdot \vec{e}_j\]
waarbij #\basis{\vec{e}_1,\ldots,\vec{e}_i}# een orthonormale basis is. De vector #\vec{e}_{i+1}^*# is het verschil #\vec{a}_{i+1}-P_W(\vec{a}_{i+1})# van #\vec{a}_{i+1}# en de projectie #P_W(\vec{a}_{i+1})# van #\vec{a}_{i+1}# op de lineaire deelruimte #W = \linspan{\vec{e}_1,\ldots,\vec{e}_i}#. Daarom ligt deze vector in het orthogonale complement van #W#.
Laat #V# een eindigdimensionale inproductruimte zijn. Een affiene deelruimte #W# van dimensie #\dim{V}-1# van #V# heet wel een hypervlak. Voor zo'n hypervlak #W# is er op een scalaire factor ongelijk #0# na precies één vector #\vec{n}\ne\vec{0}# loodrecht op #W#. Als #V# gelijk is aan #\mathbb{R}^2# of #\mathbb{R}^3#, dan staat #\vec{n}# bekend als een normaalvector van #W#. De coördinaten van de vector #\vec{n}# zijn de coëfficiënten van de coördinaat-variabelen in een lineaire vergelijking voor #W#. De projectie van een vector #\vec{x}# is dan te bepalen door het snijpunt van #W# met de lijn met parametervoorstelling #\vec{x}+r\cdot \vec{n}# te bepalen.
Bepaal in #\mathbb{R}^3# de loodrechte projectie van de vector #{\left[ 1 , -3 , -1 \right] }# op de deelruimte #W# die wordt opgespannen door de vector #{\left[ 4 , -4 , 2 \right] }#.
#P_W(\left[ 1 , -3 , -1 \right] ) = # #{{{7}\over{9}}\cdot \left[ 2 , -2 , 1 \right] }#
Allereerst normaliseren we de vector #{\left[ 4 , -4 , 2 \right] }# om een orthonormale basis te krijgen. Omdat \[{\norm{\left[ 4 , -4 , 2 \right] }} =\sqrt{(4)^2+(-4)^2+(2)^2}=6 \] levert dit de vector \[\vec{a}_1=\dfrac{1}{6}\cdot {\left[ 4 , -4 , 2 \right] } =\left[ {{2}\over{3}} , -{{2}\over{3}} , {{1}\over{3}} \right] \]
De loodrechte projectie wordt nu gegeven door
\[\begin{array}{rcl} P_W(\vec{x})&=&(\dotprod{\vec{x}}{\vec{a}_1})\,\vec{a}_1\\ &=&\displaystyle\left(\dotprod{\left[ 1 , -3 , -1 \right] }{\left[ {{2}\over{3}} , -{{2}\over{3}} , {{1}\over{3}} \right] }\right)\cdot{\left[ {{2}\over{3}} , -{{2}\over{3}} , {{1}\over{3}} \right] }\\&=&\displaystyle {{7}\over{3}} \cdot {\left[ {{2}\over{3}} , -{{2}\over{3}} , {{1}\over{3}} \right] }\\&=&\displaystyle {{7}\over{9}}\cdot \left[ 2 , -2 , 1 \right] \end{array}
\]
De afstand van # \left[ 1 , -3 , -1 \right] # tot de deelruimte #W =\linspan{\left[ 4 , -4 , 2 \right] }# is gelijk aan de lengte van de verschilvector van #\left[ 1 , -3 , -1 \right] # en de projectie #{{{7}\over{9}}\cdot \left[ 2 , -2 , 1 \right] }#:
\[\norm{\left[ 1 , -3 , -1 \right] - {{7}\over{9}}\cdot \left[ 2 , -2 , 1 \right] }=\norm{\left[ -{{5}\over{9}} , -{{13}\over{9}} , -{{16}\over{9}} \right] }={{5\cdot \sqrt{2}}\over{3}}\]
Loodrechte projectie
