1 内積の公理とノルム
定義 1.1 (内積・内積空間). 実ベクトル空間V上の内積とは、二項演算⟨⋅,⋅⟩:V×V→Rで、任意のx,y,z∈V,c∈Rに対し次を満たすものをいう。内積を備えたVを内積空間という。
- 対称性:⟨x,y⟩=⟨y,x⟩
- 第1引数についての線形性:⟨cx+z,y⟩=c⟨x,y⟩+⟨z,y⟩(対称性より第2引数についても線形)
- 正定値性:⟨x,x⟩≥0であり、=0となるのはx=0のときに限る
定義 1.3 (ノルム・直交).∥x∥=⟨x,x⟩をxのノルム(長さ)、⟨x,y⟩=0をx⊥y(直交)と定める。
定理 1.4 (コーシー・シュワルツの不等式). 内積空間の任意のx,yに対し∣⟨x,y⟩∣≤∥x∥∥y∥.
証明.y=0なら両辺0で成立。y=0とする。任意の実数tに対し正定値性より
=∥x∥2−2t⟨x,y⟩+t2∥y∥2.これはtの2次式で、常に≥0だから判別式が≤0:4⟨x,y⟩2−4∥x∥2∥y∥2≤0。移項して平方根をとれば∣⟨x,y⟩∣≤∥x∥∥y∥。▨
系 1.5 (三角不等式).∥x+y∥≤∥x∥+∥y∥。
証明.∥x+y∥2=∥x∥2+2⟨x,y⟩+∥y∥2≤∥x∥2+2∥x∥∥y∥+∥y∥2=(∥x∥+∥y∥)2(コーシー・シュワルツを使用)。両辺の平方根をとる。▨
x,yがともに零ベクトルでないとき、コーシー・シュワルツの不等式により
−1≤∥x∥∥y∥⟨x,y⟩≤1
が成り立ちます。したがって0≤θ≤πの範囲でcosθ=⟨x,y⟩/(∥x∥∥y∥)と置くことで二ベクトルの角度を定義できます。xまたはyが零ベクトルなら分母が0になるため、零ベクトルとの角度は定義しません。
定義 1.6 (正規直交系・正規直交基底). 内積空間Vの有限族(ei)i=1kが、すべてのiについて∥ei∥=1を満たし、i=jならばei⊥ejを満たすとき、この族を 正規直交系 (orthonormal system) といいます。さらに{e1,…,ek}がVの基底であるとき、この基底を 正規直交基底 (orthonormal basis) といいます。
2 グラム・シュミットの直交化
任意の基底から、正規直交基底(互いに直交し長さ1)を作る手続きがグラム・シュミットの直交化です。核心は、あるベクトルから、既に直交化した方向の成分(射影)を引くことです。下の図の通りです。
定理 2.1 (グラム・シュミットの正規直交化). 一次独立なv1,…,vkに対し、ui=vi−∑j<i⟨uj,uj⟩⟨vi,uj⟩uj,ei=∥ui∥uiと順に定めると、{e1,…,ek}は正規直交系で、各mに対しspan{e1,…,em}=span{v1,…,vm}。
証明.iについての帰納法で「u1,…,uiは互いに直交する0でないベクトル」を示す。u1=v1=0。u1,…,ui−1まで互いに直交かつ0でないとする。まずi>lを任意にとると(l<i)、直交性の帰納法の仮定よりj=lの項が消え、
−j<i∑⟨uj,uj⟩⟨vi,uj⟩⟨uj,ul⟩=⟨vi,ul⟩−⟨ul,ul⟩⟨vi,ul⟩⟨ul,ul⟩=0.よってuiはu1,…,ui−1すべてに直交する。またui=0ならvi∈span{u1,…,ui−1}=span{v1,…,vi−1}となり一次独立性に反するからui=0。これで正規化ei=ui/∥ui∥ができ、{ei}は正規直交系。定義式はui(したがってei)とviが同じ前の項たちで互いに移り合う形なので、張る空間は各段で一致する。▨
一般の段では、viから、既に作ったu1,…,ui−1の方向の成分をすべて引き去り、最後にuiを正規化します。要点は、引く相手が直前の1本ではなくそれまでに作った全部であることです。
例 2.2.v1=(1,1)、v2=(1,0)に定理 2.1を適用します。まずu1=v1=(1,1)。次に
u2=v2−⟨u1,u1⟩⟨v2,u1⟩u1=(1,0)−21(1,1)=(21,−21)となり、⟨u1,u2⟩=21−21=0で確かに直交しています。{u1,u2}が求める直交基底の一組で、さらに正規化すればe1=21(1,1)、e2=21(1,−1)という正規直交基底になります。
3 正規直交基底の御利益
命題 3.1.{e1,…,en}を正規直交基底とすると、任意のxに対しx=∑i=1n⟨x,ei⟩ei.
証明. 基底ゆえx=∑icieiと一意に書ける。両辺とejの内積をとると、⟨ei,ej⟩はi=jのとき1、それ以外0だから⟨x,ej⟩=∑ici⟨ei,ej⟩=cj。よってcj=⟨x,ej⟩。▨
正規直交基底を用いると、展開係数を内積によって直ちに求めることができます。射影・最小二乗法・フーリエ係数の計算は、すべてこの「内積で成分を取り出す」形になります。
命題 3.2.{e1,…,ek}を正規直交系、W=span{ei}、p=∑i=1k⟨x,ei⟩eiとすると、x−pはWに直交し、pはWの中でxに最も近い点である(w∈Wに対し∥x−p∥≤∥x−w∥、等号はw=p)。とくに∑i=1k∣⟨x,ei⟩∣2≤∥x∥2(ベッセルの不等式)。
証明. 各jで⟨x−p,ej⟩=⟨x,ej⟩−⟨x,ej⟩=0よりx−p⊥W。w∈Wに対しp−w∈Wゆえx−p⊥p−w、ピタゴラスの定理より∥x−w∥2=∥x−p∥2+∥p−w∥2≥∥x−p∥2。ベッセルは0≤∥x−p∥2=∥x∥2−∥p∥2=∥x∥2−∑i∣⟨x,ei⟩∣2から。▨
例 3.3.A=(11)、b=(20)とし、∥At−b∥を最小にするt∈Rを求める。Aの列空間はW=span{(1,1)⊤}で、その正規直交基底はe=2−1/2(1,1)⊤である。したがってbのWへの正射影は
⟨b,e⟩e=(11)=A⋅1である。命題 3.2より、最小二乗解はt=1である。列が一次独立な一般の行列について、列空間の正規直交基底を QR 分解で作る方法を§D3.17 定理 3.1で扱う。
与えられたベクトルに最も近い部分空間の点を、部分空間への正射影によって求める手順は、最小二乗法(データに最も近い部分空間の点を選ぶ)とフーリエ級数(関数を三角関数の張る空間へ射影する)に共通しています。
例 3.4 (ルジャンドル多項式). 実係数多項式の空間R[x]に⟨f,g⟩=∫−11f(x)g(x)dxを入れると、これは内積になります。対称性と双線形性は積分の性質から従います。また⟨f,f⟩=∫−11f(x)2dx≥0であり、fが零多項式でなければf(x0)=0となるx0∈[−1,1]が存在します。連続性によりx0の近くでf(x)2は正ですので⟨f,f⟩>0です。したがって正定値性も成り立ちます。
この内積について、一次独立な1,x,x2,…にグラム・シュミット(定理 2.1)を適用すると、直交多項式の列(正規化前で1, x, x2−31, …)が得られます。これがルジャンドル多項式で、球面調和関数や静電ポテンシャルの展開に現れます。内積の中身が和∑から積分∫に変わるだけで、有限次元とまったく同じ手続きが働いている——これが「関数を無限次元ベクトルとして扱う」関数解析の入口です。
4 正定値行列と行列式の評価
実対称行列によって内積を定めると、グラム・シュミットの直交化を行列の分解に用いることができます。
定義 4.1 (正定値行列・半正定値行列).n≥1とし、Sをn次実対称行列とする。すべての列ベクトルx∈Rnに対してx⊤Sx≥0が成り立つとき、Sを半正定値という。すべての非零列ベクトルx∈Rnに対してx⊤Sx>0が成り立つとき、Sを正定値という。
補題 4.2.n≥1とし、Sを正定値なn次実対称行列とする。このとき、対角成分がすべて正である実上三角行列Rが存在してS=R⊤Rを満たす。
証明.x,y∈Rnに対して⟨x,y⟩S=x⊤Syと置く。行列積の線形性から双線形性が従い、S⊤=Sから対称性が従う。Sの正定値性は⟨x,x⟩S>0がx=0のときに成り立つことを意味するので、⟨⋅,⋅⟩Sは内積である。
標準基底e1,…,enに定理 2.1をこの内積について適用し、正規直交基底q1,…,qnを得る。各段階で張る空間が一致するので、命題 3.1により
ej=i=1∑jrijqi,rij=⟨ej,qi⟩S(1≤i≤j≤n)である。i>jではrij=0と置き、R=(rij)とする。直交化の第j段階の残差をujとすると、qj=uj/∥uj∥Sであり、ej−ujはq1,…,qj−1の一次結合である。したがって
rjj=⟨ej,qj⟩S=⟨uj,qj⟩S=∥uj∥S>0である。任意のj,kについて
sjk=ej⊤Sek=⟨ej,ek⟩S=i=1∑nrijrik=(R⊤R)jkとなるのでS=R⊤Rを得る。▨
補題 4.3.pを実係数多項式とし、すべてのt>0についてp(t)≥0とする。このとき、p(0)≥0である。
証明.p(t)=p(0)+∑k=1maktkと書き、K=∑k=1m∣ak∣とおく。0<t≤1ならば∣p(t)−p(0)∣≤tKである。p(0)<0と仮定すると、K=0の場合はp(t)=p(0)<0となる。K>0の場合は0<t<min{1,−p(0)/(2K)}を選ぶとp(t)≤p(0)+tK<p(0)/2<0となる。いずれもp(t)≥0に反するので、p(0)≥0である。▨
命題 4.4.n≥1とし、C=(cij)を半正定値なn次実対称行列とする。このとき
0≤detC≤j=1∏ncjjが成り立つ。
証明.Cが正定値である場合、補題 4.2によりC=R⊤Rと書く。§D3.4 定理 9.1、§D3.4 命題 6.1、§D3.4 命題 5.2により
detC=(detR)2=j=1∏nrjj2>0である。一方、cjj=∑i=1nrij2≥rjj2なので、detC≤∏j=1ncjjを得る。
Cが半正定値である場合、任意のt>0に対してC+tIは正定値である。実際、x=0ならば
x⊤(C+tI)x=x⊤Cx+ti=1∑nxi2>0となる。正定値の場合の結果から
det(C+tI)≥0,j=1∏n(cjj+t)−det(C+tI)≥0を得る。
§D3.4 式 (4.2.1)により、det(C+tI)と∏j=1n(cjj+t)−det(C+tI)はともにtの実係数多項式である。したがって補題 4.3により、detC≥0と∏j=1ncjj−detC≥0を得る。▨
5 積のトレースと行列式
半正定値行列の対角成分の和と積を比較すると、行列式を対角成分の和によって評価することができます。
定義 5.1 (トレース).n≥1とし、M=(mij)をn次実正方行列とする。Mのトレースを
trM=i=1∑nmiiと定める。
補題 5.2.n≥1とし、X,Yをn次実正方行列とする。このときtr(XY)=tr(YX)が成り立つ。
証明.X=(xij)、Y=(yij)と書くと、有限和の順序を交換して
tr(XY)=i=1∑nj=1∑nxijyji=j=1∑ni=1∑nyjixij=tr(YX)を得る。▨
命題 5.3.n≥1とし、A,Bを半正定値なn次実対称行列とする。このとき
tr(AB)≥n(detAdetB)1/nが成り立つ。右辺のn乗根は非負のものを取る。特に、半正定値なn次実対称行列Aに対して
detA≤(ntrA)nが成り立つ。
証明. 半正定値なn次実対称行列C=(cij)に対して、標準基底をeiとするとcii=ei⊤Cei≥0である。n≥2のとき、§A1.19 定理 2.1により
i=1∏ncii≤(n∑i=1ncii)nとなる。n=1のときも両辺は等しい。したがって命題 4.4により
0≤detC≤(ntrC)n,trC≥0を得る。
Aが正定値である場合、補題 4.2によりA=R⊤Rと書き、C=RBR⊤と置く。B⊤=BからC⊤=Cであり、任意のx∈Rnに対して
x⊤Cx=(R⊤x)⊤B(R⊤x)≥0となるので、Cは半正定値である。補題 5.2をX=RB、Y=R⊤に適用すると
trC=tr(RBR⊤)=tr(R⊤RB)=tr(AB)である。§D3.4 定理 9.1と§D3.4 命題 6.1により
detC=(detR)2detB=detAdetBであるから、Cに対する評価は
tr(AB)≥0,detAdetB≤(ntr(AB))nを与える。
Aが半正定値である場合、t>0に対してA+tIは正定値である。正定値の場合の結果により、次の二つの式はすべてのt>0で非負である。
p(t)=tr((A+tI)B),q(t)=(ntr((A+tI)B))n−det(A+tI)detB.トレースの定義と§D3.4 式 (4.2.1)により、p,qは実係数多項式である。補題 4.3によりp(0),q(0)≥0であり、半正定値のAに対しても
tr(AB)≥0,detAdetB≤(ntr(AB))nが成り立つ。命題 4.4によりdetA,detB≥0なので、非負のn乗根を取ってtr(AB)≥n(detAdetB)1/nを得る。B=Iと置くとdetI=1であるから、特に述べた評価も従う。▨
例 5.4.
A=(2001),B=(1002)は正定値であり、AB=2I2なのでtr(AB)=4=2detAdetBとなる。
一方、
A=(1000),B=(1111)について、x=(x1,x2)⊤に対してx⊤Ax=x12≥0、x⊤Bx=(x1+x2)2≥0なので、A,Bは半正定値である。ともに行列式は0であり、
AB=(1010),BA=(1100)は等しくない。積ABは対称でないが、命題 5.3の評価は1≥0として成り立つ。
半正定値の仮定を外し、A=−I2、B=I2とすると、両行列は実対称であるがtr(AB)=−2である。一方、detA=detB=1なので2detAdetB=2となり、不等式は成り立たない。