§E12.44再生核 Hilbert 空間

最終更新

実数体または複素数体上の関数の Hilbert 空間では、内積による関数の比較と、各点における関数値の評価が基本的な操作となる。関数値をノルムによって制御するためには、各点での評価汎関数の連続性が必要である。再生核 Hilbert 空間は評価汎関数がすべて連続な関数の Hilbert 空間であり、関数値と内積の関係を扱うための基本的な枠組みである。例えば、有限区間上の二乗可積分関数を左端から積分して得られる関数の空間は、適切な内積の下で再生核 Hilbert 空間となる。本記事では、再生核 Hilbert 空間の基本的な性質と、核による構成および代表的な例について解説する。

1 評価汎関数と正定値核

定義 1.1.K∈{R,C}\mathbb K\in\{\R,\C\}とし、XXを空でない集合とする。XX上のK\mathbb K値関数からなる線形空間H⊆KXH\subseteq\mathbb K^Xが内積によって Hilbert 空間となり、すべてのx∈Xx\in Xについて評価汎関数

ev⁡x ⁣:H→K,ev⁡x(f)=f(x)\ev_x\colon H\to\mathbb K,\qquad \ev_x(f)=f(x)

がノルム位相に関して連続であるとき、HHを 再生核 Hilbert 空間 (reproducing kernel Hilbert space) という。関数の和とスカラー倍は各点で定める。複素内積は第1変数について線形、第2変数について共役線形とする。

このとき、§E10.5 定理 1.1により、各x∈Xx\in Xに対して

f(x)=⟨f,kx⟩H(f∈H)f(x)=\langle f,k_x\rangle_H\qquad(f\in H)

を満たすkx∈Hk_x\in Hがただ一つ存在する。この等式を 再生性 (reproducing property) といい、関数

K ⁣:X×X→K,K(x,y)=ky(x)=⟨ky,kx⟩HK\colon X\times X\to\mathbb K,\qquad K(x,y)=k_y(x)=\langle k_y,k_x\rangle_H

をHHの 再生核 (reproducing kernel) という。

定義 1.2.K∈{R,C}\mathbb K\in\{\R,\C\}とし、XXを空でない集合とする。関数K ⁣:X×X→KK\colon X\times X\to\mathbb Kが 正定値核 (positive definite kernel) であるとは、すべてのx,y∈Xx,y\in Xについて

K(y,x)=K(x,y)‾K(y,x)=\overline{K(x,y)}

であり、任意のn∈N≥1n\in\NN、x1,…,xn∈Xx_1,\ldots,x_n\in X、c1,…,cn∈Kc_1,\ldots,c_n\in\mathbb Kに対して

∑i,j=1nci‾cjK(xi,xj)≥0\sum_{i,j=1}^n\overline{c_i}c_jK(x_i,x_j)\ge0

が成り立つことをいう。実数体の場合、共役対称性は対称性である。点xix_iの重複を許し、二次形式の値が零となる場合も許す。

命題 1.3.K∈{R,C}\mathbb K\in\{\R,\C\}とし、HHを空でない集合XX上のK\mathbb K値関数からなる再生核 Hilbert 空間とする。このとき、再生核KKは一意に定まり、正定値核である。核切片kx=K(⋅,x)k_x=K(\cdot,x)の線形包はHHのノルム位相で稠密である。すべてのx∈Xx\in Xとf∈Hf\in Hについて

∥ev⁡x∥=∥kx∥H=K(x,x)1/2,∣f(x)∣≤∥f∥HK(x,x)1/2\|\ev_x\|=\|k_x\|_H=K(x,x)^{1/2}, \qquad |f(x)|\le\|f\|_H K(x,x)^{1/2}

が成り立つ。とくに、fn→ff_n\to fがHHのノルムで成り立つならば、すべてのx∈Xx\in Xについてfn(x)→f(x)f_n(x)\to f(x)である。

証明. 再生式にf=kyf=k_yを代入するとK(x,y)=⟨ky,kx⟩HK(x,y)=\langle k_y,k_x\rangle_Hであるから、内積の共役対称性によりK(y,x)=K(x,y)‾K(y,x)=\overline{K(x,y)}である。任意の有限族x1,…,xn∈Xx_1,\ldots,x_n\in Xとc1,…,cn∈Kc_1,\ldots,c_n\in\mathbb Kに対して

∑i,j=1nci‾cjK(xi,xj)=∥∑j=1ncjkxj∥H2≥0.\sum_{i,j=1}^n\overline{c_i}c_jK(x_i,x_j) =\left\|\sum_{j=1}^nc_jk_{x_j}\right\|_H^2\ge0.

各kxk_xは Riesz 表現の一意性により定まるので、KKも一意である。

M=span⁡{kx:x∈X}M=\operatorname{span}\{k_x:x\in X\}とおく。f∈M⊥f\in M^\perpならば、すべてのx∈Xx\in Xについてf(x)=⟨f,kx⟩H=0f(x)=\langle f,k_x\rangle_H=0であるから、ffは零関数である。したがってM⊥={0}M^\perp=\{0\}であり、§E10.3 命題 2.3によりcl⁡H(M)=H\tpcl[H]{M}=Hである。

§E10.5 定理 1.1のノルム等号と∥kx∥H2=K(x,x)\|k_x\|_H^2=K(x,x)から評価汎関数のノルムを得る。作用素ノルムの定義から∣f(x)∣≤∥f∥HK(x,x)1/2|f(x)|\le\|f\|_H K(x,x)^{1/2}である。この不等式をfn−ff_n-fに適用すると各点収束を得る。▨

例 1.4.X={1,2}X=\{1,2\}上の実数値核KKを

[K(i,j)]i,j=12=(1101)[K(i,j)]_{i,j=1}^2= \begin{pmatrix}1&1\\0&1\end{pmatrix}

で定める。このとき、任意のa,b∈Ra,b\in\Rに対して

∑i,j=12cicjK(i,j)=a2+ab+b2=(a+b2)2+34b2≥0,(c1,c2)=(a,b).\sum_{i,j=1}^2c_ic_jK(i,j) =a^2+ab+b^2 =\left(a+\frac b2\right)^2+\frac34b^2\ge0, \qquad(c_1,c_2)=(a,b).

重複を含む任意の有限点列についても、同じ点に対応する係数を加えるとこの二次形式になるので非負である。しかしK(1,2)≠K(2,1)K(1,2)\ne K(2,1)であるから、命題 1.3によりKKは再生核ではない。

2 正定値核からの構成

補題 2.1.K∈{R,C}\mathbb K\in\{\R,\C\}とし、KKを空でない集合XX上のK\mathbb K値正定値核とする。関数kx=K(⋅,x)k_x=K(\cdot,x)の線形包をH0⊆KXH_0\subseteq\mathbb K^Xとおく。このとき、

⟨∑i=1naikxi,∑j=1mbjkyj⟩0=∑i=1n∑j=1maibj‾K(yj,xi)\left\langle\sum_{i=1}^na_i k_{x_i},\sum_{j=1}^mb_j k_{y_j}\right\rangle_0 =\sum_{i=1}^n\sum_{j=1}^m a_i\overline{b_j}K(y_j,x_i)

は表示によらず定まり、H0H_0の内積である。第1変数について線形であり、すべてのf∈H0f\in H_0とx∈Xx\in Xについて

⟨f,kx⟩0=f(x),∣f(x)∣≤∥f∥0K(x,x)1/2\langle f,k_x\rangle_0=f(x),\qquad |f(x)|\le\|f\|_0K(x,x)^{1/2}

が成り立つ。

証明.f=∑iaikxif=\sum_i a_i k_{x_i}、g=∑jbjkyjg=\sum_j b_j k_{y_j}に対して、主張の二重和をB(f,g)B(f,g)と書く。このとき

B(f,g)=∑jbj‾f(yj)B(f,g)=\sum_j\overline{b_j}f(y_j)

であるから、B(f,g)B(f,g)はffの表示によらない。核の共役対称性によりB(g,f)=B(f,g)‾B(g,f)=\overline{B(f,g)}であるから、ggの表示にもよらない。有限和の演算からBBは第1変数について線形、第2変数について共役線形であり、核の正定値性からB(f,f)≥0B(f,f)\ge0である。またB(f,kx)=f(x)B(f,k_x)=f(x)である。

B(f,f)=0B(f,f)=0とし、x∈Xx\in Xを取る。f(x)≠0f(x)\ne0ならば、t=−εf(x)t=-\varepsilon f(x)、ε>0\varepsilon>0に対して

0≤B(f+tkx,f+tkx)=∣f(x)∣2(−2ε+ε2K(x,x)).0\le B(f+t k_x,f+t k_x) =|f(x)|^2\bigl(-2\varepsilon+\varepsilon^2K(x,x)\bigr).

十分小さいε>0\varepsilon>0では右辺が負となり、非負性に反する。したがって、すべてのx∈Xx\in Xについてf(x)=0f(x)=0であり、ffは零関数である。よってBBは内積である。Cauchy–Schwarz の不等式と∥kx∥02=K(x,x)\|k_x\|_0^2=K(x,x)から評価の不等式を得る。▨

定理 2.2 (Moore–Aronszajn の定理).K∈{R,C}\mathbb K\in\{\R,\C\}とし、KKを空でない集合XX上のK\mathbb K値正定値核とする。このとき、KKを再生核とする再生核 Hilbert 空間HK⊆KXH_K\subseteq\mathbb K^Xがただ一つ存在する。一意性は関数の集合と内積の双方について成り立つ。

証明.補題 2.1の内積空間H0H_0に§E10.4 定理 3.1を適用し、Hilbert 完備化H^0\widehat H_0を取る。H0H_0を完備化の稠密部分空間と同一視し、線形写像

J ⁣:H^0→KX,(Jξ)(x)=⟨ξ,kx⟩H^0J\colon\widehat H_0\to\mathbb K^X,\qquad (J\xi)(x)=\langle\xi,k_x\rangle_{\widehat H_0}

を定める。Jξ=0J\xi=0ならば、ξ\xiはすべてのkxk_xと直交するのでH0H_0と直交する。H0H_0の稠密性と内積の連続性により⟨ξ,ξ⟩=0\langle\xi,\xi\rangle=0であるから、JJは単射である。

HK=J(H^0)H_K=J(\widehat H_0)に⟨Jξ,Jη⟩HK=⟨ξ,η⟩H^0\langle J\xi,J\eta\rangle_{H_K}=\langle\xi,\eta\rangle_{\widehat H_0}で内積を入れると、JJは線形等長全単射であり、HKH_Kは Hilbert 空間である。すべてのx,y∈Xx,y\in Xについて

(Jky)(x)=⟨ky,kx⟩0=K(x,y)=ky(x)(Jk_y)(x)=\langle k_y,k_x\rangle_0=K(x,y)=k_y(x)

であるから、Jky=kyJk_y=k_yである。したがってf=Jξ∈HKf=J\xi\in H_Kに対して

f(x)=⟨ξ,kx⟩H^0=⟨f,kx⟩HK,∣f(x)∣≤∥f∥HKK(x,x)1/2.f(x)=\langle\xi,k_x\rangle_{\widehat H_0} =\langle f,k_x\rangle_{H_K}, \qquad |f(x)|\le\|f\|_{H_K}K(x,x)^{1/2}.

ゆえにHKH_Kは再生核KKをもつ。

H1,H2⊆KXH_1,H_2\subseteq\mathbb K^Xを再生核KKをもつ Hilbert 空間とする。再生性から、両空間の内積はH0H_0上で補題 2.1の式に一致する。f∈H1f\in H_1に対して、命題 1.3の稠密性によりH0H_0の列(fn)(f_n)で∥fn−f∥H1→0\|f_n-f\|_{H_1}\to0となるものを取る。(fn)(f_n)はH2H_2でも Cauchy 列であるから、H2H_2のノルムで極限g∈H2g\in H_2をもつ。両空間における評価の連続性から、すべてのx∈Xx\in Xについて

f(x)=lim⁡nfn(x)=g(x).f(x)=\lim_n f_n(x)=g(x).

したがってf=g∈H2f=g\in H_2である。さらに∥f∥H1=lim⁡n∥fn∥H1=lim⁡n∥fn∥H2=∥f∥H2\|f\|_{H_1}=\lim_n\|f_n\|_{H_1}=\lim_n\|f_n\|_{H_2}=\|f\|_{H_2}である。H1,H2H_1,H_2を入れ替えると関数の集合としてH1=H2H_1=H_2を得る。任意の二関数をH0H_0の列で近似し、内積の連続性を用いると、両空間の内積も一致する。▨

3 特徴写像と評価の共役作用素

定理 3.1.K∈{R,C}\mathbb K\in\{\R,\C\}とし、XXを空でない集合、GGをK\mathbb K上の Hilbert 空間、Φ ⁣:X→G\Phi\colon X\to Gを写像とする。内積は第1変数について線形とする。このとき

K(x,y)=⟨Φ(y),Φ(x)⟩GK(x,y)=\langle\Phi(y),\Phi(x)\rangle_G

は正定値核である。G0=cl⁡G(span⁡Φ(X))G_0=\tpcl[G]{\operatorname{span}\Phi(X)}とおき、線形写像V ⁣:G→KXV\colon G\to\mathbb K^Xを

(Vg)(x)=⟨g,Φ(x)⟩G(Vg)(x)=\langle g,\Phi(x)\rangle_G

で定めると、ker⁡V=Φ(X)⊥=G0⊥\ker V=\Phi(X)^\perp=G_0^\perpであり、V∣G0V|_{G_0}はG0G_0からHKH_Kへの線形等長全単射である。また、V(G)=HKV(G)=H_Kであり、VΦ(y)=kyV\Phi(y)=k_yである。このように核を表す写像Φ\PhiをKKの特徴写像 (feature map) という。

証明. 写像VVの定義と内積の連続性からker⁡V=Φ(X)⊥=G0⊥\ker V=\Phi(X)^\perp=G_0^\perpである。したがってV∣G0V|_{G_0}は単射である。§E10.3 定理 2.2によりG=G0⊕G0⊥G=G_0\oplus G_0^\perpであるから、V(G)=V(G0)V(G)=V(G_0)である。

V(G0)V(G_0)に⟨Vg,Vh⟩=⟨g,h⟩G\langle Vg,Vh\rangle=\langle g,h\rangle_G（g,h∈G0g,h\in G_0）で内積を入れる。G0G_0は Hilbert 空間の閉部分空間であるから、この内積によってV(G0)V(G_0)は Hilbert 空間となる。Φ(x)∈G0\Phi(x)\in G_0であり、

(Vg)(x)=⟨g,Φ(x)⟩G=⟨Vg,VΦ(x)⟩,(VΦ(y))(x)=K(x,y).(Vg)(x)=\langle g,\Phi(x)\rangle_G =\langle Vg,V\Phi(x)\rangle, \qquad (V\Phi(y))(x)=K(x,y).

Cauchy–Schwarz の不等式から∣(Vg)(x)∣≤∥Vg∥∥Φ(x)∥G|(Vg)(x)|\le\|Vg\|\|\Phi(x)\|_Gであるので、各評価は連続である。ゆえにV(G0)V(G_0)は再生核KKをもち、命題 1.3によりKKは正定値核である。定理 2.2の一意性によりV(G0)=HKV(G_0)=H_Kであり、内積も一致する。▨

命題 3.2.K∈{R,C}\mathbb K\in\{\R,\C\}とし、HKH_Kを空でない集合XX上のK\mathbb K値関数の再生核 Hilbert 空間とする。K\mathbb Kの内積を⟨a,b⟩=ab‾\langle a,b\rangle=a\overline bとする。このとき、評価汎関数ev⁡y ⁣:HK→K\ev_y\colon H_K\to\mathbb Kの共役作用素は

ev⁡y∗ ⁣:K→HK,c⟼cky\ev_y^*\colon\mathbb K\to H_K,\qquad c\longmapsto c k_y

であり、すべてのx,y∈Xx,y\in Xに対して

ev⁡xev⁡y∗=K(x,y)id⁡K,K(x,y)=(ev⁡xev⁡y∗)(1)\ev_x\ev_y^*=K(x,y)\id_{\mathbb K}, \qquad K(x,y)=(\ev_x\ev_y^*)(1)

が成り立つ。

証明.f∈HKf\in H_Kとc∈Kc\in\mathbb Kに対して

⟨ev⁡yf,c⟩K=f(y)c‾=⟨f,cky⟩HK\langle\ev_yf,c\rangle_{\mathbb K} =f(y)\overline c =\langle f,c k_y\rangle_{H_K}

である。写像c↦ckyc\mapsto c k_yは有界線形であり、この等式によりev⁡y\ev_yの共役作用素である。したがって(ev⁡xev⁡y∗)(c)=cky(x)=K(x,y)c(\ev_x\ev_y^*)(c)=c k_y(x)=K(x,y)cである。▨

4 積分で表される再生核空間

例 4.1.T>0T>0、K∈{R,C}\mathbb K\in\{\R,\C\}とし、X=[0,T]X=[0,T]上の核をK(s,t)=min⁡(s,t)K(s,t)=\min(s,t)とする。このとき、KKは正定値核であり、その再生核 Hilbert 空間は

HK={hg:g∈L2((0,T),λ;K)},hg(t)=∫0tg(u) dλ(u)H_K=\{h_g:g\in L^2((0,T),\lambda;\mathbb K)\}, \qquad h_g(t)=\int_0^t g(u)\,d\lambda(u)

である。各hgh_gに対応するL2L^2の元ggは一意であり、内積と再生核の切片は

⟨hg,hf⟩HK=∫0Tg(u)f(u)‾ dλ(u),kt=h1(0,t),kt(s)=min⁡(s,t)\langle h_g,h_f\rangle_{H_K} =\int_0^T g(u)\overline{f(u)}\,d\lambda(u), \qquad k_t=h_{\mathbf 1_{(0,t)}},\qquad k_t(s)=\min(s,t)

で与えられる。

証明.G=L2((0,T),λ;K)G=L^2((0,T),\lambda;\mathbb K)の元としてΦ(t)=1(0,t)\Phi(t)=\mathbf 1_{(0,t)}を取る。§E10.13 定理 2.2によりGGは Hilbert 空間である。このとき

⟨Φ(t),Φ(s)⟩G=λ((0,t)∩(0,s))=min⁡(s,t).\langle\Phi(t),\Phi(s)\rangle_G =\lambda((0,t)\cap(0,s))=\min(s,t).

したがって定理 3.1によりKKは正定値核であり、対応する写像はVg=hgVg=h_gである。積分は Cauchy–Schwarz の不等式

∫0T∣g(u)∣ dλ(u)≤T1/2∥g∥2\int_0^T|g(u)|\,d\lambda(u)\le T^{1/2}\|g\|_2

により有限であり、L2L^2の代表元によらない。

Vg=0Vg=0とする。任意の0<a<b<T0<a<b<Tについて

∫abg(u) dλ(u)=hg(b)−hg(a)=0.\int_a^b g(u)\,d\lambda(u)=h_g(b)-h_g(a)=0.

ゆえに、u∈(0,T)u\in(0,T)と0<r<min⁡{u,T−u}0<r<\min\{u,T-u\}に対してggの区間(u−r,u+r)(u-r,u+r)上の平均は零である。§E10.45 定理 3.2により、ほとんどすべてのu∈(0,T)u\in(0,T)でこの平均はr↓0r\downarrow0のときg(u)g(u)に収束する。したがってg=0g=0がほとんどいたるところで成り立ち、ker⁡V={0}\ker V=\{0\}である。

定理 3.1によりΦ(X)⊥={0}\Phi(X)^\perp=\{0\}であるから、§E10.3 命題 2.3によりcl⁡G(span⁡Φ(X))=G\tpcl[G]{\operatorname{span}\Phi(X)}=Gである。同じ特徴写像の定理からVVはGGとHKH_Kの線形等長全単射であり、VΦ(t)=ktV\Phi(t)=k_tである。▨

5 核型空間との関係

注意 5.1.K∈{R,C}\mathbb K\in\{\R,\C\}上の無限次元の再生核 Hilbert 空間HKH_Kは、Hilbert ノルムの位相では核型空間でない。実際、§E12.41 定理 5.3により、ノルム化可能な核型空間は有限次元である。

HKH_Kの稠密線形部分空間Φ\Phiに核型な Hausdorff 局所凸位相を入れ、包含j ⁣:Φ→HKj\colon\Phi\to H_Kが連続になるとする。このとき、その位相はHKH_Kからの部分空間ノルム位相より真に強い。両位相が等しければΦ\Phiはノルム化可能な核型空間となるので、§E12.41 定理 5.3によりΦ\Phiは有限次元である。しかし、§E10.1 系 2.4により有限次元部分空間は閉じているので、稠密性からΦ=HK\Phi=H_Kとなり、HKH_Kの無限次元性に反する。この追加の位相の下で§E12.43 定義 1.1の Gelfand 三つ組

Φ⊆HK⊆Φ×,(Ih)(φ)=⟨h,jφ⟩HK\Phi\subseteq H_K\subseteq\Phi^\times, \qquad (Ih)(\varphi)=\langle h,j\varphi\rangle_{H_K}

を得る。実数体の場合にはΦ×=Φ′\Phi^\times=\Phi'であり、複素数体の場合にはΦ×\Phi^\timesは連続な共役線形汎関数の空間である。

前提記事