§E11.6確率ベクトルと同時分布

最終更新

複数の確率変数を一つの可測写像として扱うと、同時分布、周辺分布、および共分散行列を統一的に定義することができる。本記事では有限次元の場合を扱う。

1 確率ベクトルと周辺分布

定義 1.1.n≥1n\geq1とし、(Ω,F,P)(\Omega,\mathcal F,P)を確率空間とする。Borel 可測写像X=(X1,…,Xn):Ω→RnX=(X_1,\ldots,X_n):\Omega\to\R^nを確率ベクトル (random vector) という。その同時分布 (joint distribution) は像測度μX(B)=P(X∈B)(B∈B(Rn))\mu_X(B)=P(X\in B)\qquad(B\in\mathcal B(\R^n))である。第ii周辺分布 (ii-th marginal distribution) はμX∘πi−1\mu_X\circ\pi_i^{-1}であり、XiX_iの分布に等しい。

命題 1.2.X=(X1,…,Xn):Ω→RnX=(X_1,\ldots,X_n):\Omega\to\R^nが Borel 可測であることと、各XiX_iが実数値確率変数であることは同値である。

証明.XXが可測ならば、連続な座標射影πi\pi_iとの合成Xi=πi∘XX_i=\pi_i\circ Xは可測である。逆に各XiX_iが可測ならば、半開直方体R=∏i(ai,bi]R=\prod_i(a_i,b_i]に対してX−1(R)=⋂i=1nXi−1((ai,bi])∈F.X^{-1}(R)=\bigcap_{i=1}^nX_i^{-1}((a_i,b_i])\in\mathcal F.逆像がF\mathcal Fに属する Borel 集合の全体は σ-加法族であり、半開直方体はB(Rn)\mathcal B(\R^n)を生成する。したがってXXは可測である。▨

定義 1.3. 確率ベクトルXXの同時分布関数 (joint distribution function) をFX(x1,…,xn)=P(X1≤x1,…,Xn≤xn)F_X(x_1,\ldots,x_n)=P(X_1\leq x_1,\ldots,X_n\leq x_n)と定める。

2 質量関数と密度

定義 2.1.XXが可算集合S⊂RnS\subset\R^nに値を取るとき、p(x)=P(X=x)p(x)=P(X=x)(x∈S)(x\in S)を同時確率質量関数 (joint probability mass function) という。第ii成分の質量関数はpi(t)=∑x∈S: xi=tp(x)p_i(t)=\sum_{x\in S:\,x_i=t}p(x)である。

定義 2.2. ある非負 Borel 可測関数f:Rn→[0,∞]f:\R^n\to[0,\infty]が存在し、すべての Borel 集合BBに対してP(X∈B)=∫Bf(x) dxP(X\in B)=\int_B f(x)\,dxとなるとき、ffをXXの同時密度 (joint density) という。このとき∫Rnf dx=1\int_{\R^n}f\,dx=1である。

定理 2.3.X=(X1,…,Xn)X=(X_1,\ldots,X_n)が同時密度ffをもち、1≤k<n1\leq k<nとする。このとき(X1,…,Xk)(X_1,\ldots,X_k)は密度g(x1,…,xk)=∫Rn−kf(x1,…,xn) dxk+1⋯dxng(x_1,\ldots,x_k)=\int_{\R^{n-k}}f(x_1,\ldots,x_n)\,dx_{k+1}\cdots dx_nをもつ。

証明. Lebesgue 測度空間は σ-有限であり、ffは非負可測である。可算選択公理の下で Tonelli の定理§E10.19 定理 2.3を適用する。任意のB∈B(Rk)B\in\mathcal B(\R^k)に対して、

P((X1,…,Xk)∈B)=∫B×Rn−kf=∫Bg(x1,…,xk) dx1⋯dxk.P((X_1,\ldots,X_k)\in B) =\int_{B\times\R^{n-k}}f =\int_Bg(x_1,\ldots,x_k)\,dx_1\cdots dx_k.

したがってggは周辺密度である。▨

命題 2.4.X=(X1,…,Xn)X=(X_1,\ldots,X_n)が密度ffをもち、実数値 Borel 可測関数h:Rn→Rh:\R^n\to\Rが∫Rn∣h(x)∣f(x)dx<∞\int_{\R^n}|h(x)|f(x)dx<\inftyを満たすとする。このときh(X)h(X)は可積分である。さらに1≤k<n1\leq k<nに対して、

E[h(X)]=∫Rk ⁣(∫Rn−kh(x′,x′′)f(x′,x′′) dx′′)dx′=∫Rn−k ⁣(∫Rkh(x′,x′′)f(x′,x′′) dx′)dx′′.E[h(X)]=\int_{\R^k}\!\left(\int_{\R^{n-k}}h(x',x'')f(x',x'')\,dx''\right)dx' =\int_{\R^{n-k}}\!\left(\int_{\R^k}h(x',x'')f(x',x'')\,dx'\right)dx''.

二つの内側の積分は、それぞれ外側の Lebesgue 測度に関してほとんど至る所で有限である。

証明. 一般の像測度積分公式§E10.12 定理 1.2を非負関数∣h∣|h|と可測写像XXに適用すると、E[∣h(X)∣]=∫∣h∣f<∞E[|h(X)|]=\int|h|f<\inftyである。同じ公式をh+h^+とh−h^-に適用して差を取るとE[h(X)]=∫hfE[h(X)]=\int hfを得る。関数hfhfは絶対可積分であり、Lebesgue 測度空間は σ-有限であるため、可算選択公理の下で Fubini の定理§E10.19 定理 3.2を適用する。したがって主張した二つの反復積分がE[h(X)]E[h(X)]に等しい。▨

例 2.5.f(x,y)=21{0<y<x<1}f(x,y)=2\mathbf1_{\{0<y<x<1\}}とする。Tonelli の定理により総積分は∫01∫0x2 dy dx=1\int_0^1\int_0^x2\,dy\,dx=1である。周辺密度はfX1(x)=2x1(0,1)(x),fX2(y)=2(1−y)1(0,1)(y)f_{X_1}(x)=2x\mathbf1_{(0,1)}(x),\qquad f_{X_2}(y)=2(1-y)\mathbf1_{(0,1)}(y)となる。

3 共分散行列

定義 3.1.X=(X1,…,Xn)X=(X_1,\ldots,X_n)の各成分がL2(P)L^2(P)に属するとする。mi=E[Xi]m_i=E[X_i]と置き、Σij=Cov⁡(Xi,Xj)=E[(Xi−mi)(Xj−mj)]\Sigma_{ij}=\operatorname{Cov}(X_i,X_j)=E[(X_i-m_i)(X_j-m_j)]で定まる行列Σ\Sigmaを共分散行列 (covariance matrix) という。

Cauchy–Schwarz の不等式§E11.4 定理 2.2により各積(Xi−mi)(Xj−mj)(X_i-m_i)(X_j-m_j)は可積分であるため、Σ\Sigmaのすべての成分が有限に定まる。

定理 3.2. 共分散行列Σ\Sigmaは対称であり、すべてのa∈Rna\in\R^nに対してaTΣa≥0a^{\mathsf T}\Sigma a\geq0を満たす。

証明. 積の交換法則からΣij=Σji\Sigma_{ij}=\Sigma_{ji}である。有限和と期待値を交換して、

aTΣa=E ⁣[(∑i=1nai(Xi−mi))2]≥0a^{\mathsf T}\Sigma a =E\!\left[\left(\sum_{i=1}^na_i(X_i-m_i)\right)^2\right]\geq0

を得る。各項は二次可積分確率変数の有限線形結合であるから、表示された期待値は有限である。▨

4 演習

問題 4.1.

  1. 同時分布関数から各周辺分布関数を極限によって取り出せ。
  2. 例 2.5についてE[X1X2]E[X_1X_2]を二通りの積分順序で計算せよ。
  3. 共分散行列が正定値でないことと、ある非零aaに対して∑iai(Xi−E[Xi])=0\sum_i a_i(X_i-E[X_i])=0がほとんど至る所で成り立つことが同値であると証明せよ。
解答.

  1. 1≤i≤n1\leq i\leq nとt∈Rt\in\Rを固定する。正の整数NNに対して、第ii座標をtt、他の座標をすべてNNとした点での値を

    FX(N,…,N,t,N,…,N)=P({Xi≤t}∩⋂j≠i{Xj≤N})=P(AN)F_X(N,\dots,N,t,N,\dots,N)=P\Bigl(\{X_i\leq t\}\cap\bigcap_{j\neq i}\{X_j\leq N\}\Bigr)=P(A_N)

    と書く。(AN)(A_N)はNNについて増加する。各XjX_jは実数値であるから、任意のω\omegaについて十分大きいNNでXj(ω)≤NX_j(\omega)\leq Nがすべてのj≠ij\neq iについて成り立つ。したがって⋃NAN={Xi≤t}\bigcup_NA_N=\{X_i\leq t\}であり、§E10.8 定理 4.1 (1)によりP(AN)→P(Xi≤t)=FXi(t)P(A_N)\to P(X_i\leq t)=F_{X_i}(t)である。

    さらに、xj≥Nx_j\geq Nがすべてのj≠ij\neq iについて成り立つ点xx（xi=tx_i=t）では、事象の包含からP(AN)≤FX(x)≤P(Xi≤t)P(A_N)\leq F_X(x)\leq P(X_i\leq t)である。したがって、第ii座標をttに固定して他のすべての座標を∞\inftyへ近づけると

    lim⁡min⁡j≠ixj→∞FX(x1,…,xi−1,t,xi+1,…,xn)=FXi(t)\lim_{\min_{j\neq i}x_j\to\infty}F_X(x_1,\dots,x_{i-1},t,x_{i+1},\dots,x_n)=F_{X_i}(t)

    が成り立ち、第ii周辺分布関数が同時分布関数から取り出される。

  2. h(x,y)=xyh(x,y)=xyとおくと、f(x,y)≠0f(x,y)\neq0となる点では0<y<x<10<y<x<1であるから∣h∣f≤2|h|f\leq2であり、∫∣h∣f≤2∫1{0<y<x<1}=1<∞\int|h|f\leq2\int\mathbf 1_{\{0<y<x<1\}}=1<\inftyである。命題 2.4によりX1X2X_1X_2は可積分であり、E[X1X2]E[X_1X_2]は二つの順序の反復積分に等しい。内側の積分は連続関数の有限区間上の積分であり、§E10.17 系 5.2により Riemann 積分として計算することができる。yyを先に積分すると

    E[X1X2]=∫01(∫0x2xy dy)dx=∫012x⋅x22 dx=∫01x3 dx=14E[X_1X_2]=\int_0^1\left(\int_0^x2xy\,dy\right)dx=\int_0^12x\cdot\frac{x^2}{2}\,dx=\int_0^1x^3\,dx=\frac14

    である。xxを先に積分すると

    E[X1X2]=∫01(∫y12xy dx)dy=∫01y(1−y2) dy=12−14=14E[X_1X_2]=\int_0^1\left(\int_y^12xy\,dx\right)dy=\int_0^1y(1-y^2)\,dy=\frac12-\frac14=\frac14

    である。二つの順序の値は一致する。

  3. mi=E[Xi]m_i=E[X_i]とし、a∈Rna\in\R^nに対してYa=∑iai(Xi−mi)Y_a=\sum_ia_i(X_i-m_i)とおく。定理 3.2の証明の計算によりaTΣa=E[Ya2]a^{\mathsf T}\Sigma a=E[Y_a^2]であり、Σ\Sigmaは半正定値である。したがって、Σ\Sigmaが正定値でないこと、すなわちaTΣa>0a^{\mathsf T}\Sigma a>0がすべての非零aaについては成り立たないことは、aTΣa=0a^{\mathsf T}\Sigma a=0を満たす非零aaが存在することと同値である。

    Ya2Y_a^2は非負可測関数であるから、§E10.22 系 3.1によりE[Ya2]=0E[Y_a^2]=0はYa2=0Y_a^2=0、すなわちYa=0Y_a=0がほとんど至る所で成り立つことと同値である。以上を合わせると、Σ\Sigmaが正定値でないことは、ある非零aaに対して∑iai(Xi−E[Xi])=0\sum_ia_i(X_i-E[X_i])=0がほとんど至る所で成り立つことと同値である。

▨

参考文献

  1. Patrick Billingsley, Probability and Measure, Anniversary Edition, Wiley, 2012, originally published 1995.
  2. Olav Kallenberg, Foundations of Modern Probability, 3rd ed., Probability Theory and Stochastic Modelling, Springer, Cham, 2021.

前提記事