条件付き期待値 | 確率論入門

1 定義と存在

定義 1.1. $X\in L^1(P)$ とし、 $\mathcal G\subset\mathcal F$ を部分 σ-加法族とする。 $\mathcal G$ 可測な可積分確率変数 $Y$ が、すべての $A\in\mathcal G$ に対して $\int_A Y\,dP=\int_A X\,dP$ を満たすとき、 $Y$ を $\mathcal G$ に関する $X$ の条件付き期待値 (conditional expectation) といい、 $E[X\mid\mathcal G]$ と書く。

定理 1.2. $X\in L^1(P)$ と部分 σ-加法族 $\mathcal G\subset\mathcal F$ に対して、 $E[X\mid\mathcal G]$ は存在し、 $P$ に関してほとんど至る所で一意である。

証明. $X=X^+-X^-$ とし、 $A\in\mathcal G$ に対して $\nu_\pm(A)=\int_A X^\pm dP$ と置く。 $\nu_\pm$ は $(\Omega,\mathcal G)$ 上の有限正測度であり、 $P|_{\mathcal G}(A)=0$ ならば $\nu_\pm(A)=0$ である。したがって $\nu_\pm\ll P|_{\mathcal G}$ である。従属選択公理の下で有限測度版 Radon–Nikodym の定理§E10.14 定理 1.3を適用すると、非負 $\mathcal G$ 可測関数 $f_\pm$ が存在して $\nu_\pm(A)=\int_Af_\pm dP$ となる。 $\int f_\pm dP=\nu_\pm(\Omega)<\infty$ であるから、 $f_\pm$ は有限値かつ可積分になるよう零集合上で修正することができる。 $Y=f_+-f_-$ と置けば $Y$ は $\mathcal G$ 可測かつ可積分であり、定義の積分等式を満たす。

$Y_1,Y_2$ が二つの候補ならば $Z=Y_1-Y_2$ は $\mathcal G$ 可測かつ可積分で、すべての $A\in\mathcal G$ に対して $\int_AZ\,dP=0$ である。 $A_n=\{Z\geq1/n\}$ とすると $0=\int_{A_n}Z\,dP\geq P(A_n)/n$ であるから $P(Z>0)=0$ である。 $-Z$ にも同じ議論を適用すると $P(Z<0)=0$ となる。したがって $Y_1=Y_2$ がほとんど至る所で成り立つ。▨

注意 1.3 (存在証明に用いた測度). 存在証明では符号付き測度へ直接定理を適用せず、 $X^+$ と $X^-$ が定める二つの有限正測度へ Radon–Nikodym の定理を適用した。したがって、得られる二つの密度が非負であることと可積分であることが構成の中で保証される。

2 基本性質と塔の性質

命題 2.1. $X,Y\in L^1(P)$ 、 $a,b\in\R$ とする。

$E[aX+bY\mid\mathcal G]=aE[X\mid\mathcal G]+bE[Y\mid\mathcal G]$ がほとんど至る所で成り立つ。
$X\geq0$ がほとんど至る所で成り立つならば、 $E[X\mid\mathcal G]\geq0$ もほとんど至る所で成り立つ。
$X$ が $\mathcal G$ 可測ならば $E[X\mid\mathcal G]=X$ がほとんど至る所で成り立つ。
$E[E[X\mid\mathcal G]]=E[X]$ である。
$|E[X\mid\mathcal G]|\leq E[|X|\mid\mathcal G]$ がほとんど至る所で成り立つ。

証明.主張 (1)、主張 (3)、主張 (4)を示す。右辺が可積分かつ $\mathcal G$ 可測であることを確認し、定義の積分等式と一意性を適用すればよい。主張 (2)を示す。 $W=E[X\mid\mathcal G]$ と置き、 $A_n=\{W\leq-1/n\}$ とする。定義から $0\leq\int_{A_n}X\,dP=\int_{A_n}W\,dP\leq-P(A_n)/n$ であるため、 $P(A_n)=0$ である。 $\{W<0\}=\bigcup_nA_n$ なので正値性が従う。最後に $-|X|\leq X\leq|X|$ へ線形性と正値性を適用すると主張 (5)を得る。▨

定理 2.2 (塔の性質). $X\in L^1(P)$ とし、 $\mathcal H\subset\mathcal G\subset\mathcal F$ を部分 σ-加法族とする。このとき $E[E[X\mid\mathcal G]\mid\mathcal H]=E[X\mid\mathcal H]$ がほとんど至る所で成り立つ。

証明. 左辺は $\mathcal H$ 可測かつ可積分である。 $A\in\mathcal H$ は $\mathcal G$ にも属するため、条件付き期待値の定義を二度用いると $\int_AE[E[X\mid\mathcal G]\mid\mathcal H]dP=\int_AE[X\mid\mathcal G]dP=\int_AXdP.$ 一意性により主張が従う。▨

定理 2.3. $Z$ を有限値の実数値 $\mathcal G$ 可測確率変数とする。以下の条件付き期待値の等式は、すべて $P$ に関してほとんど至る所での等式である。

$Z$ が有界で $X\in L^1(P)$ ならば、 $E[XZ\mid\mathcal G]=ZE[X\mid\mathcal G]$ である。
$X\in L^1(P)$ かつ $XZ\in L^1(P)$ ならば、 $ZE[X\mid\mathcal G]$ も可積分であり、同じ等式が成り立つ。

証明.主張 (1)を示す。まず $Z=\mathbf1_B$ 、 $B\in\mathcal G$ の場合には、任意の $A\in\mathcal G$ に対して積分を $A\cap B$ へ移せば定義の等式が得られる。線形性により $\mathcal G$ 可測単関数へ拡張し、有界 $Z$ を単関数で一様近似して積分の極限を取れば主張を得る。

主張 (2)を示す。一般の場合、 $A_n=\{|Z|\leq n\}$ と置く。主張 (1)と命題 2.1 (5)から

E[|Z|\mathbf1_{A_n}|E[X\mid\mathcal G]|] \leq E[|Z|\mathbf1_{A_n}E[|X|\mid\mathcal G]] =E[|ZX|\mathbf1_{A_n}].

単調収束定理§E10.11 定理 1.1により $ZE[X\mid\mathcal G]$ は可積分である。 $Z\mathbf1_{A_n}$ に主張 (1)を適用し、定義の積分等式を任意の $A\in\mathcal G$ 上で書く。両辺で優収束定理§E10.11 定理 3.1を用いて $n\to\infty$ とすれば主張 (2)の等式を得る。▨

3 Jensen の不等式と独立性

補題 3.1. 区間 $I$ 上の有限凸関数 $\varphi$ に対して、可算個のアフィン関数 $\ell_k$ が存在し、 $\ell_k\leq\varphi$ が $I$ 上で成り立ち、 $\varphi(x)=\sup_{k\geq1}\ell_k(x)$ が $I$ のすべての内点 $x$ で成り立つ。

証明. $I=\{a\}$ である場合には、定数アフィン関数 $\ell(x)=\varphi(a)$ だけからなる族を取ればよい。以下では $I$ の内部が空でない場合を考える。

$D$ を $I$ の内部の可算稠密部分集合とする。各 $q\in D$ について、凸性から

\sup_{x<q}\frac{\varphi(q)-\varphi(x)}{q-x} \leq \inf_{y>q}\frac{\varphi(y)-\varphi(q)}{y-q}

であり、両辺は $q$ の両側に固定した点の割線勾配で挟まれるため有限である。両辺の間から $s_q$ を選ぶと、 $\ell_q(x)=\varphi(q)+s_q(x-q)$ は $I$ 上で $\varphi$ 以下になる。

内点 $z\in I$ を任意に取り、 $a<c<z<d<b$ を満たす $a,b,c,d\in I$ を選ぶ。凸性による割線勾配の単調性から、 $c\leq u<v\leq d$ に対して

\frac{\varphi(c)-\varphi(a)}{c-a} \leq \frac{\varphi(v)-\varphi(u)}{v-u} \leq \frac{\varphi(b)-\varphi(d)}{b-d}

が成り立つ。両端の固定割線勾配の絶対値の大きい方を $L$ とすれば、 $|\varphi(v)-\varphi(u)|\leq L|v-u|$ である。したがって $\varphi$ は $[c,d]$ 上で Lipschitz 連続であり、特に $z$ で連続である。

$q_n\in D\cap[c,d]$ かつ $q_n\to z$ となる列を取る。 $s_{q_n}$ の選び方と割線勾配の単調性により

\frac{\varphi(c)-\varphi(a)}{c-a} \leq s_{q_n}\leq \frac{\varphi(b)-\varphi(d)}{b-d}

であるから、 $(s_{q_n})$ は有界である。 $\varphi(q_n)\to\varphi(z)$ と $s_{q_n}(z-q_n)\to0$ が成り立つため、 $\ell_{q_n}(z)\to\varphi(z)$ である。各 $\ell_q$ は $\varphi$ 以下であるから、可算族 $(\ell_q)_{q\in D}$ の上限は $\varphi(z)$ に等しい。▨

定理 3.2 (条件付き Jensen の不等式). $\varphi:I\to\R$ を凸関数とする。 $P(X\in I)=1$ であり、 $X$ と $\varphi(X)$ が可積分で、 $E[X\mid\mathcal G]\in I$ がほとんど至る所で成り立つとする。このとき $\varphi(E[X\mid\mathcal G])\leq E[\varphi(X)\mid\mathcal G]$ がほとんど至る所で成り立つ。

証明. $M=E[X\mid\mathcal G]$ と置く。補題 3.1の各 $\ell_k(x)=a_kx+b_k$ について、 $\ell_k(X)\leq\varphi(X)$ である。線形性と正値性により $\ell_k(E[X\mid\mathcal G])\leq E[\varphi(X)\mid\mathcal G]$ である。可算個の例外零集合の和を除き、すべての $k$ について同時に成立するため、 $M$ が $I$ の内点である事象上では左辺の上限を取って主張を得る。

$a=\inf I$ が $I$ に属する場合に $A=\{M=a\}$ と置く。 $A\in\mathcal G$ であり、可測因子の取り出しと塔の性質から $E[(X-a)\mathbf1_A]=E[(M-a)\mathbf1_A]=0.$ $X-a\geq0$ なので $X=a$ が $A$ 上でほとんど至る所で成り立つ。したがって、可測因子の取り出しにより

\mathbf1_AE[\varphi(X)\mid\mathcal G] =E[\mathbf1_A\varphi(X)\mid\mathcal G] =\varphi(a)\mathbf1_A

であり、 $E[\varphi(X)\mid\mathcal G]=\varphi(a)=\varphi(M)$ が $A$ 上でほとんど至る所で成り立つ。 $I$ に属する上端についても $b-X\geq0$ を用いる同じ議論が成り立つ。これらの事象と内部の事象が $\{M\in I\}$ を覆うため、主張を得る。▨

命題 3.3. $X\in L^1(P)$ とし、 $\sigma(X)$ と $\mathcal G$ が独立であるとする。このとき $E[X\mid\mathcal G]=E[X]$ がほとんど至る所で成り立つ。

証明. 独立性の定義§E11.7 定義 1.1により、 $B\in\sigma(X)$ と $A\in\mathcal G$ に対して $P(A\cap B)=P(A)P(B)$ である。したがって、 $X$ が非負単関数ならば線形性から $E[X\mathbf1_A]=E[X]P(A)$ が成り立つ。非負 $\sigma(X)$ 可測関数を非負単関数で下から近似し、単調収束定理§E10.11 定理 1.1を適用すると、同じ等式が非負 $X$ に対して成り立つ。一般の可積分 $X$ については $X^+$ と $X^-$ へ適用して差を取る。ゆえに $\int_AXdP=E[X]P(A)=\int_AE[X]dP.$ 定数 $E[X]$ は $\mathcal G$ 可測かつ可積分であるから、一意性により主張が従う。▨

4 条件付き確率、分割、条件付き分散

定義 4.1. 事象 $B\in\mathcal F$ に対して、 $P(B\mid\mathcal G)=E[\mathbf1_B\mid\mathcal G]$ と定める。条件付き確率 (conditional probability given a sigma-algebra) $P(B\mid\mathcal G)$ は $\mathcal G$ 可測な確率変数であり、各 $A\in\mathcal G$ 上で $P(A\cap B)$ を再現する。

例 4.2. $(B_k)_{k\in K}$ を有限または可算な可測分割とし、 $\mathcal G=\sigma(B_k:k\in K)$ とする。 $X\in L^1(P)$ ならば

E[X\mid\mathcal G] =\sum_{k:P(B_k)>0}\frac{E[X\mathbf1_{B_k}]}{P(B_k)}\mathbf1_{B_k}

がほとんど至る所で成り立つ。零確率の分割要素上の値は任意であり、表示では零とした。

実際、右辺は $\mathcal G$ 可測であり、絶対値の期待値は $\sum_k|E[X\mathbf1_{B_k}]|\leq E[|X|]$ である。 $\mathcal G$ の各集合は分割要素の和であるから、各分割要素上の積分等式を加えると定義の等式を得る。

$X\in L^2(P)$ とする。条件付き Jensen の不等式を $x\mapsto x^2$ に適用して期待値を取ると、 $E[E[X\mid\mathcal G]^2]\leq E[X^2]<\infty$ である。したがって $E[X\mid\mathcal G]\in L^2(P)$ である。Cauchy–Schwarz の不等式§E11.4 定理 2.2により $X E[X\mid\mathcal G]$ は可積分であり、 $(X-E[X\mid\mathcal G])^2$ を展開した各項も可積分である。

定義 4.3. $X\in L^2(P)$ に対して、 $\operatorname{Var}(X\mid\mathcal G)=E[(X-E[X\mid\mathcal G])^2\mid\mathcal G]$ と定める。

定理 4.4 (全分散公式). $X\in L^2(P)$ ならば

\operatorname{Var}(X\mid\mathcal G)=E[X^2\mid\mathcal G]-E[X\mid\mathcal G]^2

がほとんど至る所で成り立ち、

\operatorname{Var}(X)=E[\operatorname{Var}(X\mid\mathcal G)]+\operatorname{Var}(E[X\mid\mathcal G])

が成り立つ。

証明. 前段で確認した可積分性の下で定義の平方を展開し、可測因子の取り出しを用いると第一式を得る。両辺の期待値を取り、塔の性質から $E[E[X^2\mid\mathcal G]]=E[X^2]$ を用いると、 $E[\operatorname{Var}(X\mid\mathcal G)]=E[X^2]-E[E[X\mid\mathcal G]^2].$ 右辺へ $E[X]^2$ を加減すれば全分散公式を得る。▨

5 扱った範囲と境界

本記事では、条件付き期待値を Radon–Nikodym の定理から構成し、基本性質、塔の性質、可測因子の取り出し、条件付き Jensen の不等式、独立な情報による条件付け、分割上の計算、および全分散公式を証明した。正則条件付き分布と確率核は扱っていない。

6 演習

問題 6.1.

$\Omega=\{1,2,3\}$ に $\mathcal F=\mathcal P(\Omega)$ と一様な確率 $P$ を入れ、 $\mathcal G=\sigma(\{1,2\})$ 、 $\mathcal H=\sigma(\{2,3\})$ 、 $X=\mathbf 1_{\{1\}}$ とおく。 $E[E[X\mid\mathcal G]\mid\mathcal H]$ 、 $E[E[X\mid\mathcal H]\mid\mathcal G]$ 、 $E[X\mid\mathcal H]$ を求め、 $\mathcal H\subset\mathcal G$ の仮定を外すと定理 2.2の結論が成り立たないこと、および二つの反復の順序を交換すると値が変わることを示せ。
$n\geq2$ とし、 $X_1,\dots,X_n$ を相互独立で同じ分布 $\mu$ に従う可積分な実数値確率変数とする。 $S_n=X_1+\dots+X_n$ とおくと、 $E[X_1\mid\sigma(S_n)]=S_n/n$ がほとんど至る所で成り立つことを証明せよ。
$X\in L^2(P)$ に対して $E[(X-E[X\mid\mathcal G])Z]=0$ がすべての有界 $\mathcal G$ 可測確率変数 $Z$ について成り立つことを証明せよ。

解答.

$\mathcal G$ は分割 $\{\{1,2\},\{3\}\}$ 、 $\mathcal H$ は分割 $\{\{1\},\{2,3\}\}$ が生成する σ-加法族であり、各分割要素の確率は正である。例 4.2により、分割要素 $B$ 上の値は $E[Y\mathbf 1_B]/P(B)$ である。 $E[X\mid\mathcal G]$ は $\{1,2\}$ 上で $(1/3)/(2/3)=1/2$ 、 $\{3\}$ 上で $0$ であり、 $E[X\mid\mathcal H]$ は $\{1\}$ 上で $1$ 、 $\{2,3\}$ 上で $0$ である。すなわち $E[X\mid\mathcal H]=X$ である。

$Y=E[X\mid\mathcal G]=\frac12\mathbf 1_{\{1,2\}}$ に同じ公式を $\mathcal H$ について適用すると、 $\{1\}$ 上で $1/2$ 、 $\{2,3\}$ 上で $(1/2\cdot1/3)/(2/3)=1/4$ である。したがって
$E[E[X\mid\mathcal G]\mid\mathcal H]=\frac12\mathbf 1_{\{1\}}+\frac14\mathbf 1_{\{2,3\}}$
である。 $E[X\mid\mathcal H]=\mathbf 1_{\{1\}}$ に $\mathcal G$ について公式を適用すると、 $\{1,2\}$ 上で $(1/3)/(2/3)=1/2$ 、 $\{3\}$ 上で $0$ であるから
$E[E[X\mid\mathcal H]\mid\mathcal G]=\frac12\mathbf 1_{\{1,2\}}$
である。 $\Omega$ の各点の確率は正であるから、ほとんど至る所での一致は各点での一致と同じである。点 $3$ では $E[E[X\mid\mathcal G]\mid\mathcal H]=1/4$ 、 $E[X\mid\mathcal H]=0$ 、 $E[E[X\mid\mathcal H]\mid\mathcal G]=0$ であり、点 $1$ ではそれぞれ $1/2$ 、 $1$ 、 $1/2$ である。したがって $E[E[X\mid\mathcal G]\mid\mathcal H]\neq E[X\mid\mathcal H]$ であり、二つの反復も互いに異なる。この例で $\mathcal H\not\subset\mathcal G$ であり、塔の性質の包含の仮定は満たされていない。
§E11.7 系 2.2により、 $X=(X_1,\dots,X_n)$ の分布は $\mu^{\otimes n}=\mu\otimes\cdots\otimes\mu$ である。 $1\leq i\leq n$ について、第 $1$ 座標と第 $i$ 座標を入れ替える写像を $\tau_i:\R^n\to\R^n$ とする。 $\tau_i$ は連続であり、Borel 長方形 $B_1\times\cdots\times B_n$ について $(\tau_i)_{\#}\mu^{\otimes n}(B_1\times\cdots\times B_n)=\prod_r\mu(B_r)=\mu^{\otimes n}(B_1\times\cdots\times B_n)$ である（因子の順序が入れ替わるだけである）。Borel 長方形全体は $\R^n$ を含む π 系であり $\mathcal B(\R^n)$ を生成するので、§E11.1 定理 5.1により $(\tau_i)_{\#}\mu^{\otimes n}=\mu^{\otimes n}$ である。

Borel 集合 $B\subseteq\R$ を固定し、 $h_i(x)=x_i\mathbf 1_B(x_1+\dots+x_n)$ とおく。 $|h_i(x)|\leq|x_i|$ であり $X_i$ は可積分であるから $h_i(X)$ は可積分である。 $h_i=h_1\circ\tau_i$ であり、和 $x_1+\dots+x_n$ は $\tau_i$ で変わらないから、§E10.12 定理 1.2と前段により
$E[X_i\mathbf 1_{\{S_n\in B\}}]=\int h_1\circ\tau_i\,d\mu^{\otimes n}=\int h_1\,d(\tau_i)_{\#}\mu^{\otimes n}=E[X_1\mathbf 1_{\{S_n\in B\}}]$
である。 $i=1,\dots,n$ について加え、§E11.4 命題 1.2を用いると $nE[X_1\mathbf 1_{\{S_n\in B\}}]=E[S_n\mathbf 1_{\{S_n\in B\}}]$ である。

$\sigma(S_n)=\{\{S_n\in B\}\mid B\in\mathcal B(\R)\}$ であり、 $S_n/n$ は $\sigma(S_n)$ 可測かつ可積分である。前段により、すべての $A\in\sigma(S_n)$ について $\int_AX_1\,dP=\int_AS_n/n\,dP$ が成り立つ。定義 1.1と定理 1.2の一意性により、 $E[X_1\mid\sigma(S_n)]=S_n/n$ がほとんど至る所で成り立つ。
$M=E[X\mid\mathcal G]$ とし、 $Z$ を有界な $\mathcal G$ 可測確率変数、 $C$ を $|Z|\leq C$ を満たす定数とする。 $X\in L^2(P)\subset L^1(P)$ であり、本文で確かめたとおり $M\in L^2(P)\subset L^1(P)$ である。 $|XZ|\leq C|X|$ と $|MZ|\leq C|M|$ から $XZ$ と $MZ$ は可積分であり、§E11.4 命題 1.2により $(X-M)Z$ も可積分で $E[(X-M)Z]=E[XZ]-E[MZ]$ である。定理 2.3 (1)により $E[XZ\mid\mathcal G]=ZM$ がほとんど至る所で成り立つので、命題 2.1 (4)と§E10.10 定理 3.2から
$E[XZ]=E\bigl[E[XZ\mid\mathcal G]\bigr]=E[ZM]$
を得る。したがって $E[(X-M)Z]=E[XZ]-E[MZ]=0$ である。

▨

§E11.11条件付き期待値