独立性と積分布 | 確率論入門

1 事象族と σ-加法族の独立性

独立性の定義で有限個の添字を選ぶときには、同じ添字を重複して選ばない。重複を許すと、一般には $P(A_i)^2=P(A_i)$ が要求される。そのため、重複を許して定めた条件は、独立性とは異なる条件になる。

定義 1.1. $(\Omega,\mathcal{F},P)$ を確率空間とし、 $I$ を空でない添字集合とする。

事象族 $(A_i)_{i\in I}$ が相互独立 (mutually independent events) であるとは、任意の $k\geq 1$ 、相異なる添字 $i_1,\ldots,i_k\in I$ に対して $P\!\left(\bigcap_{r=1}^{k}A_{i_r}\right) =\prod_{r=1}^{k}P(A_{i_r})$ が成り立つことをいう。任意の相異なる $i,j\in I$ について二事象 $A_i,A_j$ だけが独立であるとき、事象族は二つずつ独立 (pairwise independent events) であるという。
部分 σ-加法族の族 $(\mathcal{G}_i)_{i\in I}$ が相互独立 (mutually independent sigma-algebras) であるとは、任意の $k\geq1$ 、相異なる添字 $i_1,\ldots,i_k$ 、事象 $A_{i_r}\in\mathcal{G}_{i_r}$ に対して上の積の公式が成り立つことをいう。二つずつの独立性 (pairwise independence of sigma-algebras) も、相異なる二つの σ-加法族から一事象ずつ選んで定める。
実数値確率変数族 $(X_i)_{i\in I}$ が相互独立 (mutually independent random variables) であるとは、生成 σ-加法族の族 $(\sigma(X_i))_{i\in I}$ が相互独立であることをいう。二つずつの独立性 (pairwise independence of random variables) も生成 σ-加法族の族によって定める。

命題 1.2. $n\geq1$ とし、 $X_1,\ldots,X_n$ を実数値確率変数とする。このとき、 $X_1,\ldots,X_n$ が相互独立であることと、任意の Borel 集合 $B_1,\ldots,B_n\subset\R$ に対して

P(X_1\in B_1,\ldots,X_n\in B_n) =\prod_{r=1}^{n}P(X_r\in B_r)

が成り立つことは同値である。

証明. $X_1,\ldots,X_n$ が相互独立であるとする。各 $r$ に対して $\{X_r\in B_r\}=X_r^{-1}(B_r)\in\sigma(X_r)$ であるから、定義 1.1で全添字を選ぶと主張の積の公式を得る。

逆に、任意の Borel 集合 $B_1,\ldots,B_n$ に対して積の公式が成り立つと仮定する。 $\sigma(X_i)=\{X_i^{-1}(B):B\in\mathcal{B}(\R)\}$ である。実際、右辺は逆像が補集合と可算和を保つことから σ-加法族をなし、 $X_i$ を可測にする最小の σ-加法族に一致する。

$1\leq k\leq n$ 、相異なる添字 $i_1,\ldots,i_k$ 、事象 $A_{i_j}\in\sigma(X_{i_j})$ を任意に選ぶ。各 $j$ について、ある Borel 集合 $C_{i_j}$ が存在して $A_{i_j}=\{X_{i_j}\in C_{i_j}\}$ と書くことができる。選ばれなかった添字 $r$ には $C_r=\R$ と置く。仮定した積の公式を $C_1,\ldots,C_n$ へ適用すると、

P\!\left(\bigcap_{j=1}^{k}A_{i_j}\right) =\prod_{r=1}^{n}P(X_r\in C_r) =\prod_{j=1}^{k}P(A_{i_j})

を得る。添字と事象の選び方は任意であるから、定義 1.1により $X_1,\ldots,X_n$ は相互独立である。▨

例 1.3. $\Omega=\{00,01,10,11\}$ の各点へ確率 $1/4$ を与える。事象

A=\{10,11\},\qquad B=\{01,11\},\qquad C=\{00,11\}

を考える。三事象はいずれも確率 $1/2$ をもち、

A\cap B=\{11\},\qquad A\cap C=\{11\},\qquad B\cap C=\{11\}

である。したがって、各二事象の共通部分の確率は $1/4=(1/2)(1/2)$ であり、三事象は二つずつ独立である。

一方、 $A\cap B\cap C=\{11\}$ であるから、

P(A\cap B\cap C)=\frac14 \neq\frac18 =P(A)P(B)P(C).

ゆえに、三事象は相互独立ではない。この例では三つの二事象の組をすべて計算しているため、二つずつの独立性の確認に抜けはない。

2 同時分布と積分布

確率ベクトル $(X,Y)$ の同時分布を $\mu_{(X,Y)}$ 、各成分の分布を $\mu_X,\mu_Y$ と書く。積測度の存在と一意性は§E10.15 定理 5.1により得られる。確率測度は有限測度であるため、同定理の σ-有限性の仮定を満たす。

2.1 証明方針

独立性から Borel 長方形上の同時分布の値を計算し、その値が積測度の長方形値に一致することを示す。積測度の一意性によって長方形上の一致を Borel 集合族全体へ広げる。逆向きは積測度の長方形値を独立性の定義へ戻す。有限個の場合には、長方形がなす π 系と π–λ 定理によって同じ一意性を示す。

定理 2.1. 実数値確率変数 $X,Y$ に対して、次の二条件は同値である。

$X$ と $Y$ は独立である。
$\R^2$ の Borel 集合族上で $\mu_{(X,Y)}=\mu_X\otimes\mu_Y$ が成り立つ。

証明.(1) $\Rightarrow$ (2)を示す。 $X$ と $Y$ が独立であるとする。任意の Borel 集合 $B,C\subset\R$ に対して、

\mu_{(X,Y)}(B\times C) =P(X\in B,Y\in C) =\mu_X(B)\mu_Y(C)

である。Borel 長方形は $\R^2$ の Borel 集合族を生成する。§E10.15 定理 5.1によれば、この長方形値をもつ測度は一意であるため、 $\mu_{(X,Y)}=\mu_X\otimes\mu_Y$ となる。

(2) $\Rightarrow$ (1)を示す。逆に積分布の等式を仮定すると、任意の Borel 集合 $B,C$ に対して

P(X\in B,Y\in C) =(\mu_X\otimes\mu_Y)(B\times C) =\mu_X(B)\mu_Y(C)

である。したがって、定義 1.1により $X$ と $Y$ は独立である。▨

系 2.2. $n\geq2$ とし、 $X_1,\ldots,X_n$ を実数値確率変数とする。このとき、 $X_1,\ldots,X_n$ が相互独立であることと

\mu_{(X_1,\ldots,X_n)} =\mu_{X_1}\otimes\cdots\otimes\mu_{X_n}

が成り立つことは同値である。右辺の有限積測度は左から反復して構成する。

証明. 相互独立性を仮定する。任意の Borel 長方形 $B_1\times\cdots\times B_n$ に対して、

\mu_{(X_1,\ldots,X_n)}(B_1\times\cdots\times B_n) =\prod_{r=1}^{n}\mu_{X_r}(B_r)

である。確率測度の有限積は、§E10.15 定理 5.1を反復して一意に構成され、同じ長方形値をもつ。Borel 長方形は π 系であり、 $\R^n$ の Borel 集合族を生成する。同時分布と有限積測度は全質量 $1$ の有限測度であるため、両測度が一致する Borel 集合全体は Dynkin 系をなす。したがって、§E10.9 定理 1.8により二つの測度は一致する。

逆に同時分布が有限積測度に一致するなら、Borel 長方形上の値を計算することにより

P(X_1\in B_1,\ldots,X_n\in B_n) =\prod_{r=1}^{n}P(X_r\in B_r)

を得る。したがって、確率変数族は相互独立である。▨

3 独立な確率変数の積の期待値

積の期待値を分解する前に、積そのものが可積分であることを確認する必要がある。各確率変数の可積分性と独立性から、この確認を Tonelli の定理によって行うことができる。

3.1 証明方針

最初に同時分布を積測度へ置き換える。非負関数 $|xy|$ へ Tonelli の定理を適用して、その積分が $E[|X|]E[|Y|]$ に等しく有限であることを示す。この絶対可積分性を確認した後に限って符号をもつ関数 $xy$ へ Fubini の定理を適用し、二つの一変数積分の積へ分解する。

定理 3.1. $X,Y$ を独立な実数値確率変数とし、

E[|X|]<\infty, \qquad E[|Y|]<\infty

を仮定する。このとき $XY$ は可積分であり、

E[XY]=E[X]E[Y]

が成り立つ。

証明.定理 2.1により、 $(X,Y)$ の同時分布は $\mu_X\otimes\mu_Y$ である。分布による積分表示は、非負 Borel 可測関数 $h$ について

E[h(X,Y)]=\int_{\R^2}h(x,y)\,d\mu_{(X,Y)}(x,y)

を与える。この表示は、指示関数では同時分布の定義であり、非負単関数では有限加法性、一般の非負可測関数では非負単関数の増加近似と単調収束定理から従う。

$h(x,y)=|xy|$ とし、非負関数に対する§E10.19 定理 2.3を適用すると、

\begin{aligned} E[|XY|] &=\int_{\R^2}|xy|\,d(\mu_X\otimes\mu_Y)(x,y)\\ &=\int_{\R}|x| \left(\int_{\R}|y|\,d\mu_Y(y)\right)d\mu_X(x)\\ &=E[|X|]E[|Y|]<\infty. \end{aligned}

したがって、 $XY$ は可積分であり、 $(x,y)\mapsto xy$ は積測度について絶対可積分である。この確認により、分布による積分表示を $xy$ の正部分と負部分へ適用することができる。その後に§E10.19 定理 3.2を適用すると、

\begin{aligned} E[XY] &=\int_{\R^2}xy\,d(\mu_X\otimes\mu_Y)(x,y)\\ &=\int_{\R}x \left(\int_{\R}y\,d\mu_Y(y)\right)d\mu_X(x)\\ &=E[X]E[Y]. \end{aligned}

▨

系 3.2. $X,Y$ を独立な二次可積分実数値確率変数とする。このとき、

\operatorname{Cov}(X,Y)=0, \qquad \operatorname{Var}(X+Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)

が成り立つ。

証明. 確率測度の全質量は $1$ であるため、Cauchy–Schwarz の不等式から $E[|X|]\leq E[X^2]^{1/2}$ であり、 $Y$ についても同様である。したがって、 $X,Y$ は可積分である。定理 3.1により $E[XY]=E[X]E[Y]$ であるから、

\operatorname{Cov}(X,Y) =E[XY]-E[X]E[Y]=0.

また、 $(X+Y)^2\leq2X^2+2Y^2$ であるため $X+Y$ は二次可積分である。平方を展開すると、

\operatorname{Var}(X+Y) =\operatorname{Var}(X)+\operatorname{Var}(Y) +2\operatorname{Cov}(X,Y),

したがって主張を得る。▨

無相関性は二次の積率だけを用いる条件であり、同時分布全体が積分布に一致するという独立性の条件より弱い。

例 3.3. $X$ が $\{-1,0,1\}$ の各点を確率 $1/3$ でとり、 $Y=X^2$ とする。このとき、

E[X]=0, \qquad E[Y]=\frac23, \qquad E[XY]=E[X^3]=0.

したがって、 $\operatorname{Cov}(X,Y)=0$ である。一方、

P(X=0,Y=0)=\frac13, \qquad P(X=0)P(Y=0)=\frac19

である。積の公式が成り立たないため、 $X$ と $Y$ は独立ではない。

注意 3.4. 本記事の積分布による特徴づけは有限個の確率変数を対象とし、無限積測度による独立な無限列の構成は扱わない。

4 演習

問題 4.1 (補事象を含む積の公式). 事象 $A,B$ が独立であるとする。 $\Omega\setminus A$ と $B$ も独立であることを証明せよ。

解答.

$A\cap B$ と $(\Omega\setminus A)\cap B$ は互いに交わらず、和集合は $B$ である。したがって、

\begin{aligned} P((\Omega\setminus A)\cap B) &=P(B)-P(A\cap B)\\ &=P(B)-P(A)P(B)\\ &=P(\Omega\setminus A)P(B). \end{aligned}

ゆえに、 $\Omega\setminus A$ と $B$ は独立である。▨

問題 4.2.

例 1.3について、 $A$ 、 $B$ 、 $C$ のうち一つだけを補事象へ置き換えた三事象が、二つずつ独立であるが相互独立ではないことを、すべての共通部分を計算して示せ。
$X_1,X_2,X_3$ が相互独立で、各変数が可積分であるとする。Tonelli の定理で $X_1X_2X_3$ の可積分性を先に確認し、その後に Fubini の定理を反復して $E[X_1X_2X_3]=\prod_{r=1}^{3}E[X_r]$ を証明せよ。
例 3.3について、 $(X,Y)$ の同時確率質量関数と二つの周辺確率質量関数を表にし、同時確率質量関数が周辺確率質量関数の積に一致しないすべての点を求めよ。