確率変数と分布関数 | 確率論入門

1 確率変数と像測度

定義 1.1. $(\Omega,\mathcal F,P)$ を確率空間とする。可測写像

X:(\Omega,\mathcal F)\longrightarrow(\R,\mathcal B(\R))

を実数値確率変数 (real-valued random variable) という。 $X$ の分布 (distribution) または法則 (law) とは、

\mu_X(B)=P(X\in B)=P\bigl(X^{-1}(B)\bigr) \qquad(B\in\mathcal B(\R))

によって定まる像測度 $\mu_X=P\circ X^{-1}$ のことである。

$X$ の可測性により、上の式の逆像はすべて $\mathcal F$ に属する。

命題 1.2.定義 1.1の $\mu_X$ は $(\R,\mathcal B(\R))$ 上の確率測度である。

証明. $X^{-1}(\emptyset)=\emptyset$ なので $\mu_X(\emptyset)=0$ である。二つずつ交わらない Borel 集合 $B_1,B_2,\ldots$ に対して、逆像 $X^{-1}(B_n)$ も二つずつ交わらず、逆像は可算和と可換する。したがって、

\mu_X\left(\bigcup_{n=1}^{\infty}B_n\right) =P\left(\bigcup_{n=1}^{\infty}X^{-1}(B_n)\right) =\sum_{n=1}^{\infty}\mu_X(B_n)

である。また、 $\mu_X(\R)=P(\Omega)=1$ である。▨

分布は、各 Borel 集合へ割り当てられる確率だけで定まる。確率変数が定義された標本空間は、分布に現れない。異なる確率空間上の確率変数であっても、像測度が等しければ同じ分布に従う。

例 1.3. $\Omega=\{1,2,3,4,5,6\}$ に一様な確率測度を入れ、 $X(\omega)=\omega\bmod 2$ とする。このとき、

\mu_X=\frac12\delta_0+\frac12\delta_1

である。例えば $\mu_X(\{1\})=P(\{1,3,5\})=1/2$ である。六つの標本点は、像測度では二つの値に集約される。

2 分布関数

実数直線では、左半直線への確率の割当てを一つの実関数にまとめることができる。

定義 2.1. 実数値確率変数 $X$ の分布関数 (distribution function) を

F_X(x)=P(X\leq x)=\mu_X(( -\infty,x]) \qquad(x\in\R)

によって定める。

命題 2.2. 分布関数 $F_X$ は次の性質を満たす。

$F_X$ は非減少である。
$F_X$ は右連続である。すなわち、 $x_n\downarrow x$ ならば $F_X(x_n)\to F_X(x)$ である。
$\lim_{x\to-\infty}F_X(x)=0$ かつ $\lim_{x\to\infty}F_X(x)=1$ である。

証明. $x\leq y$ ならば $( -\infty,x]\subseteq( -\infty,y]$ であるから、確率測度の単調性により $F_X(x)\leq F_X(y)$ である。これが主張 (1)である。

$x_n\downarrow x$ とする。 $A_n=\{X\leq x_n\}$ とおくと $A_n\downarrow\{X\leq x\}$ である。 $P(A_1)\leq1<\infty$ なので、測度の上からの連続性§E10.8 定理 4.1 (2)から

\lim_{n\to\infty}F_X(x_n) =\lim_{n\to\infty}P(A_n) =P(X\leq x)=F_X(x)

を得る。任意の $h\downarrow0$ に対する右極限も、単調性と数列による挟み打ちから同じ値になる。

$B_n=\{X\leq-n\}$ とおくと $B_n\downarrow\emptyset$ である。実数値であるため、有限の値 $X(\omega)$ がすべての $-n$ 以下になる $\omega$ は存在しない。上からの連続性から $F_X(-n)\to0$ であり、単調性から $x\to-\infty$ の極限も $0$ である。一方、 $C_n=\{X\leq n\}$ は $C_n\uparrow\Omega$ を満たす。下からの連続性から $F_X(n)\to1$ であり、単調性から $x\to\infty$ の極限も $1$ である。▨

分布関数は分布から作られる。逆に、分布は分布関数によって一意に定まる。

定理 2.3. $\mu$ と $\nu$ を $\R$ 上の Borel 確率測度とする。すべての $x\in\R$ について

\mu(( -\infty,x])=\nu(( -\infty,x])

が成り立つならば、 $\mu=\nu$ である。したがって、実数値確率変数 $X,Y$ について $F_X=F_Y$ ならば $\mu_X=\mu_Y$ である。

証明.

\mathcal P=\{\R\}\cup\{( -\infty,x]\mid x\in\R\}

とおく。二つの左半直線の共通部分も左半直線であり、 $\R$ との共通部分も元の集合なので、 $\mathcal P$ は π 系である。実数直線の Borel 集合族の半直線生成§E10.6 命題 5.4により $\sigma(\mathcal P)=\mathcal B(\R)$ である。

二つの測度が一致する集合の族を

\mathcal D=\{B\in\mathcal B(\R)\mid\mu(B)=\nu(B)\}

とおく。確率測度であるから $\R\in\mathcal D$ である。 $B\in\mathcal D$ ならば、有限測度であることから

\mu(\R\setminus B)=1-\mu(B)=1-\nu(B)=\nu(\R\setminus B)

であり、 $\R\setminus B\in\mathcal D$ である。二つずつ交わらない $B_1,B_2,\ldots\in\mathcal D$ に対しては、可算加法性から

\mu\left(\bigcup_nB_n\right)=\sum_n\mu(B_n) =\sum_n\nu(B_n)=\nu\left(\bigcup_nB_n\right)

である。したがって、 $\mathcal D$ は Dynkin 系である。仮定から $\mathcal P\subseteq\mathcal D$ であるため、π–λ 定理§E10.9 定理 1.8により

\mathcal B(\R)=\sigma(\mathcal P)\subseteq\mathcal D

を得る。ゆえに、すべての Borel 集合上で $\mu$ と $\nu$ は一致する。▨

3 離散分布・絶対連続分布・特異分布

実数直線上の Lebesgue 測度を $\lambda$ と書く。分布の型は、確率がどの集合に集中するか、および $\lambda$ とどのような関係をもつかによって区別する。

定義 3.1. $\mu$ を $\R$ 上の Borel 確率測度とする。

可算集合 $S\subseteq\R$ が存在して $\mu(S)=1$ となるとき、 $\mu$ を離散分布 (discrete distribution) という。
$\lambda(B)=0$ ならば常に $\mu(B)=0$ となるとき、 $\mu$ は $\lambda$ に関して絶対連続 (absolutely continuous) であるといい、 $\mu\ll\lambda$ と書く。このとき $\mu$ を絶対連続分布 (absolutely continuous distribution) という。
Borel 集合 $N$ が存在して $\lambda(N)=0$ かつ $\mu(\R\setminus N)=0$ となるとき、 $\mu$ と $\lambda$ は互いに特異 (mutually singular) であるといい、 $\mu\perp\lambda$ と書く。このとき $\mu$ を特異分布 (singular distribution) という。
特異分布がすべての $x\in\R$ について $\mu(\{x\})=0$ を満たすとき、特異連続分布 (singular continuous distribution) という。

離散分布は可算集合に集中するので Lebesgue 測度に関して特異である。したがって、「特異」は「離散でない」という意味ではない。特異連続分布は、離散分布を除いた特異分布を具体的に区別する語である。また、確率測度が離散分布か絶対連続分布のいずれかに限られるわけではない。

定理 3.2. $\mu$ を $\R$ 上の Borel 確率測度とする。 $\mu\ll\lambda$ であることと、Borel 可測関数 $f:\R\to[0,\infty)$ が存在して

\mu(B)=\int_Bf\,d\lambda \qquad(B\in\mathcal B(\R))

となることは同値である。この $f$ は $\lambda$ に関してほとんど至る所で一意であり、 $\int_{\R}f\,d\lambda=1$ を満たす。絶対連続分布に対するこの $f$ を確率密度関数 (probability density function) という。

証明. $\mu\ll\lambda$ ならば、 $\lambda$ は σ-有限で $\mu$ は有限であるため、σ-有限な正測度に対する Radon–Nikodym の定理§E10.14 定理 2.3により、非負拡張実数値 Borel 可測関数 $f_0:\R\to[0,\infty]$ が存在して表示を得る。 $B=\R$ とすれば $\int f_0\,d\lambda=\mu(\R)=1$ である。したがって、

N=\{x\in\R:f_0(x)=\infty\}

とおく。任意の $M>0$ について $M\mathbf1_N\leq f_0$ であるから、

M\lambda(N)\leq\int_{\R}f_0\,d\lambda=1

である。 $M\to\infty$ とすれば $\lambda(N)=0$ を得る。 $N$ 上で $f_0$ を $0$ に変更して得られる Borel 可測関数 $f:\R\to[0,\infty)$ は、すべての Borel 集合上で $f_0$ と同じ積分をもつ。密度のほとんど至る所での一意性は§E10.14 定理 3.1による。逆に表示が存在し、 $\lambda(B)=0$ ならば $\int_Bf\,d\lambda=0$ なので $\mu(B)=0$ である。▨

特異分布や絶対連続成分と特異成分をともにもつ分布に、分布全体を表す Lebesgue 密度は存在しない。密度のように見える式を Dirac のデルタを用いて書くことがあっても、そのデルタは Lebesgue 可積分関数ではない。

例 3.3. $([0,1],\mathcal B([0,1]),\lambda)$ を確率空間とする。 $0\leq\omega<1$ に対して

b_n(\omega)=\lfloor2^n\omega\rfloor-2\lfloor2^{n-1}\omega\rfloor\in\{0,1\}

とし、 $b_n(1)=1$ と定める。各 $b_n$ は Borel 可測であり、

X(\omega)=\sum_{n=1}^{\infty}\frac{2b_n(\omega)}{3^n}

とおく。部分和は可測であり、点ごとの極限に対する可測性§E10.7 定理 5.1により $X$ も可測である。

$X$ の値は、三進展開の各桁が $0$ または $2$ である Cantor 集合 $C$ に属する。第 $n$ 段の Cantor 集合は長さ $3^{-n}$ の閉区間 $2^n$ 個の和であるから、

\lambda(C)\leq\left(\frac23\right)^n

がすべての $n$ で成り立ち、 $\lambda(C)=0$ である。一方、 $P(X\in C)=1$ なので $\mu_X\perp\lambda$ である。

さらに、 $X(\omega)=x$ が成り立つならば、任意の $n$ について最初の $n$ 個の二進桁 $b_1(\omega),\ldots,b_n(\omega)$ が固定される。実際、 $0$ と $2$ だけからなる二つの三進桁列が最初に第 $k$ 桁で異なるならば、その桁の寄与の差 $2/3^k$ は後続する桁の寄与の差の絶対値 $\sum_{j>k}2/3^j=1/3^k$ より大きいため、二つの和は等しくない。その桁列をもつ $\omega$ の集合は、長さ $2^{-n}$ の半開二進区間と高々一つの端点に含まれる。したがって、

P(X=x)\leq2^{-n}

がすべての $n$ で成り立ち、 $P(X=x)=0$ である。よって、 $\mu_X$ は原子をもたない特異分布、すなわち特異連続分布である。原子をもたない確率測度は可算集合へ集中しないため、 $\mu_X$ は離散分布ではない。

例 3.4. $0<\alpha<1$ とし、 $([0,1],\mathcal B([0,1]),\lambda)$ 上で

X(\omega)= \begin{cases} 0,&0\leq\omega\leq\alpha,\\ \dfrac{\omega-\alpha}{1-\alpha},&\alpha<\omega\leq1 \end{cases}

と定める。任意の Borel 集合 $B$ に対して

\mu_X(B)=\alpha\,\delta_0(B)+(1-\alpha)\lambda(B\cap[0,1])

である。実際、第二の区間上のアフィン写像の逆像の長さは $(1-\alpha)\lambda(B\cap(0,1])$ であり、端点は Lebesgue 零集合である。

$\mu_X(\{0\})=\alpha>0$ かつ $\lambda(\{0\})=0$ なので、 $\mu_X$ は Lebesgue 測度に関して絶対連続ではない。任意の可算集合 $S\subseteq\R$ は $\lambda(S)=0$ を満たすため、

\mu_X(S)=\alpha\delta_0(S)\leq\alpha<1

であり、 $\mu_X$ は可算集合へ集中しない。したがって、 $\mu_X$ は離散分布ではない。また、任意の Lebesgue 零集合 $N$ に対しても

\mu_X(N)=\alpha\delta_0(N)\leq\alpha<1

であるから、 $\mu_X$ は Lebesgue 零集合へ全確率を集中させる特異分布でもない。したがって、これは離散成分と絶対連続成分をともにもつ混合分布である。

4 演習

問題 4.1.

実数値確率変数 $X$ と $x\in\R$ に対して $F_X(x)-\lim_{y\uparrow x}F_X(y)=P(X=x)$ が成り立つことを、測度の下からの連続性を用いて証明せよ。
離散分布が Lebesgue 測度に関して絶対連続にはなり得ないことを、可算集合の Lebesgue 測度が $0$ であることから証明せよ。
例 3.4の分布関数を区間 $x<0$ 、 $0\leq x\leq1$ 、 $x>1$ に分けて求め、 $x=0$ における跳びの大きさを確認せよ。

解答.

$y_n=x-1/n$ とおく。 $(y_n)$ は狭義増加で $y_n<x$ 、 $y_n\to x$ である。命題 2.2 (1)により $F_X$ は非減少であるから、左極限 $\lim_{y\uparrow x}F_X(y)$ は $\sup_{y<x}F_X(y)$ として存在する。任意の $y<x$ に対して $y\leq y_n$ を満たす $n$ が存在するので $F_X(y)\leq F_X(y_n)$ であり、この上限は $\lim_nF_X(y_n)$ に等しい。事象 $A_n=\{X\leq y_n\}$ は増加列である。 $X(\omega)<x$ ならば $X(\omega)\leq y_n$ を満たす $n$ が存在し、逆に $X(\omega)\leq y_n$ ならば $X(\omega)<x$ であるから、 $\bigcup_nA_n=\{X<x\}$ である。§E10.8 定理 4.1 (1)により
$\lim_{y\uparrow x}F_X(y)=\lim_{n\to\infty}P(A_n)=P(X<x)$
を得る。 $\{X\leq x\}=\{X<x\}\sqcup\{X=x\}$ と有限加法性から $P(X\leq x)=P(X<x)+P(X=x)$ であり、確率は有限であるから
$F_X(x)-\lim_{y\uparrow x}F_X(y)=P(X\leq x)-P(X<x)=P(X=x)$
が成り立つ。
$\mu$ を離散分布とする。定義 3.1 (1)により、可算集合 $S\subseteq\R$ が存在して $\mu(S)=1$ である。各 $s\in S$ と正の整数 $n$ について $\{s\}\subseteq(s-1/n,s]$ であるから $\lambda(\{s\})\leq1/n$ であり、 $\lambda(\{s\})=0$ である。 $S$ は一点集合の可算和であるから、可算劣加法性により $\lambda(S)\leq\sum_{s\in S}\lambda(\{s\})=0$ である。もし $\mu\ll\lambda$ ならば、定義 3.1 (2)により $\lambda(S)=0$ から $\mu(S)=0$ となり、 $\mu(S)=1$ に反する。したがって、離散分布は Lebesgue 測度に関して絶対連続ではない。
例 3.4の表示 $\mu_X(B)=\alpha\delta_0(B)+(1-\alpha)\lambda(B\cap[0,1])$ を $B=(-\infty,x]$ に適用する。 $x<0$ ならば $0\notin(-\infty,x]$ かつ $(-\infty,x]\cap[0,1]=\emptyset$ であるから、 $F_X(x)=0$ である。 $0\leq x\leq1$ ならば $0\in(-\infty,x]$ かつ $(-\infty,x]\cap[0,1]=[0,x]$ であるから、 $F_X(x)=\alpha+(1-\alpha)x$ である。 $x>1$ ならば $(-\infty,x]\cap[0,1]=[0,1]$ であるから、 $F_X(x)=\alpha+(1-\alpha)=1$ である。

$x=0$ における跳びは、 $F_X(0)=\alpha$ と $y<0$ での $F_X(y)=0$ から
$F_X(0)-\lim_{y\uparrow0}F_X(y)=\alpha-0=\alpha$
である。この跳びの大きさは(1)により $P(X=0)$ に等しく、表示からも $\mu_X(\{0\})=\alpha+(1-\alpha)\lambda(\{0\})=\alpha$ である。他の点では $F_X$ は連続であり、 $[0,1]$ 上では傾き $1-\alpha$ で増加する。

▨

§E11.3確率変数と分布関数

1 確率変数と像測度

2 分布関数

3 離散分布・絶対連続分布・特異分布

4 演習

参考文献

前提記事