条件付き確率と Bayes の公式 | 確率論入門

1 条件付き確率

確率空間 $(\Omega,\mathcal F,P)$ を固定する。事象 $B\in\mathcal F$ が $P(B)>0$ を満たすとき、 $B$ が起こったという情報の下では、 $A$ と $B$ が同時に起こる確率を $P(B)$ で正規化する。

定義 1.1. $A,B\in\mathcal F$ と $P(B)>0$ に対して、 $B$ の下での $A$ の条件付き確率 (conditional probability of $A$ given $B$ ) を

P(A\mid B)=\frac{P(A\cap B)}{P(B)}

と定める。

条件 $P(B)>0$ は除くことができない。 $P(B)=0$ の場合には、右辺は定義されない。上の比だけから $B$ の内部の確率を指定することもできない。

命題 1.2. $B\in\mathcal F$ と $P(B)>0$ を固定する。このとき、集合関数

P_B(A)=P(A\mid B)\qquad(A\in\mathcal F)

は $(\Omega,\mathcal F)$ 上の確率測度である。また、 $P_B(B)=1$ である。

証明. $P_B(\emptyset)=0$ であり、

P_B(\Omega)=\frac{P(B)}{P(B)}=1

である。 $A_1,A_2,\ldots\in\mathcal F$ が二つずつ交わらないならば、 $A_1\cap B,A_2\cap B,\ldots$ も二つずつ交わらない。 $P$ の可算加法性から

\begin{aligned} P_B\left(\bigcup_{n=1}^{\infty}A_n\right) &=\frac{P\left((\bigcup_nA_n)\cap B\right)}{P(B)}\\ &=\frac{\sum_{n=1}^{\infty}P(A_n\cap B)}{P(B)} =\sum_{n=1}^{\infty}P_B(A_n) \end{aligned}

を得る。すべての項が非負であるため、定数 $1/P(B)$ を非負級数の外へ出す操作は正当である。最後に $P_B(B)=P(B\cap B)/P(B)=1$ である。▨

2 乗法公式

条件付き確率の定義の分母を払うと、共通部分の確率を条件付き確率と確率の積で表した公式が得られる。

定理 2.1 (乗法公式). $A,B\in\mathcal F$ とする。

$P(B)>0$ ならば、 $P(A\cap B)=P(A\mid B)P(B)$ が成り立つ。
$A_1,\ldots,A_n\in\mathcal F$ について $P(A_1\cap\cdots\cap A_{k-1})>0$ が $2\leq k\leq n$ で成り立つならば、 $P(A_1\cap\cdots\cap A_n) =P(A_1)\prod_{k=2}^{n}P\bigl(A_k\mid A_1\cap\cdots\cap A_{k-1}\bigr)$ が成り立つ。

証明.主張 (1)を示す。定義 1.1の等式に $P(B)$ を掛けると得られる。主張 (2)を示す。 $n$ についての帰納法で示す。 $n=2$ は主張 (1)である。 $n-1$ 個の場合を仮定すると、主張 (1)を $A=A_n$ 、 $B=A_1\cap\cdots\cap A_{n-1}$ に適用して

P(A_1\cap\cdots\cap A_n) =P\bigl(A_n\mid A_1\cap\cdots\cap A_{n-1}\bigr) P(A_1\cap\cdots\cap A_{n-1})

を得る。第二因子へ帰納法の仮定を代入すれば主張の積になる。▨

例 2.2. 赤玉が $3$ 個、白玉が $2$ 個入った袋から、玉を戻さずに三回取り出す。第 $k$ 回に赤玉を引く事象を $R_k$ とする。三回とも赤玉である確率は乗法公式により

P(R_1\cap R_2\cap R_3) =\frac35\cdot\frac24\cdot\frac13=\frac1{10}

である。順序を区別して数えると、全事象が $5\cdot4\cdot3=60$ 通り、赤玉だけを並べる事象が $3\cdot2\cdot1=6$ 通りであり、 $6/60=1/10$ と一致する。

3 全確率の公式

場合分けに用いる事象が標本空間を重なりなく覆うとき、各場合の条件付き確率を、その場合が起こる確率で重み付けして足す。

定義 3.1. 有限列 $C_1,\ldots,C_N\in\mathcal F$ 、または可算列 $C_1,C_2,\ldots\in\mathcal F$ が $\Omega$ の可測分割 (measurable partition) であるとは、各 $C_n$ が空でなく、二つずつ交わらず、 $\bigcup_nC_n=\Omega$ が成り立つことをいう。本記事ではさらに $P(C_n)>0$ をすべての $n$ について仮定する。

定理 3.2 (全確率の公式). $(C_n)$ を定義 3.1の有限または可算な可測分割とする。このとき、任意の $A\in\mathcal F$ に対して

P(A)=\sum_n P(A\mid C_n)P(C_n)

が成り立つ。有限分割では右辺は有限和であり、可算分割では非負級数である。

証明. $A=A\cap\Omega=\bigcup_n(A\cap C_n)$ であり、 $A\cap C_n$ は二つずつ交わらない。有限加法性または可算加法性と定理 2.1により

P(A)=\sum_nP(A\cap C_n)=\sum_nP(A\mid C_n)P(C_n)

を得る。可算分割の場合、各項は非負であり、部分和は $P(A)$ 以下で増加する。したがって、右辺は部分和の上限として収束し、その値は可算加法性が与える $P(A)$ に等しい。▨

4 Bayes の公式

全確率の公式を分母に用いると、観測 $A$ の下で各場合 $C_j$ が起こった確率を、 $C_j$ の下での $A$ の条件付き確率から計算することができる。

定理 4.1 (Bayes の公式). $(C_n)$ を定義 3.1の有限または可算な可測分割とし、 $A\in\mathcal F$ が $P(A)>0$ を満たすとする。このとき、任意の添字 $j$ に対して

P(C_j\mid A) =\frac{P(A\mid C_j)P(C_j)}{\sum_nP(A\mid C_n)P(C_n)}

が成り立つ。分母の級数は収束し、その値は正である。

証明. 乗法公式から

P(C_j\mid A)=\frac{P(C_j\cap A)}{P(A)} =\frac{P(A\mid C_j)P(C_j)}{P(A)}

である。定理 3.2により、分母 $P(A)$ は表示された有限和または非負級数に等しい。仮定 $P(A)>0$ から分母は正である。▨

例 4.2. ある状態をもつ事象を $D$ とし、 $P(D)=1/100$ とする。検査が陽性となる事象を $T$ とし、 $P(T\mid D)=9/10$ 、 $P(T\mid\Omega\setminus D)=1/20$ とする。 $D,\Omega\setminus D$ は可測分割なので、

P(T)=\frac9{10}\frac1{100}+\frac1{20}\frac{99}{100} =\frac{117}{2000}

である。したがって、Bayes の公式から

P(D\mid T)=\frac{(9/10)(1/100)}{117/2000}=\frac2{13}

を得る。陽性という結果だけで事前確率 $1/100$ を無視してはならないことが、分母の全確率に現れている。

注意 4.3. 本記事の条件付き確率は、正の確率をもつ一つの事象による条件付けである。零確率の事象による条件付けを比として定義することはできず、条件付き期待値、確率核、および正則条件付き分布には別の構成が必要である。確率変数による条件付けは、条件となる確率変数が生成する部分 σ-加法族に関して可測な可積分確率変数として、 Radon–Nikodym の定理から構成する。この構成は後の記事で扱う。

5 演習

問題 5.1.

$P(A)>0$ 、 $P(B)>0$ とする。 $P(A\mid B)=P(A)$ と $P(B\mid A)=P(B)$ が同値であることを、乗法公式だけを用いて証明せよ。
$(C_n)_{n\geq1}$ を各 $P(C_n)>0$ を満たす可測分割とする。 $A\in\mathcal F$ に対して $P(A\mid C_n)=c$ がすべての $n$ で成り立つならば、 $P(A)=c$ であることを証明せよ。
例 4.2で偽陽性率だけを $1/100$ に変更したとき、 $P(D\mid T)$ を既約分数で求めよ。全確率の分母も計算すること。

解答.

$P(A)>0$ と $P(B)>0$ から、定理 2.1 (1)を二通りに適用することができ、 $P(A\mid B)P(B)=P(A\cap B)=P(B\mid A)P(A)$ が成り立つ。 $P(A\mid B)=P(A)$ と仮定すると、この等式の左辺は $P(A)P(B)$ であるから $P(B\mid A)P(A)=P(A)P(B)$ であり、 $P(A)>0$ で両辺を割ると $P(B\mid A)=P(B)$ を得る。逆に $P(B\mid A)=P(B)$ と仮定すると、右辺は $P(B)P(A)$ であるから $P(A\mid B)P(B)=P(A)P(B)$ であり、 $P(B)>0$ で両辺を割ると $P(A\mid B)=P(A)$ を得る。ゆえに二つの等式は同値である。
定理 3.2と仮定から $P(A)=\sum_{n\geq1}P(A\mid C_n)P(C_n)=\sum_{n\geq1}c\,P(C_n)$ である。 $c=P(A\mid C_1)\in[0,1]$ は有限の非負実数であり、 $\sum_nP(C_n)$ は非負級数であるから、 $c$ を和の外へ出すことができる。 $(C_n)$ は二つずつ交わらず $\bigcup_nC_n=\Omega$ を満たすので、可算加法性（有限分割では有限加法性）により $\sum_nP(C_n)=P(\Omega)=1$ である。したがって $P(A)=c\cdot1=c$ である。
変更後の条件は $P(D)=1/100$ 、 $P(T\mid D)=9/10$ 、 $P(T\mid\Omega\setminus D)=1/100$ である。 $D,\Omega\setminus D$ は可測分割であり、 $P(\Omega\setminus D)=99/100$ であるから、定理 3.2により $P(T)=\frac{9}{10}\cdot\frac{1}{100}+\frac{1}{100}\cdot\frac{99}{100} =\frac{90}{10000}+\frac{99}{10000}=\frac{189}{10000}$ である。 $P(T)>0$ であるから、定理 4.1により $P(D\mid T)=\frac{(9/10)(1/100)}{189/10000}=\frac{90}{189}=\frac{10}{21}$ を得る。 $90=2\cdot3^2\cdot5$ 、 $189=3^3\cdot7$ であるから、最大公約数 $9$ で約分した $10/21$ は既約分数である。

▨

§E11.2条件付き確率と Bayes の公式

1 条件付き確率

2 乗法公式

3 全確率の公式

4 Bayes の公式

5 演習

参考文献

前提記事