基本的な確率分布 | 確率論入門

1 離散分布

次の級数公式を、幾何分布の期待値と分散の計算に用いる。

補題 1.1. $0\leq q<1$ に対して、

\begin{align} \sum_{k=0}^{\infty}q^k&=\frac1{1-q}, \\ \sum_{k=0}^{\infty}kq^k&=\frac q{(1-q)^2}, \tag{1.1.1} \\ \sum_{k=0}^{\infty}k^2q^k&=\frac{q(1+q)}{(1-q)^3} \tag{1.1.2} \end{align}

が成り立つ。

証明. 冪級数 $\sum_{k\geq0}q^k$ は $|q|<1$ で絶対収束し、その収束半径の内部では§D1.23 定理 4.3によって項別微分が成り立つ。 $1/(1-q)$ を一度微分して $q$ を掛けると式 (1.1.1)を得る。式 (1.1.1)を微分して再び $q$ を掛けると式 (1.1.2)を得る。▨

定義 1.2. $p\in[0,1]$ とする。 $P(X=1)=p$ 、 $P(X=0)=1-p$ である分布を Bernoulli 分布 $\operatorname{Bern}(p)$ (Bernoulli distribution) という。 $n\in\{0,1,2,\ldots\}$ に対して、

P(X=k)=\binom nkp^k(1-p)^{n-k}\quad(0\leq k\leq n)

である分布を二項分布 $\operatorname{Bin}(n,p)$ (binomial distribution) という。端点を含む式では $0^0=1$ と約束する。

命題 1.3. $X\sim\operatorname{Bern}(p)$ ならば $E[X]=p$ 、 $\operatorname{Var}(X)=p(1-p)$ である。 $X\sim\operatorname{Bin}(n,p)$ ならば $E[X]=np,\qquad \operatorname{Var}(X)=np(1-p)$ である。

証明. Bernoulli 分布では、二点上の和を計算すると

E[X]=0(1-p)+1p=p, \qquad E[X^2]=0^2(1-p)+1^2p=p

である。したがって、

\operatorname{Var}(X)=E[X^2]-E[X]^2=p-p^2=p(1-p)

となる。

二項定理により二項分布の確率の総和は $(p+1-p)^n=1$ である。 $k\binom nk=n\binom{n-1}{k-1}$ と $k(k-1)\binom nk=n(n-1)\binom{n-2}{k-2}$ を用いると、 $E[X]=np,\qquad E[X(X-1)]=n(n-1)p^2.$ したがって $E[X^2]=n(n-1)p^2+np$ であり、 $E[X^2]-E[X]^2=np(1-p)$ となる。端点 $n=0,1$ でも同じ式が直接成り立つ。▨

定義 1.4. $p\in(0,1]$ とし、 $q=1-p$ とする。 $P(X=k)=pq^k\quad(k=0,1,2,\ldots)$ である分布を幾何分布 $\operatorname{Geom}(p)$ (geometric distribution) という。 $X$ は最初の成功より前の失敗回数を表すため、値は $0$ から始まる。

$\lambda>0$ に対して、 $P(X=k)=e^{-\lambda}\frac{\lambda^k}{k!}\quad(k=0,1,2,\ldots)$ である分布を Poisson 分布 $\operatorname{Pois}(\lambda)$ (Poisson distribution) という。

命題 1.5. $X\sim\operatorname{Geom}(p)$ ならば $E[X]=\frac{1-p}{p},\qquad\operatorname{Var}(X)=\frac{1-p}{p^2}.$ $X\sim\operatorname{Pois}(\lambda)$ ならば $E[X]=\lambda,\qquad\operatorname{Var}(X)=\lambda.$

証明. 幾何級数により幾何分布は規格化される。補題 1.1から $E[X]=p\frac q{(1-q)^2}=\frac qp,\qquad E[X^2]=p\frac{q(1+q)}{(1-q)^3}=\frac{q(1+q)}{p^2}$ であるから、分散は $q/p^2$ である。

指数関数の級数により Poisson 分布の総質量は $e^{-\lambda}e^\lambda=1$ である。添字をずらすと $E[X]=\lambda,\qquad E[X(X-1)]=\lambda^2.$ したがって $E[X^2]=\lambda^2+\lambda$ であり、分散は $\lambda$ である。▨

定理 1.6. $X\sim\operatorname{Geom}(p)$ とし、 $m,n\in\{0,1,2,\ldots\}$ および $P(X\geq m)>0$ を仮定する。このとき $P(X\geq m+n\mid X\geq m)=P(X\geq n)$ が成り立つ。

証明. $P(X\geq r)=\sum_{k=r}^{\infty}pq^k=q^r$ である。仮定により $q^m>0$ であるから、条件付き確率の定義から比は $q^{m+n}/q^m=q^n$ となる。▨

2 絶対連続分布

定義 2.1. $a<b$ とする。密度 $f(x)=\frac1{b-a}\mathbf1_{[a,b]}(x)$ をもつ分布を一様分布 $U[a,b]$ (uniform distribution) という。 $\lambda>0$ に対して、密度 $f(x)=\lambda e^{-\lambda x}\mathbf1_{[0,\infty)}(x)$ をもつ分布を指数分布 $\operatorname{Exp}(\lambda)$ (exponential distribution) という。

命題 2.2. $X\sim U[a,b]$ ならば $E[X]=\frac{a+b}{2},\qquad\operatorname{Var}(X)=\frac{(b-a)^2}{12}.$ $X\sim\operatorname{Exp}(\lambda)$ ならば $E[X]=\frac1\lambda,\qquad\operatorname{Var}(X)=\frac1{\lambda^2}.$

証明. 密度の積分はいずれも $1$ である。一様分布では $x$ と $x^2$ を $[a,b]$ 上で積分すると、 $E[X]=\frac{a+b}{2},\qquad E[X^2]=\frac{a^2+ab+b^2}{3}$ を得る。差を取れば分散の式が従う。

指数分布では、 $x^m e^{-\lambda x}\to0$ $(x\to\infty)$ と部分積分により、 $E[X]=\int_0^\infty x\lambda e^{-\lambda x}dx=\frac1\lambda,\qquad E[X^2]=\frac2{\lambda^2}.$ したがって分散は $1/\lambda^2$ である。▨

定理 2.3. $X\sim\operatorname{Exp}(\lambda)$ とし、 $s,t\geq0$ とする。このとき $P(X>s+t\mid X>s)=P(X>t)$ が成り立つ。

証明. $u\geq0$ に対して $P(X>u)=\int_u^\infty\lambda e^{-\lambda x}dx=e^{-\lambda u}$ である。条件事象の確率は正であるから、条件付き確率の定義により左辺は $e^{-\lambda(s+t)}/e^{-\lambda s}=e^{-\lambda t}$ となる。▨

定義 2.4. $\mu\in\R$ 、 $\sigma>0$ とする。密度 $f(x)=\frac1{\sqrt{2\pi}\sigma}\exp\!\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)$ をもつ分布を正規分布 $N(\mu,\sigma^2)$ (normal distribution) という。

命題 2.5. 正規分布の密度の積分は $1$ であり、 $X\sim N(\mu,\sigma^2)$ ならば $E[X]=\mu,\qquad\operatorname{Var}(X)=\sigma^2.$

証明. Gaussian 積分§E4.14 例 3.2と有限区間上の Riemann 積分と Lebesgue 積分の一致§E10.17 系 5.2を用いる。区間を実数全体へ増加させ、単調収束定理§E10.11 定理 1.1を適用すると、 $\int_{\R}e^{-u^2/2}du=\sqrt{2\pi}$ を得る。有限区間で $u=(x-\mu)/\sigma$ と置換し、区間を増加させて単調収束定理を適用すると、密度の積分は $1$ である。

$\phi(u)=(2\pi)^{-1/2}e^{-u^2/2}$ と置く。有限区間上で積分し、単調収束定理を適用すると、

\int_{\R}|u|\phi(u)du =2\lim_{R\to\infty}\int_0^Ru\phi(u)du =\frac{2}{\sqrt{2\pi}}<\infty.

したがって $E[|X|]\leq|\mu|+\sigma\int_{\R}|u|\phi(u)du<\infty$ であり、一階積率を定義することができる。奇関数 $u\phi(u)$ の対称区間上の積分から $E[X]=\mu$ を得る。さらに、 $[-R,R]$ 上の部分積分により

\int_{-R}^Ru^2\phi(u)du=-2R\phi(R)+\int_{-R}^R\phi(u)du.

$R\phi(R)\to0$ であり、左辺に単調収束定理を適用すると、 $\int_{\R}u^2\phi(u)du=1$ である。よって $E[(X-\mu)^2]=\sigma^2$ となる。▨

3 演習

問題 3.1.

二項分布について $E[X(X-1)]$ を確率質量関数から計算し、分散の公式を証明せよ。
$X\sim\operatorname{Geom}(p)$ と $P(X\geq m)>0$ に対して $P(X=k+m\mid X\geq m)=P(X=k)$ を証明せよ。
$X\sim N(\mu,\sigma^2)$ と $a\neq0$ に対して、 $aX+b$ の密度を求めよ。

解答.

$X\sim\operatorname{Bin}(n,p)$ とする。 $X$ の分布は $\{0,\dots,n\}$ に集中するので、§E11.4 定理 1.3により、関数 $g$ について $E[g(X)]=\sum_{k=0}^{n}g(k)\binom nkp^k(1-p)^{n-k}$ である（ $0^0=1$ とする）。 $2\leq k\leq n$ に対して
$k(k-1)\binom nk=\frac{n!}{(k-2)!\,(n-k)!}=n(n-1)\binom{n-2}{k-2}$
であり、 $k=0,1$ では $k(k-1)=0$ である。 $n\geq2$ ならば、 $j=k-2$ とおいて二項定理を用いると
$E[X(X-1)]=n(n-1)p^2\sum_{j=0}^{n-2}\binom{n-2}{j}p^j(1-p)^{n-2-j}=n(n-1)p^2(p+1-p)^{n-2}=n(n-1)p^2$
である。 $n=0,1$ ならばすべての項が $0$ であり、 $n(n-1)p^2=0$ と一致する。同じく $1\leq k\leq n$ に対して $k\binom nk=n\binom{n-1}{k-1}$ であるから、 $n\geq1$ ならば $E[X]=np\sum_{j=0}^{n-1}\binom{n-1}{j}p^j(1-p)^{n-1-j}=np$ であり、 $n=0$ でも $E[X]=0=np$ である。§E11.4 命題 1.2により $E[X^2]=E[X(X-1)]+E[X]=n(n-1)p^2+np$ であり、§E11.4 命題 2.3により
$\operatorname{Var}(X)=E[X^2]-E[X]^2=n(n-1)p^2+np-n^2p^2=np-np^2=np(1-p)$
を得る。
$q=1-p$ とし、 $k\geq0$ を整数とする（負の整数 $k$ では両辺がともに $0$ である）。定義 1.4と有限または可算加法性から $P(X\geq m)=\sum_{j=m}^{\infty}pq^j=q^m$ である。 $p=1$ では $q=0$ であり、 $0^0=1$ の規約のもとで同じ式が成り立つ。 $k\geq0$ ならば $\{X=k+m\}\subseteq\{X\geq m\}$ であるから、 $P(X\geq m)>0$ と§E11.2 定義 1.1により
$P(X=k+m\mid X\geq m)=\frac{P(X=k+m)}{P(X\geq m)}=\frac{pq^{k+m}}{q^m}=pq^k=P(X=k)$
が成り立つ。
$f$ を $N(\mu,\sigma^2)$ の密度とし、 $Y=aX+b$ とおく。 $|a|\sigma>0$ であるから、
$g(u)=\frac{1}{\sqrt{2\pi}\,|a|\sigma}\exp\left(-\frac{(u-(a\mu+b))^2}{2a^2\sigma^2}\right)$
は定義 2.4の $N(a\mu+b,a^2\sigma^2)$ の密度であり、命題 2.5により $\nu(B)=\int_Bg\,d\lambda$ は Borel 確率測度である。 $x=(u-b)/a$ ならば $(x-\mu)^2=(u-b-a\mu)^2/a^2$ であるから、 $f((u-b)/a)/|a|=g(u)$ である。

$y\in\R$ を固定し、 $c=(y-b)/a$ とおく。 $a>0$ ならば $P(Y\leq y)=P(X\leq c)$ である。 $R>|c|$ に対して、有限区間 $[-R,c]$ 上の連続関数の Riemann 積分で $u=ax+b$ と置換すると
$\int_{-R}^{c}f(x)\,dx=\int_{-aR+b}^{y}\frac{1}{a}f\left(\frac{u-b}{a}\right)du=\int_{-aR+b}^{y}g(u)\,du$
である。 $a<0$ ならば $P(Y\leq y)=P(X\geq c)$ であり、 $[c,R]$ 上で同じ置換を行うと、 $u$ は $y$ から $aR+b$ まで減少するので
$\int_{c}^{R}f(x)\,dx=\int_{y}^{aR+b}\frac{1}{a}f\left(\frac{u-b}{a}\right)du=\int_{aR+b}^{y}\frac{1}{|a|}f\left(\frac{u-b}{a}\right)du=\int_{aR+b}^{y}g(u)\,du$
である。§E10.17 系 5.2により有限区間上の Riemann 積分は Lebesgue 積分に等しく、 $R\to\infty$ のとき積分範囲が増加するので、§E10.11 定理 1.1により左辺は $P(X\leq c)$ または $P(X\geq c)$ へ、右辺は $\nu((-\infty,y])$ へ収束する。したがって、すべての $y$ について $P(Y\leq y)=\nu((-\infty,y])$ が成り立つ。§E11.3 定理 2.3により $Y$ の分布は $\nu$ に等しく、 $aX+b$ は密度 $g$ をもつ。すなわち $aX+b\sim N(a\mu+b,a^2\sigma^2)$ である。

▨

§E11.5基本的な確率分布

1 離散分布

2 絶対連続分布

3 演習

参考文献

前提記事