§E11.16中心極限定理

最終更新

独立な確率変数の和を中心化し、分散によって規格化すると、各項の分布が正規分布でなくても、標準正規分布が極限として現れる。本記事では、独立同分布で有限かつ正の分散をもつ場合を扱い、特性関数によってこの主張を証明する。

1 定理の設定

X1,X2,…X_1,X_2,\ldotsを独立同分布な実数値確率変数列とし、

μ=E[X1],σ2=Var⁡(X1)\mu=E[X_1],\qquad \sigma^2=\operatorname{Var}(X_1)

と書く。0<σ2<∞0<\sigma^2<\inftyのとき、

Yk=Xk−μσY_k=\frac{X_k-\mu}{\sigma}

と標準化すれば、E[Yk]=0E[Y_k]=0かつE[Yk2]=1E[Y_k^2]=1である。部分和Sn=X1+⋯+XnS_n=X_1+\cdots+X_nの標準化は

Sn−nμσn=Y1+⋯+Ynn\frac{S_n-n\mu}{\sigma\sqrt n} =\frac{Y_1+\cdots+Y_n}{\sqrt n}

となる。

証明は次の三段階からなる。第一に、標準化した一項の特性関数を原点で二次まで展開する。第二に、独立性を用いてnn項の特性関数をnn乗として表し、その極限を計算する。第三に、極限e−t2/2e^{-t^2/2}を標準正規分布の特性関数と同定し、Lévy の連続性定理を適用する。

極限分布の同定に用いるため、標準正規分布の特性関数を先に計算する。

命題 1.1.Z∼N(0,1)Z\sim N(0,1)ならば、

φZ(t)=e−t2/2(t∈R)\varphi_Z(t)=e^{-t^2/2} \qquad(t\in\R)

である。

証明. 標準正規密度をg(x)=(2π)−1/2e−x2/2g(x)=(2\pi)^{-1/2}e^{-x^2/2}とする。§E11.5 定義 2.4と§E11.5 命題 2.5により、ggは確率密度であり∫∣x∣g(x) dx<∞\int |x|g(x)\,dx<\inftyである。したがって、優収束定理により

φZ′(t)=i∫Rxeitxg(x) dx\varphi_Z'(t)=i\int_{\R}xe^{itx}g(x)\,dx

である。g′(x)=−xg(x)g'(x)=-xg(x)とg(x)→0g(x)\to0を用い、[−R,R][-R,R]上で部分積分してからR→∞R\to\inftyとすると、

∫Rxeitxg(x) dx=−∫Reitxg′(x) dx=it∫Reitxg(x) dx\int_{\R}xe^{itx}g(x)\,dx =-\int_{\R}e^{itx}g'(x)\,dx =it\int_{\R}e^{itx}g(x)\,dx

を得る。ゆえにφZ′(t)=−tφZ(t)\varphi_Z'(t)=-t\varphi_Z(t)である。φZ(0)=1\varphi_Z(0)=1と合わせてこの微分方程式を解くと、φZ(t)=e−t2/2\varphi_Z(t)=e^{-t^2/2}となる。▨

中心極限定理の証明では、複素数列znz_nから定まる(1+zn)n(1+z_n)^nの極限を用いる。この極限についての主張を、独立した補題として先に示す。

補題 1.2. 複素数列znz_nと複素数zzが

nzn⟶znz_n\longrightarrow z

を満たすならば、

(1+zn)n⟶ez(1+z_n)^n\longrightarrow e^z

である。

証明.nzn→znz_n\to zからzn=O(1/n)z_n=O(1/n)であり、特にzn→0z_n\to0かつn∣zn∣2→0n|z_n|^2\to0である。十分大きいnnについて∣zn∣<1/2|z_n|<1/2なので、絶対収束する冪級数

Ln=∑m=1∞(−1)m+1mznmL_n=\sum_{m=1}^{\infty}\frac{(-1)^{m+1}}{m}z_n^m

を用いることができる。この級数はeLn=1+zne^{L_n}=1+z_nを満たし、

∣Ln−zn∣≤∑m=2∞∣zn∣m≤2∣zn∣2|L_n-z_n| \leq\sum_{m=2}^{\infty}|z_n|^m \leq2|z_n|^2

である。したがって、nLn→znL_n\to zであり、

(1+zn)n=enLn⟶ez(1+z_n)^n=e^{nL_n}\longrightarrow e^z

を得る。▨

2 Lindeberg–Lévy 型中心極限定理

定理 2.1 (中心極限定理).X1,X2,…X_1,X_2,\ldotsを独立同分布な実数値確率変数列とし、

E[X1]=μ,Var⁡(X1)=σ2,0<σ2<∞E[X_1]=\mu,\qquad \operatorname{Var}(X_1)=\sigma^2,\qquad 0<\sigma^2<\infty

とする。Sn=X1+⋯+XnS_n=X_1+\cdots+X_nとおけば、

Sn−nμσn⇒N(0,1)\frac{S_n-n\mu}{\sigma\sqrt n}\Rightarrow N(0,1)

である。すなわち、Φ\Phiを標準正規分布の分布関数とすると、すべてのx∈Rx\in\Rについて

lim⁡n→∞P(Sn−nμσn≤x)=Φ(x)\lim_{n\to\infty} P\left(\frac{S_n-n\mu}{\sigma\sqrt n}\leq x\right)=\Phi(x)

が成り立つ。

証明.Yk=(Xk−μ)/σY_k=(X_k-\mu)/\sigmaとおくと、Y1,Y2,…Y_1,Y_2,\ldotsも独立同分布であり、

E[Y1]=0,E[Y12]=1E[Y_1]=0,\qquad E[Y_1^2]=1

である。Y1Y_1の特性関数をφ\varphiと書く。積率による原点展開§E11.14 定理 2.2から、s→0s\to0のとき

φ(s)=1−s22+o(s2)\varphi(s)=1-\frac{s^2}{2}+o(s^2)

である。

標準化和を

Tn=Y1+⋯+YnnT_n=\frac{Y_1+\cdots+Y_n}{\sqrt n}

とおく。独立な和に対する積公式§E11.14 命題 1.3により、TnT_nの特性関数は

φTn(t)={φ(tn)}n\varphi_{T_n}(t) =\left\{\varphi\left(\frac{t}{\sqrt n}\right)\right\}^n

である。t∈Rt\in\Rを固定し、

zn=φ(tn)−1z_n=\varphi\left(\frac{t}{\sqrt n}\right)-1

とおくと、二次展開から

zn=−t22n+o(1n),nzn⟶−t22z_n=-\frac{t^2}{2n}+o\left(\frac1n\right),\qquad nz_n\longrightarrow-\frac{t^2}{2}

である。補題 1.2を適用すると、

φTn(t)=(1+zn)n⟶e−t2/2\varphi_{T_n}(t)=(1+z_n)^n\longrightarrow e^{-t^2/2}

を得る。

命題 1.1により、e−t2/2e^{-t^2/2}は標準正規分布の特性関数であり、原点で連続である。Lévy の連続性定理§E11.14 定理 4.3によりTn⇒N(0,1)T_n\Rightarrow N(0,1)である。Tn=(Sn−nμ)/(σn)T_n=(S_n-n\mu)/(\sigma\sqrt n)なので、第一の結論を得る。標準正規分布は密度をもつため、その分布関数Φ\Phiはすべての点で連続である。分布収束の定義から第二の表示もすべてのx∈Rx\in\Rについて成り立つ。▨

分散が正であるという仮定は、XkX_kをσ\sigmaで標準化するために必要である。σ2=0\sigma^2=0ならば、X1=μX_1=\muがほとんど確実に成り立つので、Sn−nμ=0S_n-n\mu=0である。そのため、同じ規格化は定義されない。

3 de Moivre–Laplace の定理

Bernoulli 試行の成功回数に中心極限定理を適用する。

系 3.1 (de Moivre–Laplace の定理).0<p<10<p<1とし、X1,X2,…X_1,X_2,\ldotsを独立同分布でXk∼Bern⁡(p)X_k\sim\operatorname{Bern}(p)とする。Sn=X1+⋯+XnS_n=X_1+\cdots+X_nとおけば、すべてのx∈Rx\in\Rに対して

lim⁡n→∞P(Sn−npnp(1−p)≤x)=Φ(x)\lim_{n\to\infty} P\left(\frac{S_n-np}{\sqrt{np(1-p)}}\leq x\right)=\Phi(x)

である。特に、Sn∼Bin⁡(n,p)S_n\sim\operatorname{Bin}(n,p)であるため、標準化した二項分布は標準正規分布へ分布収束する。

証明. Bernoulli 分布の積率§E11.5 命題 1.3により、

E[Xk]=p,Var⁡(Xk)=p(1−p)>0E[X_k]=p,\qquad \operatorname{Var}(X_k)=p(1-p)>0

である。したがって、定理 2.1をμ=p\mu=p、σ2=p(1−p)\sigma^2=p(1-p)として適用すると、表示した極限を得る。

SnS_nの分布を確認する。0≤j≤n0\leq j\leq nに対してSn=jS_n=jとなるのは、nn回のうちちょうどjj回が成功する場合である。各成功位置の確率は独立性からpj(1−p)n−jp^j(1-p)^{n-j}であり、成功位置の選び方は(nj)\binom nj通りである。ゆえに

P(Sn=j)=(nj)pj(1−p)n−jP(S_n=j)=\binom njp^j(1-p)^{n-j}

であり、§E11.5 定義 1.2によってSn∼Bin⁡(n,p)S_n\sim\operatorname{Bin}(n,p)である。▨

例 3.2.p=1/2p=1/2のとき、E[Sn]=n/2E[S_n]=n/2かつVar⁡(Sn)=n/4\operatorname{Var}(S_n)=n/4である。したがって、

2Sn−nn⇒N(0,1)\frac{2S_n-n}{\sqrt n}\Rightarrow N(0,1)

となる。各nnでは左辺は離散分布であるが、その分布関数は標準正規分布の連続な分布関数へ各点で収束する。

4 扱った範囲

本記事では、独立同分布で有限かつ正の分散をもつ場合の中心極限定理を、特性関数の二次展開と Lévy の連続性定理によって証明し、de Moivre–Laplace の定理を導いた。独立だが同分布ではない確率変数の三角配列についての Lindeberg–Feller の定理、収束率の評価についての Berry–Esseen の定理、および正規分布以外を極限に含む安定分布は扱っていない。

5 演習

問題 5.1 (中心化を省いた場合).定理 2.1の仮定のもとでμ≠0\mu\neq0とする。Sn/(σn)S_n/(\sigma\sqrt n)が標準正規分布へ分布収束しないことを示せ。必要ならば、

Snσn=Sn−nμσn+μnσ\frac{S_n}{\sigma\sqrt n} =\frac{S_n-n\mu}{\sigma\sqrt n}+\frac{\mu\sqrt n}{\sigma}

を用いてよい。

解答.

Tn=(Sn−nμ)/(σn)T_n=(S_n-n\mu)/(\sigma\sqrt n)、cn=μn/σc_n=\mu\sqrt n/\sigmaとおくと、Sn/(σn)=Tn+cnS_n/(\sigma\sqrt n)=T_n+c_nである。定理 2.1により、すべてのx∈Rx\in\RについてP(Tn≤x)→Φ(x)P(T_n\leq x)\to\Phi(x)である。

標準正規密度g(x)=(2π)−1/2e−x2/2g(x)=(2\pi)^{-1/2}e^{-x^2/2}は∣x∣≤1|x|\leq1でg(x)≥g(1)>0g(x)\geq g(1)>0を満たす。§E11.5 定義 2.4と積分の単調性により

Φ(0)=∫(−∞,0]g dλ≥g(1)λ([−1,0])=g(1)>0,1−Φ(0)=∫(0,∞)g dλ≥g(1)λ((0,1])=g(1)>0\Phi(0)=\int_{(-\infty,0]}g\,d\lambda\geq g(1)\lambda([-1,0])=g(1)>0, \qquad 1-\Phi(0)=\int_{(0,\infty)}g\,d\lambda\geq g(1)\lambda((0,1])=g(1)>0

である。したがって0<Φ(0)<10<\Phi(0)<1である。

μ>0\mu>0とする。このときcn→∞c_n\to\inftyである。M>0M>0を固定すると、十分大きいすべてのnnでcn≥Mc_n\geq Mであり、

{Snσn≤0}={Tn≤−cn}⊆{Tn≤−M}\left\{\frac{S_n}{\sigma\sqrt n}\leq0\right\}=\{T_n\leq-c_n\}\subseteq\{T_n\leq-M\}

が成り立つ。したがって

lim sup⁡n→∞P(Snσn≤0)≤lim⁡n→∞P(Tn≤−M)=Φ(−M)\limsup_{n\to\infty}P\left(\frac{S_n}{\sigma\sqrt n}\leq0\right)\leq\lim_{n\to\infty}P(T_n\leq-M)=\Phi(-M)

である。§E11.3 命題 2.2 (3)によりM→∞M\to\inftyでΦ(−M)→0\Phi(-M)\to0であるから、P(Sn/(σn)≤0)→0P(S_n/(\sigma\sqrt n)\leq0)\to0を得る。

μ<0\mu<0とする。このときcn→−∞c_n\to-\inftyである。M>0M>0を固定すると、十分大きいすべてのnnで−cn≥M-c_n\geq Mであり、{Tn≤M}⊆{Tn≤−cn}={Sn/(σn)≤0}\{T_n\leq M\}\subseteq\{T_n\leq-c_n\}=\{S_n/(\sigma\sqrt n)\leq0\}が成り立つ。したがって

lim inf⁡n→∞P(Snσn≤0)≥lim⁡n→∞P(Tn≤M)=Φ(M)\liminf_{n\to\infty}P\left(\frac{S_n}{\sigma\sqrt n}\leq0\right)\geq\lim_{n\to\infty}P(T_n\leq M)=\Phi(M)

であり、M→∞M\to\inftyでΦ(M)→1\Phi(M)\to1であるから、P(Sn/(σn)≤0)→1P(S_n/(\sigma\sqrt n)\leq0)\to1を得る。

Φ\Phiはすべての点で連続であるから、Sn/(σn)⇒N(0,1)S_n/(\sigma\sqrt n)\Rightarrow N(0,1)ならば、§E11.12 定義 1.3によりP(Sn/(σn)≤0)→Φ(0)P(S_n/(\sigma\sqrt n)\leq0)\to\Phi(0)でなければならない。いずれの場合も極限は00または11であり、0<Φ(0)<10<\Phi(0)<1に反する。ゆえにSn/(σn)S_n/(\sigma\sqrt n)は標準正規分布へ分布収束しない。▨

問題 5.2 (Rademacher 変数への適用).P(Xk=1)=P(Xk=−1)=1/2P(X_k=1)=P(X_k=-1)=1/2である独立同分布列を考える。n−1/2∑k=1nXk⇒N(0,1)n^{-1/2}\sum_{k=1}^nX_k\Rightarrow N(0,1)を、期待値と分散を計算したうえで定理 2.1から導け。

解答.

P(Xk=1)+P(Xk=−1)=1P(X_k=1)+P(X_k=-1)=1であるから、XkX_kはほとんど確実に値11または−1-1をとる。したがってXk+=1{Xk=1}X_k^+=\mathbf 1_{\{X_k=1\}}、Xk−=1{Xk=−1}X_k^-=\mathbf 1_{\{X_k=-1\}}、Xk2=1X_k^2=1がほとんど確実に成り立つ。§E11.4 定義 1.1と§E10.10 定理 3.2により

E[Xk]=E[Xk+]−E[Xk−]=P(Xk=1)−P(Xk=−1)=12−12=0,E[Xk2]=E[1]=1E[X_k]=E[X_k^+]-E[X_k^-]=P(X_k=1)-P(X_k=-1)=\frac12-\frac12=0, \qquad E[X_k^2]=E[1]=1

である。Xk∈L2(P)X_k\in L^2(P)であるから、§E11.4 命題 2.3により

Var⁡(Xk)=E[Xk2]−E[Xk]2=1−0=1\operatorname{Var}(X_k)=E[X_k^2]-E[X_k]^2=1-0=1

である。したがって、μ=0\mu=0、σ2=1\sigma^2=1であり、0<σ2<∞0<\sigma^2<\inftyが成り立つ。Sn=∑k=1nXkS_n=\sum_{k=1}^{n}X_kとおく。列は独立同分布であるから、定理 2.1を適用することができ、

Sn−nμσn=1n∑k=1nXk⇒N(0,1)\frac{S_n-n\mu}{\sigma\sqrt n}=\frac{1}{\sqrt n}\sum_{k=1}^{n}X_k\Rightarrow N(0,1)

を得る。▨

参考文献

  1. Patrick Billingsley, Probability and Measure, Anniversary Edition, Wiley, 2012, originally published 1995.特性関数による Lindeberg–Lévy 型中心極限定理の証明を参考にした。
  2. Rick Durrett, Probability: Theory and Examples, 5th ed., Cambridge University Press, Cambridge, 2019.標準化と特性関数の二次展開による証明構成を参考にした。
  3. William Feller, An Introduction to Probability Theory and Its Applications, 3rd ed., vol. I, Wiley, 1968.de Moivre–Laplace の定理の古典的な定式化を参考にした。

前提記事