1 可積分確率変数の切断
弱大数の法則では分散を仮定しないため、Xkへ Chebyshev の不等式を直接適用することはできない。そこで、標本数nに応じてXkを高さnで切断し、切断による誤差と切断後の分散を別々に評価する。
切断法で用いる二つの極限を先に示す。
補題 1.1.X∈L1(P)ならば、
nP(∣X∣>n)⟶0が成り立つ。
証明. 事象{∣X∣>n}上ではn≤∣X∣であるから、
nP(∣X∣>n)≤E[∣X∣1{∣X∣>n}]である。右辺の被積分関数は各点で0へ収束し、可積分関数∣X∣によって抑えられる。優収束定理§E10.11 定理 3.1により右辺は0へ収束する。▨
補題 1.2.X∈L1(P)とし、
Yn=X1{∣X∣≤n}と定める。このとき
E[Yn]⟶E[X],nE[Yn2]⟶0が成り立つ。
証明.Yn→Xが各点で成り立ち、∣Yn∣≤∣X∣である。したがって、優収束定理§E10.11 定理 3.1によりE[Yn]→E[X]となる。
また、
0≤nYn2=nX21{∣X∣≤n}≤∣X∣である。固定した実数xに対してx21{∣x∣≤n}/n→0であるから、再び優収束定理を適用するとE[Yn2]/n→0を得る。▨
2 弱大数の法則
2.1 証明方針
n個の確率変数を同じ高さnで切断する。少なくとも一つの切断が起こる確率は和事象の評価と可積分性によって0へ収束する。切断後の和には有限な分散があるため、Chebyshev の不等式を適用する。切断後の平均が元の期待値へ収束することを組み合わせて、標本平均の確率収束を得る。
定理 2.1 (弱大数の法則).X1,X2,…を独立同分布な実確率変数列とし、E[∣X1∣]<∞と仮定する。μ=E[X1]およびSn=∑k=1nXkと置く。このとき、任意のε>0に対して
P(nSn−μ>ε)⟶0が成り立つ。
証明.1≤k≤nに対して
Yn,k=Xk1{∣Xk∣≤n},Tn=k=1∑nYn,k,mn=E[Yn,1]と置く。各Yn,kはXkの Borel 可測関数であるから、固定したnに対してYn,1,…,Yn,nは独立同分布である。
Sn=Tnならば、少なくとも一つのk≤nが∣Xk∣>nを満たす。したがって、和事象の評価と同分布性から
P(Sn=Tn)≤k=1∑nP(∣Xk∣>n)=nP(∣X1∣>n)⟶0である。最後の極限には補題 1.1を用いた。
切断された各確率変数は二次可積分である。独立性による積の期待値の分解§E11.7 定理 3.1と期待値の線形性から、異なる添字の共分散は0であり、
Var(Tn)=nVar(Yn,1)≤nE[Yn,12]となる。Chebyshev の不等式§E11.4 系 3.2をTnへ適用すると、
P(nTn−mn>2ε)≤n2ε24Var(Tn)≤nε24E[Yn,12]⟶0を得る。最後の極限には補題 1.2を用いた。
同じ補題によりmn→μであるから、十分大きなnでは∣mn−μ∣≤ε/2となる。そのようなnについて、
P(nSn−μ>ε)≤P(Sn=Tn)+P(nTn−mn>2ε)である。右辺の二項はいずれも0へ収束するため、主張を得る。▨
3 Kolmogorov の最大不等式
強大数の法則では、二進部分列の間にあるすべての部分和も制御する必要がある。Kolmogorov の最大不等式を用いると、一つの終端部分和の分散によって、その終端部分和以前の部分和の最大偏差を評価することができる。
3.1 証明方針
部分和が初めて閾値を越える時刻ごとに互いに素な事象を作る。初回通過までの部分和は、その後の増分と独立であり、後続増分の期待値は0である。この独立性によって交差項が消え、終端部分和の二乗積率が初回通過確率を支配する。
定理 3.1 (Kolmogorov の最大不等式).Z1,…,Znを独立な実確率変数とし、各ZkがE[Zk]=0およびE[Zk2]<∞を満たすと仮定する。Rk=∑j=1kZjと置く。このとき、任意のλ>0に対して
P(1≤k≤nmax∣Rk∣≥λ)≤λ21k=1∑nVar(Zk)が成り立つ。
証明.1≤k≤nに対して
Ak={1≤j<kmax∣Rj∣<λ, ∣Rk∣≥λ}と置く。k=1のとき、最初の条件は空条件とする。事象A1,…,Anは互いに素であり、その和は{max1≤k≤n∣Rk∣≥λ}に等しい。
AkとRkはZ1,…,Zkから定まり、Rn−RkはZk+1,…,Znから定まる。したがって、Rk1AkとRn−Rkは独立であり、E[Rn−Rk]=0である。積の期待値の分解§E11.7 定理 3.1により、
E[Rk1Ak(Rn−Rk)]=0となる。また、E[(Rn−Rk)21Ak]≥0であるから、
E[Rn21Ak]=E[Rk21Ak]+2E[Rk1Ak(Rn−Rk)]+E[(Rn−Rk)21Ak]≥E[Rk21Ak]≥λ2P(Ak).事象Akが互いに素であることから、
E[Rn2]≥k=1∑nE[Rn21Ak]≥λ2k=1∑nP(Ak).独立性とE[Zk]=0により異なる添字の積の期待値は0であるため、
E[Rn2]=k=1∑nE[Zk2]=k=1∑nVar(Zk).以上の二式を組み合わせ、λ2で割ると主張を得る。▨
4 強大数の法則
4.1 証明方針
確率変数を平均で中心化する。まず、添字2mの部分和を Chebyshev の不等式と第一 Borel–Cantelli の補題によって制御する。次に、2mから2m+1までの各ブロック内の最大増分へ Kolmogorov の最大不等式を適用する。二つの評価を組み合わせると、二進部分列の間のすべての添字を補間することができる。
定理 4.1 (強大数の法則).X1,X2,…を独立同分布な実確率変数列とし、E[X12]<∞と仮定する。μ=E[X1]およびSn=∑k=1nXkと置く。このとき
P(n→∞limnSn=μ)=1が成り立つ。
証明.Zk=Xk−μ、Rn=∑k=1nZk=Sn−nμと置き、σ2=Var(X1)<∞とする。各Zkは独立同分布で、平均0、分散σ2をもつ。
独立性による積の期待値の分解§E11.7 定理 3.1から、i=jならばE[ZiZj]=E[Zi]E[Zj]=0である。したがって、任意の正の整数nに対して
Var(Rn)=nσ2が成り立つ。
正の整数rを固定する。Chebyshev の不等式§E11.4 系 3.2により、
P(∣R2m∣>r2m)≤22mr2Var(R2m)=2mr2σ2.右辺はmについて総和可能である。第一 Borel–Cantelli の補題§E11.13 定理 2.1により、確率1で、この不等式の左辺に現れる事象は有限回しか起こらない。すべての正の整数rについて確率1の事象を交わすと、
2mR2m⟶0ほとんど確実にとなる。
次に、
Mm=2m<k≤2m+1max∣Rk−R2m∣と置く。Mmは、独立な中心化確率変数Z2m+1,…,Z2m+1の部分和の最大値である。定理 3.1をλ=2m/rとして適用すると、
P(Mm>r2m)≤22mr2k=2m+1∑2m+1Var(Zk)=2mr2σ2.この右辺もmについて総和可能である。第一 Borel–Cantelli の補題を各正の整数rについて適用し、可算個の確率1の事象を交わすと、
2mMm⟶0ほとんど確実にを得る。
上の二つの極限が同時に成り立つ標本点を固定する。2m<n≤2m+1ならばn≥2mであるため、
n∣Rn∣≤2m∣R2m∣+∣Rn−R2m∣≤2m∣R2m∣+2mMm⟶0.したがってRn/n→0がほとんど確実に成り立つ。Rn/n=Sn/n−μであるから、主張を得る。▨
5 具体例
例 5.1.X1,X2,…を独立同分布とし、各Xkが母数p∈[0,1]の Bernoulli 分布に従うとする。E[Xk]=p、E[Xk2]=p<∞であるから、弱大数と強大数の両方を適用することができる。したがって、
n1k=1∑nXk⟶pがほとんど確実に成り立ち、したがって確率収束も成り立つ。左辺は最初のn回の試行における値1の相対度数である。
6 演習
問題 6.1.
- X∈L1(P)に対してnP(∣X∣>n)→0を示す証明で、可積分性を外すと結論が成り立たない例を一つ構成せよ。
- Z1,Z2,…を独立な実確率変数とし、E[Zk]=0と∑k=1∞Var(Zk)<∞を仮定する。定理 3.1を用いて、級数∑kZkがほとんど確実に収束することを証明せよ。これを用いて、P(εk=1)=P(εk=−1)=1/2を満たす独立同分布列(εk)に対して∑kεk/kがほとんど確実に収束することを示せ。
- U1,U2,…を独立同分布で一様分布U[0,1]に従う確率変数列とし、f:R→Rを∫[0,1]f2dλ<∞を満たす Borel 可測関数とする。I=∫[0,1]fdλとおくと、n1∑i=1nf(Ui)→Iがほとんど確実に成り立つことを証明せよ。また、任意のε>0に対して
P(n1i=1∑nf(Ui)−I≥ε)≤nε21(∫[0,1]f2dλ−I2)
を証明せよ。
- X1,X2,…が独立同分布でE[X12]<∞を満たすとする。強大数の法則から弱大数の法則が従うことを、ほとんど確実な収束が確率収束を導くことを用いて示せ。
解答.
-
Ω=Z≥1、F=P(Ω)とし、P({k})=2−kと定める。∑k≥12−k=1であるからPは確率測度である。X(k)=2kとおく。E[∣X∣]=∑k≥12k2−k=∞であるから、Xは可積分でない。正の整数nに対して、2j−1≤n<2jを満たす正の整数jをとる。k≤j−1ならば2k≤2j−1≤nであり、k≥jならば2k≥2j>nであるから、{∣X∣>n}={k∣k≥j}である。したがって
nP(∣X∣>n)=nk≥j∑2−k=n21−j≥2j−121−j=1
がすべてのnについて成り立ち、nP(∣X∣>n)は0へ収束しない。補題 1.1の証明の評価nP(∣X∣>n)≤E[∣X∣1{∣X∣>n}]は成り立つが、この例では∣X∣が可積分でないので右辺はすべてのnで∞であり、優収束定理の可積分な優関数が存在しない。
-
Rn=∑k=1nZk、sm=∑k>mVar(Zk)とおく。sm→0である。ε>0とmを固定し、n>mについて定理 3.1をZm+1,…,Znに適用すると
P(m<k≤nmax∣Rk−Rm∣≥ε)≤ε21k=m+1∑nVar(Zk)≤ε2sm
である。左辺の事象はnについて増加し、その和集合はsupk>m∣Rk−Rm∣>εを満たす標本点をすべて含むので、§E10.8 定理 4.1の下からの連続性によりP(supk>m∣Rk−Rm∣>ε)≤sm/ε2である。
Eεを、すべてのmについてsupj,k>m∣Rj−Rk∣>2εとなる標本点の集合とする。∣Rj−Rk∣≤∣Rj−Rm∣+∣Rk−Rm∣からsupj,k>m∣Rj−Rk∣≤2supk>m∣Rk−Rm∣であるので、各mについてEε⊆{supk>m∣Rk−Rm∣>ε}であり、P(Eε)≤sm/ε2である。m→∞としてP(Eε)=0を得る。E=⋃r≥1E1/rは零事象である。ω∈/Eならば、各rについてあるmが存在してsupj,k>m∣Rj(ω)−Rk(ω)∣≤2/rであるから、(Rn(ω))は Cauchy 列であり収束する。したがって∑kZkはほとんど確実に収束する。
Zk=εk/kとおくと、(Zk)は独立であり、E[Zk]=0、Var(Zk)=E[εk2]/k2=1/k2である。∑k1/k2<∞であるから、前段により∑kεk/kはほとんど確実に収束する。この級数は絶対収束しない(∑k∣εk∣/k=∑k1/k=∞)。
-
Yi=f(Ui)とおく。有限個の添字i1<⋯<irと Borel 集合B1,…,Brについて{Yij∈Bj}={Uij∈f−1(Bj)}であるから、§E11.7 命題 1.2によりYi1,…,Yirは相互独立であり、§E11.7 定義 1.1により(Yi)は独立な列である。各Yiの分布はfによるU[0,1]の像測度であるから、(Yi)は同分布である。§E11.4 定理 1.3と、U[0,1]の密度1[0,1]に関する§E10.12 命題 3.2により、E[Y12]=∫[0,1]f2dλ<∞である。Y1∈L2(P)⊂L1(P)であり、同じ二つの結果をf±に適用するとE[Y1]=Iである。定理 4.1によりn1∑i≤nYi→Iがほとんど確実に成り立つ。
Var(Y1)=E[Y12]−E[Y1]2=∫[0,1]f2dλ−I2である。§E11.7 系 3.2によりi=jのときCov(Yi,Yj)=0であるから、共分散の双線形性によりVar(∑i≤nYi)=∑i,j≤nCov(Yi,Yj)=∑i≤nVar(Yi)=nVar(Y1)であり、平均n1∑i≤nYiの期待値はI、分散はVar(Y1)/nである。§E11.4 系 3.2をt=εとして適用すると、求める不等式を得る。
-
E[X12]<∞であるから、定理 4.1によりSn/n→μがほとんど確実に成り立つ。§E11.12 定理 2.1 (2)によりSn/nPμであり、§E11.12 定義 1.2によって任意のε>0に対してP(∣Sn/n−μ∣>ε)→0である。この極限は定理 2.1の結論である。E[X12]<∞ならばE[∣X1∣]≤E[X12]1/2<∞であるから、この議論は弱大数の法則の仮定を満たす列のうち二次可積分なものについて、同じ結論を別の経路で与える。
▨