§B4.11データの分析

最終更新

データの分析では、観測された値の集まりから何を読み取り、何を結論してよいのでしょうか。本記事では数値データを最初の数学的対象とし、平均値・中央値・最頻値で中心を、分散・標準偏差で散らばりを要約します。相関係数と集計による割合の反転も調べ、数値だけでは因果を結論することができない理由を明らかにします。

1 分布の中心

定義 1.1 (平均値・中央値・最頻値).n≥1n\geq1とし、データをx1,…,xnx_1,\ldots,x_nとする。平均値は

xˉ=x1+⋯+xnn\bar{x}=\frac{x_1+\cdots+x_n}{n}

と定める。データを小さい順に並べたとき、nnが奇数ならば中央の値を中央値とし、nnが偶数ならば中央の二つの値の平均を中央値とする。最大の度数をもつ値を最頻値とする。最大の度数をもつ値が複数ならば、それらをすべて最頻値とし、すべての値の度数が等しい場合には最頻値なしとする。

例 1.2. データ2,3,3,4,182,3,3,4,18の平均値は(2+3+3+4+18)/5=6(2+3+3+4+18)/5=6であり、中央値と最頻値はともに33である。値18はほかの値から離れているため、平均値は中央値より大きい。このデータの中心を要約するときは、平均値だけでなく、中央値とデータの並びも確認する必要がある。

注意 1.3 (外れ値と代表値). データ1,2,2,3,121,2,2,3,12の平均値は4、中央値は2である。12が入力誤りであると確認したうえで除くと、平均値と中央値はともに2になる。外れ値を残すか除くかは代表値の変化だけでは決めず、入力と測定の過程を調べて判断する。

2 散らばり

定義 2.1 (分散と標準偏差).n≥1n\geq1とし、データx1,…,xnx_1,\ldots,x_nの平均値をxˉ\bar{x}とする。分散s2s^2と標準偏差ssを

s2=1n∑i=1n(xi−xˉ)2,s=s2s^2=\frac1n\sum_{i=1}^{n}(x_i-\bar{x})^2,\qquad s=\sqrt{s^2}

と定義する。

分散を計算するときは、次の公式も用います。

公式 2.2 (分散の計算公式).n≥1n\geq1個のデータx1,…,xnx_1,\ldots,x_nの平均値をxˉ\bar{x}、分散をs2s^2とする。このとき

s2=1n∑i=1nxi2−xˉ 2s^2=\frac1n\sum_{i=1}^{n}x_i^2-\bar{x}^{\,2}

が成り立つ。

証明.1≤i≤n1\leq i\leq nについて(xi−xˉ)2=xi2−2xˉxi+xˉ2(x_i-\bar{x})^2=x_i^2-2\bar{x}x_i+\bar{x}^2と展開する。この等式の総和を取ると

s2=1n∑i=1nxi2−2xˉn∑i=1nxi+1n∑i=1nxˉ2s^2=\frac1n\sum_{i=1}^n x_i^2-\frac{2\bar{x}}n\sum_{i=1}^n x_i+\frac1n\sum_{i=1}^n\bar{x}^2

となる。∑i=1nxi=nxˉ\sum_{i=1}^n x_i=n\bar{x}と∑i=1nxˉ2=nxˉ2\sum_{i=1}^n\bar{x}^2=n\bar{x}^2を代入すると

s2=1n∑i=1nxi2−2xˉ2+xˉ2=1n∑i=1nxi2−xˉ2s^2=\frac1n\sum_{i=1}^n x_i^2-2\bar{x}^2+\bar{x}^2 =\frac1n\sum_{i=1}^n x_i^2-\bar{x}^2

を得る。▨

3 相関係数

定義 3.1 (相関係数).n≥1n\geq1とし、組になったデータを(xi,yi)(x_i,y_i)（1≤i≤n1\leq i\leq n）とする。xxとyyの平均値をxˉ\bar{x}、yˉ\bar{y}とし、共分散を

sxy=1n∑i=1n(xi−xˉ)(yi−yˉ)s_{xy}=\frac1n\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})

と定義する。xxとyyの標準偏差sx,sys_x,s_yがともに正であるとき、相関係数を

r=sxysxsyr=\frac{s_{xy}}{s_xs_y}

と定義する。

相関係数は、二つの量の直線的な関係の向きと強さを表す指標です。rrが0に近いことは、二つの量の間に関係がないことを意味しません。

例 3.2.x=−2,−1,0,1,2x=-2,-1,0,1,2に対してy=x2y=x^2とする。xxの平均値は0であり、y=4,1,0,1,4y=4,1,0,1,4の平均値は2である。したがって、共分散は

15{(−2)(4−2)+(−1)(1−2)+0(0−2)+1(1−2)+2(4−2)}=0\frac15\{(-2)(4-2)+(-1)(1-2)+0(0-2)+1(1-2)+2(4-2)\}=0

となる。xxとyyはどちらもすべて同じ値ではないためsx,sy>0s_x,s_y>0であり、相関係数はr=0r=0である。一方、二つの量の間にはy=x2y=x^2という非線形な関係がある。

相関から因果を結論することもできません。一方の量が他方の量の原因であることを、共通の原因、対象の選び方による偏り、逆向きの因果などと区別するには、データが生じた過程を調べる必要があります。

注意 3.3 (仮説のもとでの起こりにくさ). ある仮説が観測値の確率分布を定める場合には、実際のデータと同程度以上に仮説から離れた結果が、その分布のもとでどの程度起こりにくいかを調べることができる。起こりにくい結果は仮説を再検討する材料になるが、その確率を仮説が正しい確率と読むことはできない。検定の定式化は§B4.16 統計的推測が扱う。

4 集計による関係の反転

複数の群のデータを一つにまとめる前後で、割合の大小が逆転することがあります。

例 4.1 (Simpson のパラドックス). 次の仮想データについて、治療AとBの回復数を軽症と重症に分けて考える。

群 治療A 治療B
軽症 81/87 234/270
重症 192/263 55/80

軽症では、治療Aの回復率は81/87≈93.1%81/87\approx93.1\%、治療Bは234/270≈86.7%234/270\approx86.7\%である。重症では、治療Aは192/263≈73.0%192/263\approx73.0\%、治療Bは55/80=68.75%55/80=68.75\%である。したがって、どちらの群でも治療Aの回復率が高い。一方、全体では治療Aが273/350=78%273/350=78\%、治療Bが289/350≈82.6%289/350\approx82.6\%となり、大小が逆転する。治療Aでは重症者が263/350≈75.1%263/350\approx75.1\%、治療Bでは80/350≈22.9%80/350\approx22.9\%を占めるため、回復率が低い重症者の構成比の違いが全体の割合を反転させる。

上の Simpson のパラドックスの例だけから、治療効果を結論することはできません。治療効果を結論するには、重症度の定義、割り付け方法、測定条件なども必要です。

5 例題

レベル1 — 平均と分散

次のデータの平均と分散を求めよ。

解法の型分散は偏差平方の平均：Var⁡=∑i(xi−xˉ)2n\operatorname{Var}=\dfrac{\sum_i(x_i-\bar{x})^2}{n}

例 5.1.

22, 23, 24, 25, 2122,\ 23,\ 24,\ 25,\ 21

答 平均=23,= 23,分散=2= 2

例 5.2.

13, 8, 13, 8, 1313,\ 8,\ 13,\ 8,\ 13

答 平均=11,= 11,分散=6= 6

例 5.3.

17, 21, 18, 15, 1917,\ 21,\ 18,\ 15,\ 19

答 平均=18,= 18,分散=4= 4

6 演習

問題 6.1. データ1,2,2,3,121,2,2,3,12の平均値、中央値、最頻値、分散を求めよ。

解答.

平均値は(1+2+2+3+12)/5=4(1+2+2+3+12)/5=4であり、中央値と最頻値はともに2である。分散は

(1−4)2+(2−4)2+(2−4)2+(3−4)2+(12−4)25=825=16.4\frac{(1-4)^2+(2-4)^2+(2-4)^2+(3-4)^2+(12-4)^2}{5} =\frac{82}{5}=16.4

である。▨

問題 6.2. 相関係数が0に近いことから結論することができる内容と、結論することができない内容を説明せよ。

解答.

相関係数が0に近ければ、二つの量の直線的な関係は弱いと判断することができる。ただし、非線形な関係が存在しないことや、二つの量の間に因果関係が存在しないことは結論することができない。▨

問題 6.3.例 4.1の表について、集計前後の割合を再計算し、大小が反転する理由を人数の配分から説明せよ。

解答.

軽症では81/87≈93.1%>234/270≈86.7%81/87\approx93.1\%>234/270\approx86.7\%、重症では192/263≈73.0%>55/80=68.75%192/263\approx73.0\%>55/80=68.75\%であり、どちらも治療Aの割合が高い。全体では治療Aが(81+192)/(87+263)=273/350=78%(81+192)/(87+263)=273/350=78\%、治療Bが(234+55)/(270+80)=289/350≈82.6%(234+55)/(270+80)=289/350\approx82.6\%であり、治療Bの割合が高い。治療Aには重症者が263人、治療Bには80人含まれ、回復率が低い重症者の構成比が異なるため、集計すると大小が反転する。▨

レベル1 — 平均と分散

次のデータの平均と分散を求めよ。

解法の型分散は偏差平方の平均：Var⁡=∑i(xi−xˉ)2n\operatorname{Var}=\dfrac{\sum_i(x_i-\bar{x})^2}{n}

問題 6.4.

17, 11, 13, 14, 1517,\ 11,\ 13,\ 14,\ 15
解答.

答 平均=14,= 14,分散=4= 4▨

問題 6.5.

36, 33, 37, 35, 3936,\ 33,\ 37,\ 35,\ 39
解答.

答 平均=36,= 36,分散=4= 4▨

問題 6.6.

21, 24, 22, 20, 1821,\ 24,\ 22,\ 20,\ 18
解答.

答 平均=21,= 21,分散=4= 4▨

前提記事