§B4.12データの可視化と外れ値

最終更新

グラフを読むときは、形だけでなく、軸、単位、対象数、階級幅、集計方法を確認します。

1 四分位数の規約

四分位数には複数の計算法があるため、本記事で用いる規約を定めます。

定義 1.1 (四分位数と四分位範囲). データを小さい順に並べ、中央値を第2四分位数Q2Q_2とします。データ数が奇数の場合には中央値を除き、下半分の中央値を第1四分位数Q1Q_1、上半分の中央値を第3四分位数Q3Q_3とします。データ数が偶数の場合には前半と後半の中央値をそれぞれQ1,Q3Q_1,Q_3とします。四分位範囲を

IQR=Q3−Q1IQR=Q_3-Q_1

と定義します。

例 1.2. データ1,2,3,4,5,6,201,2,3,4,5,6,20では、Q2=4Q_2=4です。中央値4を除いた下半分1,2,31,2,3と上半分5,6,205,6,20から、Q1=2Q_1=2、Q3=6Q_3=6、IQR=4IQR=4を得ます。

2 箱ひげ図と外れ値候補

定義 2.1 (本記事の箱ひげ図). 箱はQ1Q_1からQ3Q_3までとし、箱の内部に中央値を示します。Q1−1.5IQRQ_1-1.5IQR以上かつQ3+1.5IQRQ_3+1.5IQR以下の観測値のうち、最小値と最大値までひげを伸ばします。この範囲の外側の観測値は外れ値候補として個別に示します。

上の例のデータ1,2,3,4,5,6,201,2,3,4,5,6,20について、上側の境界Q3+1.5IQRQ_3+1.5IQRは6+1.5⋅4=126+1.5\cdot4=12なので、20は外れ値候補です。外れ値候補であることは、誤りであることや削除すべきことを意味しません。外れ値候補については、入力誤り、測定条件の違い、別集団の混入、まれな観測である可能性を調べます。

3 ヒストグラムと散布図

注意 3.1 (グラフを読む条件). ヒストグラムでは階級の境界と幅、縦軸が度数か相対度数かを確認します。散布図では両軸の単位と表示範囲を確認します。縦軸の切り取りや不均等な階級幅を無視すると、差や密度を誤読する場合があります。

同じデータでも、ヒストグラムの階級幅を変えると、山の個数や分布の偏りの見え方が変わります。階級幅が異なるヒストグラムを比較するときは、棒の高さだけでなく、各階級が表す範囲と各棒の面積を確認します。

例 3.2. 5人について、1週間の練習時間を横軸、技能試験の得点を縦軸として、点(1,52),(2,55),(3,61),(4,65),(5,70)(1,52),(2,55),(3,61),(4,65),(5,70)を散布図に表します。横軸の単位を時間、縦軸の単位を点とすると、練習時間が長い人ほど得点も高いという正の関係を、この5人の標本から読み取ることができます。ただし、散布図だけから、練習時間を増やすことが得点上昇の原因であるとは結論することができません。

4 演習

問題 4.1. データ2,3,3,4,5,6,7,8,302,3,3,4,5,6,7,8,30について、定義 1.1の規約でQ1,Q2,Q3,IQRQ_1,Q_2,Q_3,IQRを求め、定義 2.1の外れ値候補を判定せよ。

解答.

データ数は9で奇数なので、中央値Q2Q_2は小さい方から5番目の値5である。中央値5を除いた下半分2,3,3,42,3,3,4の中央値は(3+3)/2=3(3+3)/2=3、上半分6,7,8,306,7,8,30の中央値は(7+8)/2=7.5(7+8)/2=7.5である。したがってQ1=3Q_1=3、Q2=5Q_2=5、Q3=7.5Q_3=7.5であり、IQR=7.5−3=4.5IQR=7.5-3=4.5である。下側の境界はQ1−1.5IQR=3−6.75=−3.75Q_1-1.5IQR=3-6.75=-3.75、上側の境界はQ3+1.5IQR=7.5+6.75=14.25Q_3+1.5IQR=7.5+6.75=14.25である。30だけが上側の境界を超え、下側の境界を下回る観測値はないので、外れ値候補は30だけである。▨

問題 4.2. データ2,3,3,4,5,6,7,8,302,3,3,4,5,6,7,8,30について、2以上30以下の範囲を幅5の階級に分けたヒストグラムと、幅10の階級に分けたヒストグラムを作る。二つのヒストグラムを比較するとき、軸と単位として何を表示する必要があるか。

解答.

横軸には、変数名、その単位、階級の境界を表示する。境界の値が左右どちらの階級に属するかも示す。縦軸には、度数か相対度数かと、その単位を表示する。二つのヒストグラムは階級幅が5と10で異なるので、棒の高さだけを比べると誤読する場合がある(注意 3.1)。そのため、比較する二つの図では、標本数9を示し、縦軸の尺度をそろえ、各棒が表す範囲と面積を読むことができるようにする。▨

問題 4.3. データ2,3,3,4,5,6,7,8,302,3,3,4,5,6,7,8,30について、30を入力誤りとして除く場合と、正しい観測値として残す場合のそれぞれで、平均値と中央値を計算せよ。また、30を除くかどうかの判断に必要な追加情報を述べよ。

解答.

30を残す場合、総和は2+3+3+4+5+6+7+8+30=682+3+3+4+5+6+7+8+30=68なので、平均値は68/9≈7.5668/9\approx7.56であり、中央値は小さい方から5番目の値5である。30を除く場合、総和は38、データ数は8なので、平均値は38/8=4.7538/8=4.75であり、中央値は4番目と5番目の値の平均(4+5)/2=4.5(4+5)/2=4.5である。30を除くと、平均値は約2.81減少し、中央値は0.5減少する。平均値の方が大きく変わるのは、平均値はすべての観測値の大きさを反映するのに対して、中央値は並び順の中央の値だけで決まるからである。30を除くかどうかを判断するには、30の測定方法、入力の記録、その観測の対象が他の観測と同じ集団に属するかを調べる必要がある。これらを調べずに、外れ値候補であることだけから除外を決めることはできない。▨

問題 4.4.例 3.2の散布図から読み取ることができる関係と、散布図だけでは結論することができない因果関係を、それぞれ述べよ。

解答.

この5人の標本では、練習時間が長い人ほど得点も高いという正の関係を読み取ることができる。一方、この5人の標本は、練習時間以外の要因を統制して比較したものではない。したがって、練習時間を増やすことが得点上昇の原因であるとは結論することができない。▨

前提記事