Reskilling ❘ Data Science

データサイエンス入門 | 統計基礎

#リスキリング #レジリエンス #ICT教育 #ITスキル #データサイエンス

統計基礎

データサイエンスやデータアナリストを目指す方、統計学を学んでみたい方の第一歩となる基礎知識について学習します。自信がついた方は、ぜひ統計検定やデータサイエンスに関する資格の取得にも挑戦してみましょう。

  • 2015年

    創業

  • 120名

    従業員数

  • 2.3M

    月間UU

  • 1,800戸

    管理戸数

~ どのくらい用語を知っているか、単語帳ゲームをやってみましょう ~

※ゲームが正しく表示されていない、動かない方はこちら

  • 2015年

    創業

  • 120名

    従業員数

  • 2.3M

    月間UU

  • 1,800戸

    管理戸数

はじめに

日頃から様々なデータを見ていると思います。そのデータによって、今後どのような方針をとっていくか、目先の対応はどうするかなど多様な判断を行っていることでしょう。データを見た時に、バイアスがかかっていないかよく確認する必要があります。バイアスは自己では非常に認識しづらく、誤った判断の原因になります。

データ分析や統計を学ぶことで、正しい判断ができるようになります。パッと見で受けた印象が全てではないことを意識し、どのような角度から分析を行えばよいかを考えましょう。

分布の特徴を数値でとらえる

データをグラフに表現した時、その見た目から分布や傾向を把握していると思います。その形や広がりから受ける印象は人によってどうしても異なってきます。ですので数値化した指標を用いて、人によって判断に差異がでないようにしていきましょう。

形状を表す指標

中心を表す指標(代表値)

広がり(ばらつき)を表す指標

傾向を表す指標

尖度(せんど)

尖度(せんど)は正規分布からどれだけ逸脱しているか、山の尖り具合を表すときに用いる指標です。平均値と標準偏差を用いて計算します。

●特徴

正規分布より緩やかだと0未満に、尖っていると0以上になるという特徴があります。

●計算
①-1. 「平均値」を計算

②-1. 「観測値」と「平均値」の差を計算
②-2. 上記を合計して平均を計算(分散)
②-3. 分散の平方根を計算(標準偏差)

③-1. 「観測値」と「平均値」の差を計算

③-2. その差を「標準偏差」で割る(標準化)

③-3. 「標準化」された値を4乗

③-4. 全ての4乗した値を合計

③-5. 合計をデータの個数で割る(尖度)

●結果

2通りの定義がある。

1.
尖度が3未満➡扁平な分布、尖りが緩やか、裾が短い
尖度が3以上➡尖った分布、尖りが急、裾が長い

2.
尖度が0未満➡扁平な分布、尖りが緩やか、裾が短い

尖度が0以上➡尖った分布、尖りが急、裾が長い

歪度(わいど)

歪度(わいど)は正規分布からどれだけ歪んでいるか、左右の対称性を表すときに用いる指標です。平均値と標準偏差を用いて計算します。

●特徴

平均値から離れたデータが多ければ分散は大きくなり、平均値に近いデータが多ければ分散は小さくなるという特徴があります。 

●計算
①-1. 「平均値」を計算

②-1. 「観測値」と「平均値」の差を計算
②-2. 上記を合計して平均を計算(分散)
②-3. 分散の平方根を計算(標準偏差)

③-1. 「観測値」と「平均値」の差を計算

③-2. その差を「標準偏差」で割る(標準化)

③-3. 「標準化」された値を3乗

③-4. 全ての3乗した値を合計

③-5. 合計をデータの個数で割る(尖度)

●結果

歪度が正の値➡右裾が長い、右に歪んでいる(左に偏っている)
歪度が負の値➡左裾が長い、左に歪んでいる(右に偏っている)
歪度が0➡左右対称の分布(正規分布など)

平均値

平均値は代表値の一つで、データ全体の重心を表すときに用いる指標です。

●特徴

計算が容易、データセット内の全ての値を計算に使用するため、全てのデータが反映されるという特徴があります。 

●計算方法

①データの観測地を全て足し、合計を出す

②合計をデータの個数で割る

●短所(デメリット)
外れ値の影響を受けやすく、極端に大きい値や小さい値があると、データの中央の傾向を適切に示せなくなることがあります。

●適しているケース

・データが正規分布に近い場合

・外れ値の影響が少ないと想定される場合

・データの総和に着目したい場合

中央値(メディアン)

中央値は代表値の一つで、データセットの真ん中、二等分する点を表すときに用いる指標です。50パーセンタイルとも呼ばれます。

●特徴

外れ値の影響を受けにくい、データの個数によって計算方法が異なる、データセットの個数からみて、真ん中の値を計算に使用するため直観的で理解しやすい。 

●計算

データが奇数個の場合➡真ん中の値がそのまま中央値となる

データが偶数個の場合➡真ん中に近い2つのデータの平均値

●短所(デメリット)
中央付近以外のデータを反映しないため、データの動きや散らばりは把握できません。また、中央以外のデータが変化しても中央値自体は変わりません。中央以外のデータを使わないため、全てのデータを反映していません。

●適しているケース

・データの分布が大きく歪んでいる(非対称)場合

・外れ値の影響が大きいと想定される場合

・外れ値の影響を排除したい場合

●平均値と中央値

平均値と中央値を比較することで、外れ値の存在や分布の偏りを把握することができます。

①平均値と中央値がほぼ同じ、近い➡外れ値が少ない、正規分布に近い

②平均値と中央値が離れている➡データに外れ値が存在する、または分布が偏っている

最頻値(モード)

最頻値(モード)は代表値の一つで、データセットの中で最も頻繁に出現する値、度数が最も高い値を表すときに用いる指標です。

●特徴

質的データ(カテゴリデータ)に適用が可能、数値化できないデータの代表値としても使用できます。出現回数しか使用しないため直観的であり、また外れ値の影響を受けないという特徴があります。

●短所(デメリット)

最頻値が存在しない、最頻値が複数ある、場合があります。1つのデータで最頻値が大きく変化するため不安定性があり、平均値や中央値に比べ、分散や散らばりの情報がより少ないです。

●適しているケース

・最も選ばれている選択肢を知りたい場合

・典型的なカテゴリを知りたい場合

・数値化できないデータである場合

●平均値と中央値

平均値と中央値、最頻値を比較することで、データの分布の形を把握することができます。

範囲(レンジ)

範囲はデータのばらつきを表すときに用いる指標です。「最大値」と「最小値」の差です。

●特徴

範囲のみでばらつきを全て判断できるわけではないが、計算が簡単で使いやすく、直観的にわかりやすい。外れ値の影響を非常に受けやすいため注意が必要。

●ポイント
1つのデータにおいて範囲を見ても有効性がわかりにくいが、2つ以上のデータを比べた時、どのくらいのばらつきに違いがあるのか、という点で直観的でわかりやすい。例えば、同じ平均値をもつ2つのデータにおいて、範囲が全く違う場合、ばらつきが全く異なる可能性、もしくは外れ値が含まれている可能性を推測できる。

●計算
①「最大値」と「最小値」の差を計算

●結果
範囲が大きい➡ばらついている、分布の広がりが大きい
範囲が小さい➡ばらつきが少ない、分布の広がりが小さい

分散

分散はデータのばらつきを表すときに用いる指標です。「観測値」と「平均値」の差、の2乗の平均値です。

●特徴

平均値から離れたデータが多ければ分散は大きくなり、平均値に近いデータが多ければ分散は小さくなるという特徴があります。 

●ポイント
「分散」の大きさでばらつきを見ますが、計算に2乗が含まれているため直観的にわかりづらい数値が出ます。「分散」を計算した後、「標準偏差」を求めることで「測定値」に近くなり、より分かりやすくなります。

●計算
①「観測値」と「平均値」の差を計算
②上記を合計して平均を計算(分散)

●結果
分散が大きい➡平均値から離れたデータが多い
分散が小さい➡平均値に近いデータが多い

標準偏差

標準偏差は広がりを表すときに用いる指標です。「測定値」と「平均値」の差、の2乗の平均を出し、その平方根の値です。➡「分散」の平方根です。

●特徴

平均値から離れたデータが多ければ標準偏差は大きくなり、平均値に近いデータが多ければ標準偏差は小さくなるという特徴があります。

●計算
①「観測値」と「平均値」の差を計算
②上記を合計して平均を計算(分散)
③分散の平方根を計算(標準偏差)

●結果
標準偏差が大きい➡平均値から離れたデータが多い
標準偏差が小さい➡平均値に近いデータが多い

四分位範囲

四分位範囲はデータのちらばりを表すときに用いる指標です。第3四分位数から第1四分位数を引いた値です。

●ポイント

第1四分位数、第2四分位数(中央値)、第3四分位数とは、データの個数で4等分したときの区切り部分の値を指し、これを四分位数といいます。中央値の4等分バージョンだと考えるとわかりやすいです。

●計算
①「四分位数」を確定
②「第3四分位数」ー「第1四分位数」(四分位範囲)

●結果
四分位範囲が大きい➡ちらばりが大きい
四分位範囲が小さい➡ちらばりが少ない、密集している

移動平均(単純移動平均)

移動平均は主に時系列データの長期的な傾向(トレンドといいます)を明らかにするときに用いる分析手法です。任意の一定期間を設定し、その平均値を求めて、その期間をずらしながら新しい平均値を算出しつづけることで求められます。

●ポイント

設定した期間に応じて呼び方を変えます。5日間を設定した場合は5日移動平均、10日間で設定した場合は10日移動平均、といいます。また、最近の値の動きを将来のトレンドより重視し、直近のデータに重みをつけて求める、加重移動平均、というものもあります。加重移動平均とくらべて特に重みをつけないものを単純移動平均とよびます。


●計算

①期間を設定する(n)

②その期間の平均値を計算

③期間を移動させ、移動させた期間の平均値を計算、以降繰り返し

●結果

元の値より滑らかになります。折れ線グラフで表現するとわかりやすいです。

指数(インデックス)

指数はある時点を基準に、特定の時点の変動を数値で表したものです。時間とともに変化する物価や生産量の変化の割合を測定するために利用されています。

●ポイント

指数は、経済の状況や市場の変化を判断するために広く活用されています。指数には様々な種類があり、用途に応じて使い分けます。

●指数の種類

・単純指数

・総合指数

・加重指数

・ラスパイレス指数

・パーシェ指数


●計算

ここでは単純指数について記載します。

①基準期間を設定

②比較期間を設定

③比較期間の測定値を基準期間の測定値で割り、100をかける

●結果

基準期間を100(100%)としたとき、指数の値で変化を読み取ることができます。

指数が100より小さい➡基準期間の測定値より減少している、減少の度合は値の小ささでみる

指数が100より大きい➡基準期間の測定値より増加している、増加の度合は値の大きさでみる

成長率

成長率は、ある期間における特定の指標が、前の期間と比べどれだけ増減したかを割合で表す指標です。経済やビジネスにおいて、トレンドや勢いを把握するときに使用されます。

●ポイント

指標を比べた指標ということでわかりづらく聞こえるかもしれませんが、ひとつ前の値からどれだけ変化したか、を計算していくだけで求めることができます。指数は、経済の状況や市場の変化を判断するために広く活用されています。指数には様々な種類があり、用途に応じて使い分けます。

●計算

①基準期間を設定

②比較期間を設定(連続的な成長率を求めたい場合は直後の期間)

③以下計算式に当てはめて計算

●結果

計算結果がそのまま成長率になる。結果が15の場合は15%、マイナス20の場合ー20%

正の値の場合➡比較期間が基準期間と比べ、増加している

負の値の場合➡比較期間が基準期間と比べ、減少している

統計基礎一覧

統計の学習範囲は広く深いです。いきなりデータ分析にとびこんでもよいですが、順を追って学んでいく方法をオススメいたします。どの分野もそうですが、小手先のテクニックだけではなく、体系的に学ぶことで、長期的にみると驚くほど力がついていきます。ぜひ焦らずじっくり学習を進めてみてください。

  • 2015年

    創業

  • 120名

    従業員数

  • 2.3M

    月間UU

  • 1,800戸

    管理戸数

・本講座の制作
CIT経営開発事務所

・監修
CIT経営開発事務所 代表
井上 隆寛(いのうえ・たかひろ)

IT・事業コンサルタント
IT・開発エンジニア
行政書士R6合格者未登録

大手システム開発会社にてSE兼Webデザイナーとして従事。2021年にコンサルタントとして独立し、企業に対するITコンサルティング・ソリューション導入支援事業を開始。2023年にはイベント企画・運営事業を新たに展開、2024年には行政書士試験に合格。現在はIT・AIコンサルティング、システム開発、エンターテイメントの3事業を柱に、企業の技術顧問や講師としてICT教育やプログラミング授業も手がける。

公開中のリスキリング体験授業・学習教材

リスキリングに役立つ学習教材や体験授業を公開しています。ご自身の学習にお役立てください。

  • 2015年

    創業

  • 120名

    従業員数

  • 2.3M

    月間UU

  • 1,800戸

    管理戸数