はじめに
統計学の分野の「推定・検定」「最小二乗法」「最尤法」について、自分なりの理解をまとめてみました。
1. 統計的推定と統計的検定
統計学の大きな目的の一つは、手元にあるデータ（標本）を使って、背後にある大きな集団（母集団）の性質を明らかにすることです。
統計的推定
統計的推定とは、一部のデータから全体の数値を予測することです。
例えば、一部の視聴者のデータから番組全体の視聴率を割り出すような作業がこれに当たります。
統計的検定
統計的検定とは、立てた仮説が正しいかどうかを確率的に判断することです。
単なる偶然による偏りなのか、それとも意味のある差なのかを数学的なルールに基づいて判断します。
2. 帰無仮説と対立仮説
統計的検定を行う際には、２つの対照的な仮説を立てます。
対立仮説
対立仮説は、自分が本当に証明したいと考えている主張のことです。
「新薬には効果がある」といった、新しい発見や変化を指します。
帰無仮説
帰無仮説は、対立仮説と反対の内容で、「差はない」「効果はない」とする仮説のことです。
検定のプロセスでは、まずこの帰無仮説が正しいと仮定します。その上で、手元のデータが起こる確率が極めて低いことを示し、帰無仮説を否定（棄却）することで、消去法的に対立仮説の正しさを証明します。
3. 最小二乗法
最小二乗法は、回帰分析などで「データに最もフィットする直線」を見つけるための手法です。
散らばっているデータの間を通る直線を引くとき、直線と実際のデータの点の間には「ズレ（誤差）」が生じます。この誤差をそのまま合計すると、プラスとマイナスが打ち消し合って正しく計算できません。
そこで、誤差を二乗してすべてプラスの値にしてから、その合計が最も小さくなるように直線を決定します。
この「誤差の二乗の和を最小にする」という仕組みが、最小二乗法という名前の由来になっています。
4. 最尤法（さいゆうほう）
最尤法は、手元にあるデータが得られる確率が最大になるような、元の分布のパラメータ（平均や分散など）を推定する手法です。
例えば、袋の中からボールをいくつか取り出したときの結果を見て、「この結果が最も起こりやすいのは、袋の中にどのような割合でボールが入っているときか」を逆算して考えます。
「尤（もっとも）」という字の通り、現在起きている事象に対して、最も「尤もらしい」設定を探し出す方法です。
まとめ
統計学の用語は一見すると難解ですが、一つ一つの概念を具体例に当てはめて考えると理解が深まります。
- 推定・検定：一部から全体を推測し、仮説を判定する。
- 帰無仮説・対立仮説：あえて「差がない」と仮定して論破する。
- 最小二乗法：誤差の二乗を最小にして、最適な線を引く。
- 最尤法：結果から、最も確からしい原因を逆算する。
おわりに
数式や見慣れない漢字が並ぶと難しく感じてしまいますが、日常的な例に置き換えて考えることで、それぞれの言葉が持つ本来の役割が見えてきたように感じています。機械学習やディープラーニングの仕組みを深く理解する上でも、今回まとめたような統計的な考え方は土台になる重要な部分だと思います。