はじめに
前回の記事では、機械学習を正しく始めるための5冊を紹介した。
今回は、その先の話をする。
モデルを動かせるようになった。精度もそこそこ出る。だけど、論文を読んでも数式が追えない。新しいアルゴリズムが出ても「なぜそれが効くのか」が直感的にわからない。面接でベイズ推論の話を振られて固まった——。
「実装はできるけど理論が弱い」という壁にぶつかるタイミングは必ず来る。そこを突破するために必要なのが、ここで紹介する5冊だ。
正直に言うと、どれも簡単ではない。だが、1冊でも通読すれば「アルゴリズムが見える世界」が変わる。全部読む必要はないし、最初から通読する必要もない。リファレンスとして手元に置き、必要なときに該当章を読む使い方で十分だ。
① 深層学習
原著タイトル：Deep Learning
著者: Ian Goodfellow, Yoshua Bengio, Aaron Courville
ディープラーニングの「教科書」と呼ばれる本。著者3人はいずれもこの分野を牽引してきた研究者で、Goodfellowは GANの発明者でもある。
前半は線形代数、確率論、数値最適化の復習から始まり、後半でCNN、RNN、生成モデル、表現学習まで一気にカバーする。各手法の「なぜそう設計するのか」を数学的根拠とともに説明してくれるので、読後には「なんとなくCNNを使っている」状態から「畳み込みが何を捉えているか説明できる」状態に変わる。
全部読まなくていい。最初は興味のある章だけ拾い読みして、理解が深まったら前の章に戻る、という使い方が現実的だ。公式サイト（deeplearningbook.org）で全文が無料公開されている。
こんな人に: DLの「なぜ」を数学的に理解したい人。論文を読むための前提知識を固めたい研究志向の人。
② パターン認識と機械学習――ベイズ理論による統計的予測
原著タイトル：Pattern Recognition and Machine Learning
著者: Christopher M. Bishop
Amazon：
通称「PRML」。ベイズ的な視点から機械学習を体系的に解説した名著。
この本のユニークさは、すべてのモデルを確率分布のパラメータを推定する問題として統一的に扱うところだ。回帰も分類もクラスタリングも、同じ枠組みで理解できるようになる。一度この視点を獲得すると、新しいモデルに出会ったときに「これはどの確率分布を仮定しているのか？」という問いから入れるようになる。
難易度は高い。線形代数と確率論の前提知識は必須で、数式を追うのに忍耐が要る。だが、読み終えたときの見晴らしは格別だ。「アルゴリズムがなぜ動くのか」を根本から理解できるようになる。
機械学習の研究者や大学院生が「一番影響を受けた本」として挙げることが多い1冊。
こんな人に: ベイズ推論を理解したい人。確率的な視点でMLを再構築したい人。大学院レベルの理論を学びたい人。
③ 統計的学習の基礎――データマイニング・推論・予測
原著タイトル：The Elements of Statistical Learning
著者: Trevor Hastie, Robert Tibshirani, Jerome Friedman
通称「ESL」。①で紹介したISLRの「上位版」にあたる。ISLRが直感的に理解する本だとすれば、ESLは厳密に理解する本だ。
ブースティング、ランダムフォレスト、スパースモデル、主成分分析など、実務で頻繁に使う手法の理論的背景が徹底的に解説されている。特にアンサンブル学習（バギング、ブースティング）の章は、Kaggleで上位を目指す人にとって宝の山だ。
ISLRと同じくPDFが無料公開されているので、まずはISLRを読み、「もっと深く知りたい」と感じた手法についてESLの該当章を読む、という使い方が効率的だ。
こんな人に: ISLRを読み終えて次を探している人。統計学習の理論に正面から向き合いたい人。
④ 機械学習のための数学
原著タイトル：Mathematics for Machine Learning
著者: Marc Peter Deisenroth, A. Aldo Feyzi, Cheng Soon Ong
「MLに必要な数学」だけを、ML応用を前提に解説した本。線形代数、微積分、確率論、最適化——MLで使う4つの数学分野を、それぞれ「PCAにどう繋がるか」「SVMでどう使われるか」という具体例と紐づけて教えてくれる。
数学の教科書は一般的な定理の証明に多くのページを割くが、この本は「MLを理解するために必要な部分」にフォーカスしている。だからこそ、大学の線形代数や微積分の授業を受けても「で、これが何の役に立つの？」と感じていた人には特に刺さる。
全文がPDFで無料公開されている。紙の本もCambridge University Pressから出版されているが、PDFだけでも十分学べる。
自分の場合、PCAの固有値分解がただの行列計算にしか見えなかったのが、この本を読んで「分散を最大化する方向を見つけている」と腑に落ちた。そういう繋がりを与えてくれる1冊だ。
こんな人に: 「数学が足りない」と感じているが、何をどこまで勉強すればいいかわからない人。
⑤ 確率的機械学習：入門編 I・II
原著タイトル：Probabilistic Machine Learning: An Introduction
著者: Kevin P. Murphy（監訳：持橋大地、鈴木大慈）
Amazon：
機械学習のほぼ全分野を、確率と統計の視点から統一的に解説した大著。2分冊で、第I巻「基礎と線形モデル」では確率論・統計の基礎から線形モデルまで、第II巻「非線形モデル」ではそれを踏まえたニューラルネットワークや非線形手法をカバーしている。
PRMLが2006年の古典であるのに対し、本書は2022年刊行で深層学習時代の内容を正面から取り込んでいる。ベイズ線形回帰からCNN、RNN、生成モデルまで、同じ確率的フレームワークで一貫して説明されるため、「なぜこのモデルが動くのか」を統一的に理解できる。さらに豊富な実験例と付属のPythonコードが用意されている点も、PRMLにはない実践的な強みだ。
通読する本ではない。リファレンスとして手元に置き、業務や研究で新しい手法に出会ったとき該当章を開く使い方が現実的だ。日本語訳が出ているので、英語の壁なく確率的機械学習の全体像を掴める。
こんな人に: ベイズ統計を本格的に学びたい人。深層学習も含めた確率的MLの全体像を日本語で理解したい人。不確実性の定量化が業務で必要な人。
まとめ：どう使い分けるか
| 目的 | 読むべき1冊 | 備考 |
|---|---|---|
| DLの理論を固めたい | 深層学習 (Goodfellow) | 無料PDF有 |
| ベイズ的な視点を獲得したい | パターン認識と機械学習 (Bishop) | 大学院レベル |
| 統計学習を深掘りしたい | 統計的学習の基礎 (Hastie) | 無料PDF有 |
| MLに必要な数学を効率よく学びたい | 機械学習のための数学 | 無料PDF有、最初に読むのも有り |
| 確率的MLを日本語で体系的に学びたい | 確率的機械学習：入門編 (Murphy) | リファレンス用 |
前回の記事との関係
前回紹介した始めるための5冊と、今回の極める5冊の位置づけを整理する。
[入門] ISLR / Hundred-Page ML Book
↓
[実践] Hands-On ML / Deep Learning with Python
↓
[理論深掘り] ← 今回の5冊
↓
[本番運用] Designing ML Systems
必ずしもこの順番で読む必要はない。だが、「実装はできるのに理論が追いつかない」と感じたら、今回の5冊のどれかに手を伸ばすタイミングだ。
最後に1つ。これらの本を全部読む人はほとんどいない。論文を書く研究者でも、自分の専門分野に関係する1〜2冊を深く読み込んでいるケースが多い。大事なのは全部読むことではなく、自分が今ぶつかっている壁を超えるのに必要な1冊を選ぶことだ。
数学が壁なら④から。ベイズが壁なら②か⑤から。DLの「なぜ」が壁なら①から。自分の弱点に合わせて選んでほしい。