はじめに
数年前、自分は社内レコメンドの改善を任されていた。やっていたことは単純で、scikit-learnとLightGBMを並べてスコアを比べ、良かったものを採用する。それでしばらくは仕事が回っていた。
崩れたのはオフライン評価とクリック率が噛み合わなくなったときだ。検証データの切り方、正則化の強さ、特徴量同士の相関。どこを疑えばいいのか見当がつかない。質問されても「この設定のほうがスコアが高かった」としか答えられなかった。借り物の手順でモデルを動かしていただけだと自覚した。
そこで断片的なブログ記事を追うのをやめ、教科書を順番に読むことにした。海外の名著は著者が無料公開しているものも多い。ただ自分の場合、最初の一周は日本語で通したほうが明らかに定着が良かった。二周目で原書の該当章を引く、という使い方に落ち着いた。
今回挙げるのは、その過程で手元に残った5冊。統計的な全体像をつかむところから理論の深掘り、PyTorchでの実装、最後に強化学習への発展という順に並べてある。上から読む必要はないが、自分は2冊目で一度詰まって1冊目に戻った。その戻り道も含めて役に立つ並びだと思う。
① Rによる統計的学習入門 — Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani
HastieとTibshiraniはLassoや一般化加法モデルの研究で知られるスタンフォードの統計学者だ。より分厚い『統計的学習の基礎』の、入門版にあたるのがこの本になる。
扱う範囲は線形回帰と分類から始まり、リサンプリング法、正則化、木とランダムフォレスト、サポートベクターマシン、主成分分析やクラスタリングまで。機械学習の地図を一度に見渡せる。
数式は意図的に抑えられていて、代わりに図と言葉で直感を作りにいく構成だ。各章末にRの演習があり、手を動かしながら進められる。
自分に一番効いたのは交差検証とブートストラップの章だった。評価設計の穴がここで見えた。コードはRだが、考え方はPythonでもそのまま通る。
こんな人に: ライブラリは使えるが、なぜその手法を選ぶのか説明できない人。
② パターン認識と機械学習 上 — Christopher M. Bishop
著者はマイクロソフトリサーチの研究者で、ベイズ的な機械学習の第一人者。通称PRML、日本の勉強会でも長く読まれてきた一冊だ。
特徴はベイズの枠組みで全体を貫いているところ。確率分布の整理から線形回帰・線形分類、カーネル法、グラフィカルモデル、EMアルゴリズム、変分推論へと積み上がる。
上巻は確率と線形モデルが中心で、事前分布と正則化が同じ話だと腹落ちする。ここを越えると論文の式が急に読めるようになる。
注意点として数式の密度は高い。自分は1章から順に通すのを諦め、必要な章だけ辞書的に引く形に切り替えた。そのほうが続いた。
こんな人に: 論文の数式で手が止まる人、ベイズを体系的に入れたい人。
③ 深層学習 — Ian Goodfellow, Yoshua Bengio, Aaron Courville
GANを考案したGoodfellowと、深層学習でチューリング賞を受けたBengioらによる教科書。原書はウェブで公開されており、分野の標準的な参照先になっている。
構成は3部。線形代数・確率・数値計算の基礎、CNNやRNNと正則化・最適化の実践、そして表現学習や生成モデルといった研究寄りの話題が続く。
実務に直結するのは第2部だ。学習が発散する、損失が下がらない、過学習する。そうした現象に対する処方が原理から説明される。
自分が読み返すのは最適化と正則化の章。ドロップアウトやバッチ正規化がなぜ効くのかを言葉にできるようになった。実装コードは載っていないので、手を動かす本は別に用意したい。
こんな人に: 深層学習の挙動を現象論でなく原理から理解したい人。
④ PyTorch実践入門 ~ディープラーニングの基礎から実装へ — Eli Stevens, Luca Antiga, Thomas Viehmann
著者陣はPyTorchの開発に深く関わっており、Viehmannはコアデベロッパーのひとりだ。フレームワークの設計意図が本文からにじむ。
前半はテンソルの内部表現、自動微分、DataLoader、学習ループの書き方。メモリ上でテンソルがどう並ぶかまで踏み込むので、速度やメモリの問題を自分で追えるようになる。
後半はCTスキャン画像から肺の結節を検出するプロジェクトを一本通す。データ整備、候補抽出、偽陽性の削減、モデルの統合という流れを順に作っていく。
この後半が自分には刺さった。精度の数字が出る前の泥臭い工程を、ここまで丁寧に書いた本は少ない。TorchScriptでのデプロイまで触れてあるのも実務向きだ。
こんな人に: 写経から抜け出して、自分で学習パイプラインを設計したい人。
⑤ 強化学習(第2版) — Richard S. Sutton, Andrew G. Barto
SuttonはTD学習の提唱者で、Bartoとともに2024年のチューリング賞を受けた。この本は分野の出発点として四十年近く読み継がれている。
多腕バンディットから始まり、マルコフ決定過程、動的計画法、モンテカルロ法、TD学習、関数近似、方策勾配へと進む。各手法が擬似コードで示されるので、そのまま実装に落とせる。
自分が価値を感じたのは前半のテーブル形式の章だ。価値関数と方策の関係をここで掴んでおくと、深層強化学習の論文が一気に読みやすくなる。
LLMのRLHFやGRPOのような話題も、報酬と方策更新の基礎を踏んでいるかで理解の深さが変わる。遠回りに見えて最短だった。
こんな人に: LLMの学習手法やロボティクスの制御に踏み込みたい人。
まとめ
| ステップ | 読む本 | 得られるもの |
|---|---|---|
| 全体像 | Rによる統計的学習入門 | 手法の地図と評価設計の基礎 |
| 理論 | パターン認識と機械学習 上 | ベイズの枠組みと数式を読む力 |
| 原理 | 深層学習 | 学習の不安定さを原理から診断する視点 |
| 実装 | PyTorch実践入門 | 学習パイプラインを設計する手 |
| 発展 | 強化学習 第2版 | 方策と報酬を扱う土台 |
今の課題別に1冊選ぶなら、こんな基準で考えたい。
- 評価のスコアと本番の数字がずれる: Rによる統計的学習入門
- 論文の数式で止まる: パターン認識と機械学習 上
- 学習が収束しない理由を説明できない: 深層学習
- サンプルコードの改造から先に進めない: PyTorch実践入門
- LLMの学習手法の中身を知りたい: 強化学習 第2版
5冊すべてを通す必要はない。詰まっている箇所に対応する1冊を選び、必要な章だけ読む。それだけでも自分のときは手戻りがかなり減った。