0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

機械学習の数学と実装を固める5冊

0
Posted at

はじめに

自分が最初に機械学習の案件に放り込まれたのは、前任者が残した需要予測モデルの保守だった。コードは動く。精度もそれなりに出ている。ただ、なぜその特徴量なのか、なぜ正則化の係数がその値なのかを聞かれて何も答えられなかった。

そこからしばらく、ブログ記事とチュートリアルを読み漁る日々が続いた。手は動くようになる。けれど学習が収束しない原因を切り分けたり、検証スコアと本番スコアの乖離を説明したりする段になると、毎回手が止まった。足りなかったのは実装量ではなく、下に敷く土台だった。

結局、腰を据えて書籍を読むのが一番の近道だった。ネット上の断片的な情報は「どうやるか」を教えてくれるが、「なぜそれで良いのか」はまとまった分量の文章でしか入ってこない。

この記事では、自分が土台を作り直す過程で実際に効いた5冊を、数学 → 全体像 → 確率的な定式化 → 強化学習 → 運用という順で並べた。どれも日本語版か、英語でも図とコードが多くて読み進めやすいものを選んでいる。

① 機械学習のための数学 — Marc Peter Deisenroth, A. Aldo Faisal, Cheng Soon Ong

Amazonで見る

著者のDeisenrothはロンドン大学で機械学習を研究している研究者で、共著者2人も同じく大学で教える立場にある。講義ノートが元になっているだけに、説明の順序がよく整理されている。

前半は線形代数、解析幾何、行列分解、ベクトル解析、確率、最適化。後半でその道具を使って線形回帰、主成分分析、サポートベクターマシン、混合ガウスモデルを組み立て直す。

ありがたいのは、数学の章と機械学習の章が切り離されていない点だ。固有値分解を学ぶ理由が主成分分析として後半に回収されるので、途中で「これは何のための計算なのか」と迷子になりにくい。

自分は行列微分とラグランジュ双対のところを何度も読み返した。サポートベクターマシンの双対問題が、ただの式変形ではなくカーネル化への入口だと分かったのはこの本のおかげだ。

注意点として、大学1〜2年の微積と線形代数は前提になっている。まったくの初見だと厳しいので、薄い入門書を1冊挟むと楽になる。

こんな人に: 論文の数式で手が止まる人、ライブラリの引数の意味を自分の言葉で説明したい人。

② Rによる 統計的学習入門 — Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani

Amazonで見る

HastieとTibshiraniはスタンフォードの統計学者で、Lassoや一般化加法モデルの発展に深く関わってきた。その2人が書いた入門書なので、内容の信頼度は高い。

線形回帰から始まり、分類、リサンプリング、正則化、木とランダムフォレスト、サポートベクターマシン、教師なし学習まで一通り。最後にニューラルネットワークも扱う。

この本の価値はバイアスと分散の分解を軸に全体を貫いているところにある。交差検証をなぜやるのか、モデルを複雑にすると何が起きるのかが、章をまたいで同じ枠組みで説明される。

実習がRなのでPython中心の人は戸惑うかもしれない。ただ、やっていることはscikit-learnにそのまま対応する。自分はRコードを読みながらPythonで書き直す形で進めたが、結果的に理解が深まった。

こんな人に: 機械学習の地図を一度ちゃんと描き直したい人、統計の言葉で現象を説明したい人。

③ 確率的機械学習:入門編 I: 基礎と線形モデル — Kevin P. Murphy

Amazonで見る

MurphyはGoogleのシニアスタッフリサーチサイエンティストで、長年定番として読まれてきたMachine Learning: A Probabilistic Perspectiveの著者でもある。

この第I巻は確率、線形代数、最適化といった基礎を固めた上で、線形回帰とロジスティック回帰を確率モデルとして扱い直す。損失関数が尤度から出てくる流れが一貫して示される。

同じ手法を確率の言葉で定式化すると、予測値だけでなく不確実性も扱えるようになる。業務で「この予測はどれくらい信じていいか」を問われる場面が多い人には、この視点がそのまま武器になる。

さらに深いところへ進みたいなら続編のProbabilistic Machine Learning: Advanced Topicsがある。変分推論やグラフィカルモデル、生成モデルが中心で、研究寄りの内容だ。

分量は多い。自分は通読をあきらめて、必要な章だけ辞書的に引く使い方に切り替えた。それでも十分に元が取れている。

こんな人に: ベイズ的なモデリングに踏み込みたい人、予測の確信度を扱う必要がある人。

④ 強化学習(第2版) — Richard S. Sutton, Andrew G. Barto

Amazonで見る

Suttonは時間差分学習を確立した強化学習の第一人者で、Bartoとの共著である本書はこの分野の標準的な教科書として読まれ続けている。

多腕バンディットから入り、マルコフ決定過程、動的計画法、モンテカルロ法、時間差分学習、関数近似、方策勾配へと積み上がる。前提は基本的な微積と線形代数くらいで、強化学習の予備知識は要らない。

良いのは、アルゴリズムが擬似コードで必ず提示される点だ。読みながらそのまま実装できるので、理解の確認が早い。自分はSARSAとQ学習を写経して、方策オン型と方策オフ型の違いが初めて腹に落ちた。

深層強化学習まで広げたいなら、Aske PlaatのDeep Reinforcement Learningが近年の手法を整理していて読みやすい。マルチエージェントや階層型、メタ学習も扱う。

こんな人に: LLMの強化学習まわりの議論を原理から追いたい人、制御や最適化を扱う人。

⑤ 機械学習エンジニアリング — Andriy Burkov

Amazonで見る

BurkovはGartnerで機械学習チームを率いてきた実務家で、簡潔な技術書を書くことで知られている。本書も冗長な説明がほとんどない。

扱うのはモデルの外側だ。問題設定、データ収集とラベリング、特徴量エンジニアリング、学習と評価、デプロイ、監視、運用。プロジェクト全体の工程を順に追う構成になっている。

自分が一番付箋を貼ったのはデータの章と監視の章だった。訓練時と推論時で特徴量の計算経路が分かれて事故る話や、分布シフトをどう検知するかといった内容は、そのまま現場の反省文として読める。

数式はほぼ出てこない。①〜④で理論を固めた後にこれを読むと、学んだ手法が実運用のどこで壊れるかという視点が加わる。順番としては最後に置くのが効く。

こんな人に: PoCから先に進めずにいる人、本番で動くパイプラインを設計する人。

まとめ

ステップ 読む本 得られるもの
土台 機械学習のための数学 線形代数・確率・最適化を手法と結びつけて理解する
全体像 Rによる 統計的学習入門 主要手法の見取り図とバイアス・分散の判断軸
深掘り 確率的機械学習:入門編 I 確率モデルとしての定式化、不確実性の扱い
意思決定 強化学習 第2版 逐次的な意思決定とアルゴリズムの実装感覚
実践 機械学習エンジニアリング データ設計から監視までの運用知識

今の課題別に1冊だけ選ぶなら、こう考えればいい。

  • 論文の数式で詰まる → 機械学習のための数学
  • 手法の選び方に自信がない → Rによる 統計的学習入門
  • 予測の確信度を説明したい → 確率的機械学習:入門編 I
  • 強化学習の原理を押さえたい → 強化学習 第2版
  • モデルが本番で壊れる → 機械学習エンジニアリング

5冊すべてを一気に読む必要はない。自分は手が止まった場所に対応する1冊を開く、という使い方で少しずつ進めた。詰まった経験が先にあるほど、本の内容は速く身につく。

0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?