「はじめてのパターン認識」を本気で勉強しました。
よく機械学習勉強法のような記事で入門本としてオススメされていますが、少なくても文系の人にまるでオススメできないです。一方で、機械学習の基礎について体系的に書かれていて非常に素晴らしい書籍かとも思います。相反することを書いていますが、単純に文系人間には内容が理解し難いのです。「こんなの知ってるよね」と言わんばかりに「固有ベクトル」や「ラグランジュ関数」などの単語が出てきますが、高校数学では習いませんから！「はじめての」という本のタイトルや、大学数学やってきた人のオススメとして、この本をピックアップして挫折した人は数多くいるのではないでしょうか。
「難しい」とネガティブなことを言っていますが、基礎理論がきっちり詰まっていて理解するとすごくスッキリします(と言っても、そんなに関連書籍を読んでいるわけではないので世の中にはもっと素晴らしい書籍もあるかもしれません)。PythonなどでライブラリのAPIを呼んで動いていていた裏側では、こんなことが動いていたのか、と霧が晴れた感覚です。
サマリ
| 項目 | 内容 |
|---|---|
| 目的 | 1. 機械学習の基礎を学ぶため 2. 数式アレルギー克服 |
| 期間 | 約９ヶ月 |
| 総時間(実績) | 156時間弱 |
学んだことサマリ
パターン認識において必要な基礎知識を体系的に学べました。
また、数式アレルギーを克服には至りませんでしたが、「時間をかければ数式も読み解ける」くらいのレベルに達することができました。今まで避けていた数式を理解できるようになったのは大きいです(少なくても満足感としては)。これで、わからないことがあった場合にでも時間かければ理解できるだろうという見込みが立ちます。
数学と機械学習の前提知識
数学と機械学習が入り混じっていますが、以下の勉強をしていた状態で臨みました。大学は文系卒で数学苦手です。ここにたどり着くまで長すぎ。
- 高校数学復習と大学基礎レベルの数学(微積・統計・線形代数)勉強
- 「統計学入門 (基礎統計学)」で統計基本を勉強
- 「Rによるやさしい統計学」でR言語を使いながら統計基本を勉強
- 「やさしく学ぶ 機械学習を理解するための数学のきほん」で機械学習と数学を勉強
- ディープラーニングを使った画像処理システムを仕事で構築
- Coursera機械学習入門オンライン講座で機械学習に入門
- 言語処理100本ノック 2015年版で言語処理の基礎をPythonで勉強
- 「言語処理のための機械学習入門」で不等式制約付凸計画問題を学習。第８章 SVM学習中に読みました
「1. 高校数学と大学基礎レベルの数学」は絶対に必要ですね。詳しくは、記事「文系卒社会人が統計・機械学習を理解するための数学勉強方法【随時更新】」を参照ください。あと、「5. Coursera機械学習入門オンライン講座」は必須ではないですが、強くおすすめします。この本の基礎レベルを数倍わかりやすく解説してくれます。唯一の難点は英語なことです。
学習の進め方
以下のことをしながら学習を進めてきました。私レベルの頭だと、本だけでスイスイ理解できないためググッたり、本を使ったりしながら、なんとか理解しました。
- 本に読む
- キーワードなどでググって見つけたサイトを補助として読む(本はそんなにわかりやすくないので・・・)
- ノートに数式書いたり具体例を自分で作って計算して理解を深める
- よく覚えていない内容(例: 線形代数の「固有値」)は数学系参考書を復習
- 理解したことをQiitaに書く
Tips: この本でいろいろなギリシャ文字が出てきます。多くの場合はただの変数と理解して、あまり気にしないことにした方がいいと思います。頭の中で声を出して読むために「ギリシャ文字」で文字を確認していました(私の場合は記事で書く目的もあり)。
各章概要
各章学習時間(棒)と累積学習時間(折れ線)。
難易度は私感で
が多いほど難しい。
| 章 | 項目 | 時間(h) | 難易度 | 学んだこと |
|---|---|---|---|---|
| 1 | はじめに | 8.9 | |
特徴の型, 特徴空間, 次元の呪い |
| 2 | 識別規則と学習法の概要 | 12 | |
ホールドアウト法,交差確認法 ,一つ抜き法 ,ブートストラップ法 ,バイアス・分散トレードオフ, 過学習 |
| 3 | ベイズの識別規則 | 14.8 | |
ベイズ識別規則, ROC曲線 |
| 4 | 確率モデルと識別関数 | 18 |
|
平均ベクトル, 共分散行列, 標準化, 無相関化, 白色化, 正規分布, 最尤推定 |
| 5 | k最近傍法(kNN法) | 8 |
|
最近傍法, ボロノイ境界, kNN |
| 6 | 線形識別関数(前半) | 30.4 |
|
正規方程式 |
| 6 | 線形識別関数(後半) | 前半に時間は含む |
|
フィッシャーの線形判別関数, 判別分析法, ロジスティック回帰 |
| 7 | パーセプトロン型学習規則 | 13.5 |
|
多層パーセプトロン, 誤差逆伝播法, シグモイド関数 |
| 8 | サポートベクトルマシン | 14.7 |
|
カーネルトリック, ν-SVM |
| 9 | 部分空間法 | 15.4 |
|
主成分分析, 特異値分解, CLAFIC法, カーネル主成分分析, カーネル部分空間法 |
| 10 | クラスタリング | 8.4 |
|
距離の公理, ミンコフスキー距離, K-平均法, 融合法, 混合正規分布モデル |
| 11 | 識別機の組み合わせによる性能強化 | 11.6 |
|
ノーフリーランチ定理, 決定木, バギング, アダブースト, ランダムフォレスト |