特に新しい情報はないのですけれど、数年前の僕が欲しかった情報について書きます。のでどなたかにはお役に立つかも。

機械学習

定義

、、、だが、最近は混同されて使われていると思う。特に少し前に流行った「データマイニング」に対し、ほとんど同じ文脈でも新しい言葉として「機械学習」と言われていることが多いと思う。下記表において、

手法	判別・回帰	教師あり・なし	説明変数が後から分かるか	特徴	備考
主成分分析	-次元削減	教師なし			Top10TK（主成分分析・因子分析）
回帰分析	回帰	教師なし	分かる		Top10TK
ロジスティック回帰	回帰	教師なし	分かる		Top10TK
クラスタリング	判別	教師なし	分かる		Top10DM（K-means）、Top10TK
決定木・回帰木	判別・回帰	教師なし	分かる		Top10DM（C4.5、CART）、Top10TK
ニューラルネットワーク NN	判別・回帰	教師あり	分からない	一時大流行したがその限界が指摘されて下火になったものの、ディープラーニングとして復活している。判別が主だったが最近は回帰も可能。
サポートベクターマシン SVM	判別・回帰	教師あり	分からない	欠損値があっても有効、未学習データへの識別性能の高さなどから大流行した。今も使われている。判別が主だったが最近は回帰も可能。	Top10DM, Top10TK
アンサンブル学習ランダムフォレスト RF	判別・回帰	教師なし	分かる	アンサンブル学習の先駆け。今も使われている。	Top10DM, Top10TK
アンサンブル学習バギング	判別・回帰	教師あり			Top10TK（アンサンブル学習）
アンサンブル学習ブースティング	判別・回帰	教師あり		AdaBoost、勾配ブースティング（XGBoost）精度が良く人気がある。	Top10DM（AdaBoost）、Top10TK（アンサンブル学習）

Top10DM データマイニング学会が2006年に選んだTop10 c.f. データマイニングで使われるトップ10アルゴリズム
- その他：アプリオリ, EMアルゴリズム, ページランク、K-近傍、ナイーブベイズ
Top10TK 「東京で働くデータサイエンティストのブログ」で2013年に選ばれたTop10 c.f. Webデータ分析＆データサイエンスで役立つ統計学・機械学習系の分析手法10選
- その他：独立性の検定、アソシエーション分析（バスケット分析）、計量時系列分析
実装
- ほとんどがRで実行できる c.f. 同志社大学 Welcome to Mingzhe Jin's Home Page
- また、驚くべきことに200超(2016/03/06現在216）の手法を1つのパッケージにまとめた caret が存在する。

スパースモデリング
- 値のほとんどが0になるような疎行列の解析
トポロジカルデータアナリシス Topological Data Analysis(TDA) トポロジカルデータアナリシス
- 機械学習の森、数学の剣～探索者の憧憬～：トポロジカルデータアナリシスに必要な数学

　　　・・・位相　　－－
　　　　　　　　　　　｜－情報幾何？
　　　　｜－微分幾何？－
　　　　｜
微分積分－－最適化－－
　　　　｜　　　　　｜
　　　　｜－統計学－－－機械学習
　　　　｜　　　　　｜
線形代数－－－－－－－

離散数学－・・・情報理論