無料で読める統計学・機械学習周辺のチュートリアル論文や講義ノート10本

はじめに

千葉大学/Nospareの米倉です．今回は，統計学・機械学習周辺で，僕が良いと思ったチュートリアル/サーベイ論文と講義ノートを簡単なコメント付きで紹介したいと思います．チュートリアル論文やサーベイ論文は，そのトピックの解説や教育面にフォーカスしていて，何か勉強したり，網羅的に把握するときに非常に便利だと個人的に思います．また公開されている講義ノートの中には非常に勉強になるものが多くあります．内容は僕が興味があるトピックに偏っています．またすべて無料で読めます．（教科書等の海賊版みたいなのは載せていません）

10本の紹介

• Nickl "STATISTICAL THEORY"
  Nicklの統計学の講義ノートです．いわゆるM推定量の漸近的性質に加え，バーンスタイン・フォンミーゼズ定理等も証明付きで解説されており，上級レベルの数理統計学を学ぶのに重宝すると思います．

• Doucet and Johansen "A Tutorial on Particle Filtering and Smoothing:
  Fifteen years later"
  逐次モンテカルロ法を特に状態空間モデルへ応用した時のチュートリアル論文です．数学のレベルは抑え，簡単に様々な方法や基礎的な結果が紹介されています．逐次モンテカルロ法を学びたいと思った人は，この論文から始めることをお勧めします．

• Naesseth et al. "Elements of Sequential Monte Carlo"
  こちらも逐次モンテカルロ法についてのチュートリアル論文ですが，状態空間モデルではなく一般のモデルに対する応用や機械学習的トピックへの応用がメインです．特にML系の文脈での逐次モンテカルロ法をおさえるのにいいと思います．

• Roberts and Rosenthal "General state space Markov chains and MCMC algorithms"
  マルコフ連鎖とMCMCの理論について解説されているチュートリアル・サーベイ論文です．特にカップリングと言う手法を用いた，MCMCのエルゴード性について詳しく書かれています．MCMCの理論に興味がある人におすすめです．

• Bou-Rabee and Sanz-Serna "Geometric integrators and the
  Hamiltonian Monte Carlo method"
  ハミルトニアン・モンテカルロについてのサーベイ論文です．サーベイ論文ですが，各種の証明や基礎的な命題等も網羅されているので，ハミルトニアン・モンテカルロの勉強に非常に良いと思います．

• Slivkins "Introduction to Multi-Armed Bandits"
  多腕バンディット問題のチュートリアル論文です．様々な多腕バンディットの代表的アルゴリズムとその性質が証明付きで解説されていて，また疑似コードも一応掲載されいているので非常に勉強になりました．

• Eberle "Markov processes"
  マルコフ連鎖とマルコフ過程の講義ノートです．兎に色々と証明付きで数学的に厳密に解説されていて良いです．またMCMCのエルゴード性などへの応用も解説されています．

• van Handel "Hidden Markov Models"
  隠れマルコフモデル（状態空間モデル）の講義ノートです．隠れマルコフ自体の安定性の解説や，逐次モンテカルロ法の性質についての証明等が結構丁寧に書かれています．

• Creel "Econometrics notes "
  計量経済学のノートです．基礎的なことに加えて，計算機を多用する分野が作者の専門もあって解説されていてます．特徴はJuliaを用いたサンプルコードが非常にたくさん紹介されている点です．

• Back "Learning Theory from First Principles"
  統計的機械学習（学習理論）の講義ノートと講義サイトです．モデル選択やノンパラ統計等に加えて，ニューラルネット等の主に数理的解析が解説されていて勉強になります．

一緒にお仕事をしましょう！

今回の内容に関連する共同研究・各種お問い合わせにつきましては，お気軽に米倉までご連絡ください．また，株式会社Nospareでは統計学の様々な分野を専門とする研究者が所属しております．統計アドバイザリーやビジネスデータの分析につきましては株式会社Nospare までお問い合わせください．