はじめに
様々な分野で多様なビッグデータが得られるようになり、こうしたデータを解析し、そこから「知」を得るための手段として、機械学習 (Machine Learning)、いわゆるAIが注目されています。そういった動きは、農学の分野でも広がってきており、我々生物測定学研究室でも、圃場のモニタリングに画像解析技術を用いたり、育種（品種改良）に機械学習のアイディアを応用した研究を行ったりしています。
こうした状況を鑑みて、本研究室では2020年前期（4月〜8月）に、機械学習の教科書の決定版ともいえる、Christopher Bishopによる『Pattern Recognition and Machine Learning （パターン認識と機械学習）』、通称PRMLに関する輪読会を開講しました。本輪読会では、PRMLの各章の末尾に付いている演習問題を、輪読会参加者の有志が解く、ということも行いました。ここでは、各人による演習問題の解答例をQiitaの記事として紹介していこうと思います。
（追記：2021年度後期も輪読会を開催し、第1章から勉強しています。昨年度できなかった演習問題は随時更新予定です。）
本記事では、各章の演習問題の解答例のリンク集へのリンクを紹介します。
まだ解いた全ての問題を公開しているわけではなく、随時更新していきます。更新内容などについては、Twitterにてご報告する予定です。
（注：解答例は、数学の決して得意ではない学生によるものもあります。中には間違いや不十分な解答もあるかもしれませんが、温かい目で見ていただき、コメントで誤りなどを指摘していただければ幸いです。また、全ての問題に対して解答例が用意されているわけではないので、その点についてもご了承ください。）
関連記事など
PRML 公式資料
- PRML 一式 ダウンロードページ （公式）
- PRML 英語版 フルPDF （公式・無料）
- PRML 日本語訳 上巻 （Amazon）
- PRML 日本語訳 下巻 （Amazon）
- PRML 英語版 公式解答例 （wwwの付いた一部の問題）
PRML 非公式資料
- PRML演習問題 全問解答: PRMLの第1章 ~ 第3章の途中 （演習問題3.24） までのほぼ全ての問題の解答を手書きで載せています。
-
PRML復活の呪文 part1 (1.1): この方は
PRMLの日本語版の上巻の最後まで、各章を何パートかに分けて解説した記事を載せてます。また説明の中で、一部の演習問題の解説を行なっています。 -
PRML演習問題解答を全力で分かりやすく解説！: この方は
PRMLの演習問題の数多く（ほとんど）の問題を、第1章から第10章まで手書きで公開しています。 - その他PRMLのタグがついたQiitaの記事一覧
担当者
東京大学 生物測定学研究室の @YusukeToda1984 さん, @ZaKama さん, @patten さん, @Kazutoshi08 さん, @mashiro135 さん, @yoyoyo11131113 さん, @yu10_I さん, @murata_biomet さん, @RiceCake さん にご協力いただきました。また、他にも（生物測定学研究室以外の学生を含む）2名の有志が匿名で公開に協力してくださいました。こちらの2名の方の記事はこのアカウントの記事として投稿させていただいもののリンクを紹介したいと思います（当人の許可をとっています）。
解答 リンク集
第1章 序論
機械学習、そしてベイズ的な考え方など、全ての基礎をなす章ですね。演習問題にも、重要な公式の証明などが多く含まれるほか、情報理論に関する話題もあります。
第2章 確率分布
指数型分布族を中心に、様々な分布を紹介している章です。特に（多変量）ガウス分布の取り扱いは非常に重要なので、必ず抑えておきたいです。演習問題も、各確率分布が正規化されていることの確認や、平均・分散の導出などの問題を多く含みます。
第3章 線形回帰モデル
ご存知の通り、機械学習は、教師付き学習 (supervized learning)、教師なし学習 (unsupervised learning)、強化学習 (reinforcement learning) の3つに大別されます。本章では、教師付き学習のうち、回帰問題を主に取り扱っています。演習問題には、予測分布の導出をはじめとして、線形回帰に関する重要な式の導出などが多く含まれています。
第4章 線形識別モデル
本章では、教師付き学習のうち、分類問題を主に取り扱っています。フィッシャーの線形判別分析にはじまり、ロジスティック回帰に代表される確率的識別モデル、そしてラプラス近似を利用したベイズ的な取り扱いまで紹介している章です。演習問題では、多クラス分類に登場するソフトマックス関数に対する交差エントロピーなどに関連する問題を多く取り扱っています。
第5章 ニューラルネットワーク
本章では、ニューラルネットワークについて扱っています。近年機械学習において流行っているディープラーニング（深層学習）の基礎的な考えを学ぶことができる章になっていますね。
第6章 カーネル法
本章では、カーネル法について扱っています。カーネル法では、カーネルとよばれる入力変数間の類似度を用いることで、予測を行います。カーネル法を使うことで無限次元の特徴空間を扱うこともできる、というのが魅力の一つですね。演習問題では、カーネルが満たすべき条件などに関する証明を多く行っています。
第7章 疎な解を持つカーネルマシン
第8章 グラフィカルモデル
第9章 混合モデルとEM
- 2021年11月現在、更新予定はございません…
第10章 近似推論法
- 2021年11月現在、更新予定はございません…
第11章 サンプリング法
- 2021年11月現在、更新予定はございません…
第12章 連続潜在変数
- 2021年11月現在、更新予定はございません…
第13章 系列データ
第14章 モデルの結合
- 2021年11月現在、更新予定はございません…
おわりに （宣伝）
いかがだったでしょうか。
こうしたリンク集が、少しでも皆さんがPRMLの演習問題を解く上での理解の助けとなれば幸いです。
誤りなどありましたら、各演習問題に対する解答記事にてコメントなど残していただければと思います。
さて、生物測定学研究室では、農学という分野にいながら、このような機械学習の基礎から勉強しているほか、プログラミング言語（Python, R, C++, Juliaなど）を駆使して、効率的なデータ取得や、品種改良の高速化に取り組んでいます。興味がある方は、ぜひホームページから研究紹介動画を見ていただければと思います。Twitterもはじめました。
研究室ホームページ: 東京大学 生物測定学研究室
研究紹介動画など （YouTube）: 東京大学 生物測定学研究室 YouTubeチャンネル
Twitterアカウント: UT-Biomet (@BiometUt)
Twitterサブアカウント: 東大・生測の日常。 (@BiometUtDiary) ←New!! (2021.10-)
更新歴
- 2021.12.13 : 担当者に @murata_biomet さん, @RiceCake さんが加わりました。
- 2021.11.16 : 2021年度輪読会について、記述しました。第7,8,13章へのリンクを張りました。担当者を更新しました。
- 2021.10.29 : Twitterサブアカウントを掲載しました。