はじめに
様々な分野で多様なビッグデータが得られるようになり、こうしたデータを解析し、そこから「知」を得るための手段として、機械学習 (Machine Learning)、いわゆるAIが注目されています。そういった動きは、農学の分野でも広がってきており、我々**生物測定学研究室**でも、圃場のモニタリングに画像解析技術を用いたり、育種（品種改良）に機械学習のアイディアを応用した研究を行ったりしています。
こうした状況を鑑みて、本研究室では2020年前期（4月〜8月）に、機械学習の教科書の決定版ともいえる、Christopher Bishopによる**『Pattern Recognition and Machine Learning （パターン認識と機械学習）』、通称PRMLに関する輪読会を開講しました。本輪読会では、PRMLの各章の末尾に付いている演習問題**を、輪読会参加者の有志が解く、ということも行いました。ここでは、各人による演習問題の解答例をQiitaの記事として紹介していこうと思います。
（追記：2021年度後期も輪読会を開催し、第1章から勉強しています。昨年度できなかった演習問題は随時更新予定です。）
本記事では、第2章の演習問題の解答例に関する記事のリンクを紹介していきます。
まだ解いた全ての問題を公開しているわけではなく、随時更新していきます。更新内容などについては、Twitterにてご報告する予定です。
（注：解答例は、数学の決して得意ではない学生によるものもあります。中には間違いや不十分な解答もあるかもしれませんが、温かい目で見ていただき、コメントで誤りなどを指摘していただければ幸いです。また、全ての問題に対して解答例が用意されているわけではないので、その点についてもご了承ください。）
関連記事など
別の章に関するリンク集
PRML 公式資料
- PRML 一式 ダウンロードページ （公式）
- PRML 英語版 フルPDF （公式・無料）
- PRML 日本語訳 上巻 （Amazon）
- PRML 日本語訳 下巻 （Amazon）
- PRML 英語版 公式解答例 （wwwの付いた一部の問題）
PRML 非公式資料
- PRML演習問題 全問解答: PRMLの第1章 ~ 第3章の途中 （演習問題3.24） までのほぼ全ての問題の解答を手書きで載せています。
-
PRML復活の呪文 part3 (2.1 - 2.2): この方は
PRMLの日本語版の上巻の最後まで、各章を何パートかに分けて解説した記事を載せてます。また説明の中で、一部の演習問題の解説を行なっています。 -
PRML演習問題解答を全力で分かりやすく解説！: この方は
PRMLの演習問題の数多く（ほとんど）の問題を、第1章から第10章まで手書きで公開しています。 - PRML 問題2.61 解答
- その他PRMLのタグがついたQiitaの記事一覧
他にも、一部の記事でPRMLの演習問題の解答例に関する記事があるものの、どれも1問単位で解かれており、このようなLaTeXで数式を書いた解答例のリンク集は存在しないように見受けられます。
担当者
東京大学 生物測定学研究室の @YusukeToda1984 さん, @ZaKama さん, @patten さん, @Kazutoshi08 さん, @mashiro135 さん, @yoyoyo11131113 さん, @yu10_I さん, @murata_biomet さん, @RiceCake さん にご協力いただきました。また、他にも（生物測定学研究室以外の学生を含む）2名の有志が匿名で公開に協力してくださいました。こちらの2名の方の記事はこのアカウントの記事として投稿させていただいもののリンクを紹介したいと思います（当人の許可をとっています）。
解答 リンク集
演習問題 2.2 （標準）
ベルヌーイ分布が正規化されており、平均がパラメータ$\mu$と等しくなることを示す、という問題です。
演習問題 2.3 （標準）
二項分布が正規化されていることを、二項定理から証明する問題です。二項定理自体は数学的帰納法を用いて証明することができます。
演習問題 2.4 （標準）
二項分布の平均・分散を、正規化の式を微分することにより求める問題ですね。
演習問題 2.5 （標準）
ベータ分布が正しく正規化されていることを証明する問題です。
演習問題 2.7 （標準）
$\mu$の事後平均が, 事前平均と$\mu$ の最尤推定量の間の値になることを示す問題です。
演習問題 2.6 （基本）
- PRML 演習問題 2.6 （基本） （匿名Aさん）
ベータ分布の平均・分散・最頻値を、ガンマ関数の特性を上手く使いながら解いていく問題ですね。
演習問題 2.9 （難問）
ディリクレ分布の正規化を、数学的帰納法により証明していく問題ですね。難問です。
演習問題 2.10 （標準）
ディリクレ分布の平均・分散・最頻値を、ガンマ関数の特性を上手く使いながら解いていく問題ですね。
演習問題 2.15 （標準）
多変量ガウス分布のエントロピーの式を、証明する問題です。
演習問題 2.17 （基本）
多変量ガウス分布の精度行列を、対称行列として扱っていいことを証明する問題です。対称行列と反対称行列の性質をうまく使います。
演習問題 2.18 （難問）
対称行列の固有値は実数であること、異なる固有値に対応する固有ベクトル同士は直交すること、いくつかの固有値が0であっても正規直交となるように固有ベクトル集合を選ぶことができること、の3つを証明する問題です。難しいです。
演習問題 2.19 （標準）
実対称行列およびその逆行列が、実対称行列の固有値と固有ベクトルを使って展開できることを証明する問題です。最後の方にRのコードを載せてあります。
演習問題 2.24 （標準）
ブロック行列の逆行列に関する公式を証明する問題ですね。シューア補行列に関する公式です。
演習問題 2.26 （標準）
Woodbury 行列反転公式の証明です。証明自体は簡単ですが、この結果は特に計算時間の短縮などに用いることができるので、頭の片隅に置いておきましょう。
演習問題 2.40 （標準）
多変量正規分布の共分散が既知である時に、平均の事後分布をデータ集合から推定する問題ですね。単純ですが、いろいろな場面に応用できる考え方であるため、非常に重要です。
演習問題 2.41 （基本）
- PRML 演習問題2.41 解答 （@patten さん）
ガンマ分布が正規化されていることを証明する問題です。うまく変数変換を行いましょう。
演習問題 2.42 （標準）
- PRML 演習問題 2.42 （標準） （匿名Aさん）
ガンマ分布の平均・分散・最頻値を、ガンマ関数の特性を上手く使いながら解いていく問題ですね。
演習問題 2.44 （標準）
ガウス分布に従うデータ集合に対して、ガンマ-ガウス分布が共役事前分布になっていることを証明する問題です。
演習問題 2.57 （基本）
- PRML 演習問題 2.57 （基本） （匿名Aさん）
多変量正規分布が指数型分布族の一般形に変形できることを証明する問題です。
演習問題 2.58 （基本）
指数型分布族の正規化条件を二階微分することで、規格化定数の対数 $\ln { g \left ( \boldsymbol { \eta } \right ) }$ の負の勾配の勾配が $\mathbf { u } (\mathbf { x } )$の共分散と等しくなることを証明する問題です。問題は素直に解くだけですが、興味深い結果ですね。
その他 （演習問題以外の輪読会関連記事）
教科書の(2.70)の展開方法が簡単にまとめられていたので、もう少し丁寧に書き下してみる。
教科書の式(2.113)・(2.114)と式(2.115)・(2.116)の対象性を確認する。
おわりに （宣伝）
いかがだったでしょうか。
こうした記事が、少しでも皆さんがPRMLの演習問題を解く上での理解の助けとなれば幸いです。
誤りなどありましたら、各演習問題に対する解答記事にてコメントなど残していただければと思います。
さて、生物測定学研究室では、農学という分野にいながら、このような機械学習の基礎から勉強しているほか、プログラミング言語（Python, R, C++, Juliaなど）を駆使して、効率的なデータ取得や、品種改良の高速化に取り組んでいます。興味がある方は、ぜひホームページから研究紹介動画を見ていただければと思います。Twitterもはじめました。
研究室ホームページ: 東京大学 生物測定学研究室
研究紹介動画など （YouTube）: 東京大学 生物測定学研究室 YouTubeチャンネル
Twitterアカウント: UT-Biomet (@BiometUt)
Twitterサブアカウント: 東大・生測の日常。 (@BiometUtDiary) ←New!! (2021.10-)
更新歴
- 2022.3.30 : 解答のリンク（１問 + １記事）を追加しました。
- 2021.12.14 : 担当者に @murata_biomet さん, @RiceCake さんが加わりました。解答のリンク（３問+１記事）を追加しました。
- 2021.11.16 : 2021年度輪読会について、記述しました。
- 2021.10.29 : Twitterサブアカウントを掲載しました。