はじめに
様々な分野で多様なビッグデータが得られるようになり、こうしたデータを解析し、そこから「知」を得るための手段として、機械学習 (Machine Learning)、いわゆるAIが注目されています。そういった動きは、農学の分野でも広がってきており、我々生物測定学研究室でも、圃場のモニタリングに画像解析技術を用いたり、育種（品種改良）に機械学習のアイディアを応用した研究を行ったりしています。
こうした状況を鑑みて、本研究室では2020年前期（4月〜8月）に、機械学習の教科書の決定版ともいえる、Christopher Bishopによる『Pattern Recognition and Machine Learning （パターン認識と機械学習）』、通称PRMLに関する輪読会を開講しました。本輪読会では、PRMLの各章の末尾に付いている演習問題を、輪読会参加者の有志が解く、ということも行いました。ここでは、各人による演習問題の解答例をQiitaの記事として紹介していこうと思います。
（追記：2021年度後期も輪読会を開催し、第1章から勉強しています。昨年度できなかった演習問題は随時更新予定です。）
本記事では、第5章の演習問題の解答例に関する記事のリンクを紹介していきます。
まだ解いた全ての問題を公開しているわけではなく、随時更新していきます。更新内容などについては、Twitterにてご報告する予定です。
（注：解答例は、数学の決して得意ではない学生によるものもあります。中には間違いや不十分な解答もあるかもしれませんが、温かい目で見ていただき、コメントで誤りなどを指摘していただければ幸いです。また、全ての問題に対して解答例が用意されているわけではないので、その点についてもご了承ください。）
関連記事など
別の章に関するリンク集
PRML 公式資料
- PRML 一式 ダウンロードページ （公式）
- PRML 英語版 フルPDF （公式・無料）
- PRML 日本語訳 上巻 （Amazon）
- PRML 日本語訳 下巻 （Amazon）
- PRML 英語版 公式解答例 （wwwの付いた一部の問題）
PRML 非公式資料
-
PRML復活の呪文 part18 (5.1 -5.2): この方は
PRMLの日本語版の上巻の最後まで、各章を何パートかに分けて解説した記事を載せてます。また説明の中で、一部の演習問題の解説を行なっています。 -
PRML演習問題解答を全力で分かりやすく解説！: この方は
PRMLの演習問題の数多く（ほとんど）の問題を、第1章から第10章まで手書きで公開しています。 -
PRML演習解答 [ゆっくり PRML していってね]: この方は
PRMLの演習問題の数多く（ほとんど）の問題を、第5章から第14章まで、手書き、および一部清書した形で公開しています。 - その他PRMLのタグがついたQiitaの記事一覧
他にも、一部の記事でPRMLの演習問題の解答例に関する記事があるものの、どれも1問単位で解かれており、このようなLaTeXで数式を書いた解答例のリンク集は存在しないように見受けられます。
担当者
東京大学 生物測定学研究室の @YusukeToda1984 さん, @ZaKama さん, @patten さん, @Kazutoshi08 さん, @mashiro135 さんにご協力いただきました。また、他にも（生物測定学研究室以外の学生を含む）2名の有志が匿名で公開に協力してくださいました。こちらの2名の方の記事はこのアカウントの記事として投稿させていただいもののリンクを紹介したいと思います（当人の許可をとっています）。さらに本章からは、@yoyoyo11131113 さんにもご協力いただけることになりました。
解答 リンク集
演習問題 5.2 （基本）
複数の出力に対するニューラルネットワークによる回帰問題において、尤度関数の最大化が、やはり見慣れた二乗和誤差関数の最小化と等価となることを証明する問題です。
演習問題 5.3 （標準）
目標変数が複数ある場合を、PRML 演習問題 5.2（基本） 解答 で扱いましたが、この問題では目標変数同士が独立でない時の最尤解を考えます。
演習問題 5.4 （標準）
２クラス分類問題において、目標値のラベル付けが一定の割合で誤っている場合の誤差関数を書き下す問題です。
演習問題 5.6 （基本）
- PRML 演習問題 5.6 （基本） （匿名A さん）
基本的に計算問題です。誤差と活性化関数の関係という意味では、PRML 演習問題 4.18 （基本）と似た問題です。
演習問題 5.7 （基本）
二段階に分かれています。
1. softmaxを微分する
2. 誤差関数を微分する
演習問題 5.9 （基本）
ネットワークの目標値が $0 \leqq t \leqq 1$ から $-1 \leqq t \leqq 1$ に変化したときの、対応するネットワークの誤差関数と活性化関数に関する問題です。
演習問題 5.10 （基本）
誤差関数の停留点を考える際に、局所二次近似の式に現れる、ヘッセ行列とその固有値の関係性に関する問題です。
演習問題 5.11 （標準）
固有方程式を使って、誤差関数を書き換えていく問題です。教科書の図5.5と5.6を見るとイメージしやすいですね。
演習問題 5.12 （標準）
活性化関数のパラメータを、最尤法により直接決定する最初のステップです。
演習問題 5.14 （基本）
誤差逆伝播の微分の評価を有限幅の差分による近似に基づいて行う際に、中心差分を用いれば計算精度が劇的に向上することを示す問題です。問題自体はテイラー展開の復習になりますね。
演習問題 5.17 （基本）
ヘッセ行列の外積による近似に関する問題です。
演習問題 5.20 （基本）
- PRML 演習問題 5.20 （基本） （匿名Aさん）
ソフトマックス関数は、ロジスティックシグモイド関数の拡大ということを考えると、解けるはずです。
演習問題 5.22 （標準）
2層のニューラルネットワークにおけるヘッセ行列の導出を行います。
演習問題 5.23 （標準）
ニューラルネットワークのヘッセ行列の要素を厳密に求める問題です。PRML 演習問題 5.22（標準） 解答の議論を拡張し、入力から出力へ直接つながる、層を飛び越えた結合を含むモデルについて考えます。
演習問題 5.29 （基本）
誤差関数の微分をすると正則化項の影響は各重みを $j$ 番目のガウス分布の中心方向へ引き寄せることであることがわかります。
演習問題 5.31 （基本）
グループ間のソフト重み共有の重みを考える際に、重みの分散に関する微分の式を導出する問題です。
演習問題 5.38 （基本）
2章でのガウス分布の周辺化を用いてベイズニューラルネットワークモデルの予測分布を導きます。
演習問題 5.39 （基本）
ベイズニューラルネットワークの超パラメータのエビデンス関数を、ラプラス近似の結果を用いて近似を行う問題です。
おわりに （宣伝）
いかがだったでしょうか。
こうした記事が、少しでも皆さんがPRMLの演習問題を解く上での理解の助けとなれば幸いです。
誤りなどありましたら、各演習問題に対する解答記事にてコメントなど残していただければと思います。
さて、生物測定学研究室では、農学という分野にいながら、このような機械学習の基礎から勉強しているほか、プログラミング言語（Python, R, C++, Juliaなど）を駆使して、効率的なデータ取得や、品種改良の高速化に取り組んでいます。興味がある方は、ぜひホームページから研究紹介動画を見ていただければと思います。Twitterもはじめました。
研究室ホームページ: 東京大学 生物測定学研究室
研究紹介動画など （YouTube）: 東京大学 生物測定学研究室 YouTubeチャンネル
Twitterアカウント: UT-Biomet (@BiometUt)
更新歴
- 2021.11.16 : 2021年度輪読会について、記述しました。
- 2021.10.29 : Twitterサブアカウントを掲載しました。