はじめに

メタラーニングの論文の１つ、通称MAML（マムル）
[1] C. Finn, et. al. "Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks"
を読んでみた。

arXiv:
https://arxiv.org/abs/1703.03400

公式の（？）コード：
https://github.com/cbfinn/maml

ちなみに nikkei robotics 2019年1月号の岡野原氏の記事でもこの論文が紹介されていた。

概要

メタラーニングのモデル
複数のタスクで学習させる事で、それぞれのタスクに特化したパラメータをすぐさま得られる

モデル

問題設定

メタラーニングのモデル： $f$
observation ： $\bf{x}$
モデルの出力： $\bf{a}$
初めの obsevation の分布： $q(\bf{x}\rm_1)$
traisition 分布： $q(\bf{x}\rm_{t+1}|\bf{x}\rm_t, \bf{a}\rm_t)$
エピソードの長さ： $H$
これらを用いて各タスク：

\mathcal{T} = \{ \mathcal{L}(\bf{x}\rm_1, \bf{a}\rm_1, \cdots ,  \bf{x}\rm_H, \bf{a}\rm_H ), q(\bf{x}\rm_1), q(\bf{x}\rm_{t+1}|\bf{x}\rm_t, \bf{a}\rm_t) \}

教師あり学習の場合は $H=1$ 。
タスク全体の分布： $p(\mathcal{T})$
個々のタスクの分布： $p(\mathcal{T} _i)$

ロス： $\mathcal{L}(\bf{x}\rm_1, \bf{a}\rm_1, \cdots, \bf{x}\rm_H,
\bf{a}\rm_H) \to \mathbb{R}$
タスク $\mathcal{T} _i$ のロス： $\mathcal{L} _{\mathcal{T} _i}$

モデルのパラメータ： $\theta$
モデルからの出力： $f_{\theta}$

手法

パラメータの初期値 $\theta$ とする。

$i$ 番目のタスク $\mathcal{T} _i$ のロス $\mathcal{L} _{\mathcal{T} _i}$ から通常の勾配降下法でパラメータの更新値 $\theta ' _i$ を求める。

\theta ' _i = \theta - \alpha \nabla _{\theta} \mathcal{L} _{\mathcal{T} _i} (f_{\theta})

このタスクごとに求まった $\theta ' _i$ のロス $\mathcal{L} _{\mathcal{T} _{i} }(\theta ' _i)$ の全タスクにわたる合計値が最小化するような $\theta$ を求める。

\min _{\theta} \sum _{\mathcal{T} _i \sim p(\mathcal{T})} \mathcal{L} _{\mathcal{T} _i} (f_{\theta ' _i}) = \min _{\theta} \sum _{\mathcal{T} _i \sim p(\mathcal{T})} \mathcal{L} _{\mathcal{T} _i} (f_{\theta - \alpha \nabla _{\theta} \mathcal{L} _{\mathcal{T} _i} (f_{\theta})})

これに関しても勾配降下法で勾配を求める。そしてパラメータの初期値を更新する。

\theta \gets \theta - \beta \nabla _{\theta} \sum _{\mathcal{T} _i \sim p(\mathcal{T})} \mathcal{L} _{\mathcal{T} _i} (f _{\theta ' _i})

このとき $\theta$ に関して微分しているので、

\begin{eqnarray}
\theta &\gets& \theta -\beta \nabla _{\theta} \sum _{\mathcal{T} _i \sim p(\mathcal{T})} \mathcal{L} _{\mathcal{T} _i} (f _{\theta ' _i}) \\
&=& \theta -\beta \nabla _{\theta} \sum _{\mathcal{T} _i \sim p(\mathcal{T})} \mathcal{L} _{\mathcal{T} _i} (f_{\theta - \alpha \nabla _{\theta} \mathcal{L} _{\mathcal{T} _i} (f_{\theta})} ) \\

\end{eqnarray}

となり、微分の微分が登場するので、Hessian を求める必要がある。

書きかけ