概要
E資格のシラバスの記載で簡単に解決できなかったことをメモ。
教師強制とは？
「Teacher forcing」の日本語訳かと思われる。
RNNの学習において、各タイムステップでの入力に教師データを用いる方法。
I have a pen の場合で考えると、入力x1I」から出力「y1have」といった形に予測する場合に、x2以降の入力に教師データの値を使用する。
x1
I→ y1have
x2have→ y2a
x3a→ y3pen
メリット
学習が安定し、収束が早い。
デメリット
本番では入力に教師データが利用できないため、出力の誤差が累積してしまう。（Exposure bias）
出力回帰とは？
教師強制が入力X2以降にも教師データを用いるのに対して、モデルが推定した結果(yn-1)の値を入力xnに用いる方法。
x1
I→ y1have
y1have→ y2a
y2a→ y3pen
要するに「xn = yn-1」となる。
メリット
Exposure biasは発生しない。
デメリット
学習が安定せず、収束が遅い