「教師強制と出⼒回帰のあるネットワーク」とは？

概要

E資格のシラバスの記載で簡単に解決できなかったことをメモ。

教師強制とは？

「Teacher forcing」の日本語訳かと思われる。
RNNの学習において、各タイムステップでの入力に教師データを用いる方法。
I have a pen の場合で考えると、入力x1I」から出力「y1have」といった形に予測する場合に、x2以降の入力に教師データの値を使用する。

x1I → y1have
x2have → y2a
x3a → y3pen

メリット

学習が安定し、収束が早い。

デメリット

本番では入力に教師データが利用できないため、出力の誤差が累積してしまう。（Exposure bias）

出力回帰とは？

教師強制が入力X2以降にも教師データを用いるのに対して、モデルが推定した結果(yn-1)の値を入力xnに用いる方法。

x1I → y1have
y1have → y2a
y2a → y3pen

要するに「xn = yn-1」となる。

メリット

Exposure biasは発生しない。

デメリット

学習が安定せず、収束が遅い