Edited at

「教師強制と出⼒回帰のあるネットワーク」とは?


概要

E資格のシラバスの記載で簡単に解決できなかったことをメモ。


教師強制とは?

「Teacher forcing」の日本語訳かと思われる。

RNNの学習において、各タイムステップでの入力に教師データを用いる方法。

I have a pen の場合で考えると、入力x1I」から出力「y1have」といった形に予測する場合に、x2以降の入力に教師データの値を使用する。


x1I → y1have

x2have → y2a

x3a → y3pen



メリット

学習が安定し、収束が早い。


デメリット

本番では入力に教師データが利用できないため、出力の誤差が累積してしまう。(Exposure bias)


出力回帰とは?

教師強制が入力X2以降にも教師データを用いるのに対して、モデルが推定した結果(yn-1)の値を入力xnに用いる方法。


x1I → y1have

y1have → y2a

y2a → y3pen


要するに「xn = yn-1」となる。


メリット

Exposure biasは発生しない。


デメリット

学習が安定せず、収束が遅い