Qiita Teams that are logged in
You are not logged in to any team

Log in to Qiita Team
Community
OrganizationEventAdvent CalendarQiitadon (β)
Service
Qiita JobsQiita ZineQiita Blog
5
Help us understand the problem. What are the problem?

More than 1 year has passed since last update.

@20731057hh

「教師強制と出⼒回帰のあるネットワーク」とは?

概要

E資格のシラバスの記載で簡単に解決できなかったことをメモ。

教師強制とは?

「Teacher forcing」の日本語訳かと思われる。
RNNの学習において、各タイムステップでの入力に教師データを用いる方法。
I have a pen の場合で考えると、入力x1I」から出力「y1have」といった形に予測する場合に、x2以降の入力に教師データの値を使用する。

x1I → y1have
x2have → y2a
x3a → y3pen

メリット

学習が安定し、収束が早い。

デメリット

本番では入力に教師データが利用できないため、出力の誤差が累積してしまう。(Exposure bias)

出力回帰とは?

教師強制が入力X2以降にも教師データを用いるのに対して、モデルが推定した結果(yn-1)の値を入力xnに用いる方法。

x1I → y1have
y1have → y2a
y2a → y3pen

要するに「xn = yn-1」となる。

メリット

Exposure biasは発生しない。

デメリット

学習が安定せず、収束が遅い

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
5
Help us understand the problem. What are the problem?