Help us understand the problem. What is going on with this article?

「教師強制と出⼒回帰のあるネットワーク」とは?

概要

E資格のシラバスの記載で簡単に解決できなかったことをメモ。

教師強制とは?

「Teacher forcing」の日本語訳かと思われる。
RNNの学習において、各タイムステップでの入力に教師データを用いる方法。
I have a pen の場合で考えると、入力x1I」から出力「y1have」といった形に予測する場合に、x2以降の入力に教師データの値を使用する。

x1I → y1have
x2have → y2a
x3a → y3pen

メリット

学習が安定し、収束が早い。

デメリット

本番では入力に教師データが利用できないため、出力の誤差が累積してしまう。(Exposure bias)

出力回帰とは?

教師強制が入力X2以降にも教師データを用いるのに対して、モデルが推定した結果(yn-1)の値を入力xnに用いる方法。

x1I → y1have
y1have → y2a
y2a → y3pen

要するに「xn = yn-1」となる。

メリット

Exposure biasは発生しない。

デメリット

学習が安定せず、収束が遅い

20731057hh
C言語でのデータベース、認証モジュールの開発を約6年経験し、現在はQAとして自動化検証、不具合分析を中心に、ストーリーレビューやインスペクションレビューなど、上流工程からの品質向上に奮闘中です。 独学でPythonやGASを勉強し、作成した自動化検証ツールや業務効率化ツールは実際の業務でも運用しています。 現在は機械学習を勉強中。G検定2018#2、E資格2019#2を取得しました。
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした