LoginSignup
1

More than 5 years have passed since last update.

LSTM(Long Short Term Memory)によるShow and Tellモデル

Last updated at Posted at 2018-05-19
1 / 8

目次

  • 人工知能の歴史と変遷(研究の方向性と順序の再確認)
  • はじめに(Show and Tellとは)
  • LSTM(Long Short Term Memory)とは?
  • RNN(Recurrent Neural Network)の問題点
  • LSTMの特徴: Forget Gate(忘却ゲート)
  • 参考資料

人工知能の歴史と変遷

LTSM入門.png


はじめに

Show and Tellとは?

主に北米で行われる教育科目の一つで、オーストラリアでも一般的である。普通は、小学校の低学年の授業で実施され、小さな児童に公述のスキルを教えるための技術である。たいてい、児童はなにか家からひとつ道具を持って行き、みんなに「なぜその道具を特に選んだか、どこで手に入れたか、その他、関連する情報」について説明する。Wikipediaから引用

Show and Tell: A Neural Image Caption Generator


どんなネットワークなのか

ltms_04.png


LSTM(Long Short Term Memory: 長・短期記憶)とは?

CNN(Convolutional Neural Network)と、RNN(Recurrent Neural Network)のおさらい

  • CNN: 画像識別などに適する
  • RNN: 音声、言語、動画などの系列データに適する

RNN(Recurrent Neural Network)の問題点

  • 10分程度の短期的な記憶保持することができるが、勾配消失が大きい(爆発するか、消滅するか)
    • 例)短期的な株価の予測には適しているが、長期の経済成長を見越した判断などには不向き。
    • 例)チャットボッドなど、短期間では、矛盾がないような会話ができても、一時間前に話した内容を加味することが難しい。

LSTM(Long Short Term Memory)の概要

  • 上記、RNNの問題点を克服し、長期にわたる記憶を実現する方法の一つ。
  • 基本的な入出力層は、RNNと同じで、中間層がメモリユニットというものに置き換えられる。

LSTMの特徴:Forget Gate(忘却ゲート)

LTMSの変遷

  • Original 95,97 Hochreiter & Schmidhuber
  • Forget Gate 99 Gers & Schmidhuber
  • Peephole Connection 00 Gers & Schmidhuber
  • Full Gradient 05 Graves & Schemidhuber

メモリユニット内のForget Gate

RNNの中間層を増やせば、永遠に記憶させることも可能だが、
ただ長く保持すれば良いということではないので、適切に解放する必要がある。
これにより、より長い文脈を捉えた、推定が可能になる。

スクリーンショット 2018-05-19 12.40.21.png


参考資料

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1