目次

人工知能の歴史と変遷（研究の方向性と順序の再確認）
はじめに（Show and Tellとは）
LSTM（Long Short Term Memory）とは？
RNN（Recurrent Neural Network）の問題点
LSTMの特徴: Forget Gate（忘却ゲート）
参考資料

人工知能の歴史と変遷

はじめに

Show and Tellとは？

主に北米で行われる教育科目の一つで、オーストラリアでも一般的である。普通は、小学校の低学年の授業で実施され、小さな児童に公述のスキルを教えるための技術である。たいてい、児童はなにか家からひとつ道具を持って行き、みんなに「なぜその道具を特に選んだか、どこで手に入れたか、その他、関連する情報」について説明する。Wikipediaから引用

Show and Tell: A Neural Image Caption Generator

どんなネットワークなのか

LSTM（Long Short Term Memory: 長・短期記憶）とは？

CNN(Convolutional Neural Network)と、RNN(Recurrent Neural Network)のおさらい

CNN: 画像識別などに適する
RNN: 音声、言語、動画などの系列データに適する

RNN(Recurrent Neural Network)の問題点

10分程度の短期的な記憶保持することができるが、勾配消失が大きい（爆発するか、消滅するか）
例）短期的な株価の予測には適しているが、長期の経済成長を見越した判断などには不向き。
例）チャットボッドなど、短期間では、矛盾がないような会話ができても、一時間前に話した内容を加味することが難しい。

LSTM(Long Short Term Memory)の概要

上記、RNNの問題点を克服し、長期にわたる記憶を実現する方法の一つ。
基本的な入出力層は、RNNと同じで、中間層がメモリユニットというものに置き換えられる。

LSTMの特徴：Forget Gate（忘却ゲート）

LTMSの変遷

Original 95,97 Hochreiter & Schmidhuber
Forget Gate 99 Gers & Schmidhuber
Peephole Connection 00 Gers & Schmidhuber
Full Gradient 05 Graves & Schemidhuber

メモリユニット内のForget Gate

RNNの中間層を増やせば、永遠に記憶させることも可能だが、
ただ長く保持すれば良いということではないので、適切に解放する必要がある。
これにより、より長い文脈を捉えた、推定が可能になる。

参考資料

nvidia/tensorflowコンテナイメージでShow and Tell