概要:
LSTM（Long Short-Term Memory） は、従来のRNN(リカレントニューラルネットワーク)が抱える勾配消失問題に対応するために設計されたモデルです。LSTMの中核となるCEC（Constant Error Carousel）メカニズムの役割を詳しく解説し、どのようにして長期依存関係を学習できるか、Transformerにつながる概要を見ていきましょう。
はじめに
リカレントニューラルネットワーク（RNN）は、時系列データやシーケンスデータに対して有効なモデルと考えられています。下図のようにRNNでは、通常のニューラルネットワークに比べて回帰結合層が追加されています。過去の出力結果を入力層に利用することをコンセプトにRNNは降参されています。
しかし、RNNには 勾配消失問題 という大きな課題があり、長期的な依存関係を学習することが難しいという問題があります。これを解決するために開発されたのがLSTM（Long Short-Term Memory） です。
この記事では、LSTMのメカニズムの中心となるCEC（Constant Error Carousel) の役割について詳しく説明し、どのように勾配消失問題に対処しているかを解説します。
勾配消失問題とは？
勾配消失問題は、リカレントニューラルネットワーク（RNN）やディープニューラルネットワーク（DNN）などの層が深いネットワークでよく発生する問題です。学習中に、誤差（損失）を出力層から入力層方向へ逆伝播させる際、層が深くなるにつれて勾配が指数的に小さくなり、最終的にはほとんどゼロになってしまうという問題 です。このため、ネットワークが効果的に学習できなくなり、特に長期依存（過去のデータとの関係）を学習する能力が失われます。
ニューラルネットワークでは、モデルの出力結果と目標値との差を「損失関数」として定義し、この損失関数を最小化するために誤差逆伝播法を用いてパラメータ（重み）を更新します。損失関数の最小化を行うには、その**勾配（損失関数の重みに対する微分）**を計算する必要があります。しかし、勾配が小さくなると、パラメータの更新量も極めて小さくなり、学習が進まなくなる問題が発生します。
特にRNNのような時系列データを扱うモデルでは、この問題が顕著に現れます。ネットワークが過去の情報を学習する際に、時間が経過するごとに情報が薄まり、遠い過去の情報を十分に保持・学習できないという欠点につながります。
LSTMの仕組みとCEC
LSTMは、RNNの改善版として1997年に提案されました。LSTMの中核となるのがCEC（Constant Error Carousel） というメカニズムです。このCECは、情報を長期的に保持する役割を持ち、誤差（勾配）が時間とともに消えてしまう問題に対処します。
■ CECの役割
CECは、LSTMのセル状態において、誤差が時間的に一定のまま伝播されることを保証します。これにより、勾配が消失することなく、ネットワークが長期的な依存関係を学習できるようになります。
ゲート構造
LSTMは、ゲート構造を持ち、入力ゲート、出力ゲート、忘却ゲートを通じて、情報を選択的に保持したり捨てたりすることができます。この仕組みにより、不要な情報は消去し、重要な情報のみを保持します。
LSTMブロックの概要図です。実線で書かれている矢印は現在の時刻のデータの流れを表しており、点線は一つ前の時刻のデータの流れを表しています。またはベクトルの要素ごとの積で、は活性化関数を表します。
- 誤差を内部にとどめておくセル
- データを必要なタイミングで保持・忘却させるゲート
CECとLSTMの利点
CECのおかげで、LSTMは次のような利点を持ちます：
- 長期依存関係の学習: CECによって、LSTMは長期間にわたる依存関係を学習することが可能です。
- 勾配消失の回避: CECにより、誤差が消失せず、安定した学習が行えます。
- 情報の選択的保持: LSTMはゲートを使って、重要な情報を保持し、不要な情報を削除します。
まとめ
LSTMは、勾配消失問題に対処するために設計された非常に有用なRNNモデルであり、その中核であるCECが、誤差を保持し、長期的な依存関係を学習するために重要な役割を果たしているんdネスね。LSTMの基本を理解し、どのようにしてシーケンスデータに適用されるかを学ぶことは、時系列データ分析や自然言語処理などの分野で非常に重要です。
参考文献
山下 隆義; 猪狩 宇司; 今井 翔太; 巣籠 悠輔; 瀬谷 啓介; 徳田 有美子; 中澤 敏明; 藤本 敬介; 古川 直裕; 松尾 豊; 松嶋 達也. 深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第3版 (p.375). 株式会社 翔泳社. Kindle 版.