概要:

LSTM（Long Short-Term Memory） は、従来のRNN(リカレントニューラルネットワーク)が抱える勾配消失問題に対応するために設計されたモデルです。LSTMの中核となるCEC（Constant Error Carousel）メカニズムの役割を詳しく解説し、どのようにして長期依存関係を学習できるか、Transformerにつながる概要を見ていきましょう。

はじめに

　リカレントニューラルネットワーク（RNN）は、時系列データやシーケンスデータに対して有効なモデルと考えられています。下図のようにRNNでは、通常のニューラルネットワークに比べて回帰結合層が追加されています。過去の出力結果を入力層に利用することをコンセプトにRNNは降参されています。

しかし、RNNには 勾配消失問題 という大きな課題があり、長期的な依存関係を学習することが難しいという問題があります。これを解決するために開発されたのがLSTM（Long Short-Term Memory）　です。

この記事では、LSTMのメカニズムの中心となるCEC（Constant Error Carousel) の役割について詳しく説明し、どのように勾配消失問題に対処しているかを解説します。

勾配消失問題とは？

　勾配消失問題は、リカレントニューラルネットワーク（RNN）やディープニューラルネットワーク（DNN）などの層が深いネットワークでよく発生する問題です。学習中に、誤差（損失）を出力層から入力層方向へ逆伝播させる際、層が深くなるにつれて勾配が指数的に小さくなり、最終的にはほとんどゼロになってしまうという問題です。このため、ネットワークが効果的に学習できなくなり、特に長期依存（過去のデータとの関係）を学習する能力が失われます。

　ニューラルネットワークでは、モデルの出力結果と目標値との差を「損失関数」として定義し、この損失関数を最小化するために誤差逆伝播法を用いてパラメータ（重み）を更新します。損失関数の最小化を行うには、その**勾配（損失関数の重みに対する微分）**を計算する必要があります。しかし、勾配が小さくなると、パラメータの更新量も極めて小さくなり、学習が進まなくなる問題が発生します。

特にRNNのような時系列データを扱うモデルでは、この問題が顕著に現れます。ネットワークが過去の情報を学習する際に、時間が経過するごとに情報が薄まり、遠い過去の情報を十分に保持・学習できないという欠点につながります。

LSTMの仕組みとCEC

　LSTMは、RNNの改善版として1997年に提案されました。LSTMの中核となるのがCEC（Constant Error Carousel） というメカニズムです。このCECは、情報を長期的に保持する役割を持ち、誤差（勾配）が時間とともに消えてしまう問題に対処します。

■　CECの役割
CECは、LSTMのセル状態において、誤差が時間的に一定のまま伝播されることを保証します。これにより、勾配が消失することなく、ネットワークが長期的な依存関係を学習できるようになります。

ゲート構造
LSTMは、ゲート構造を持ち、入力ゲート、出力ゲート、忘却ゲートを通じて、情報を選択的に保持したり捨てたりすることができます。この仕組みにより、不要な情報は消去し、重要な情報のみを保持します。

LSTMブロックの概要図です。実線で書かれている矢印は現在の時刻のデータの流れを表しており、点線は一つ前の時刻のデータの流れを表しています。またはベクトルの要素ごとの積で、は活性化関数を表します。

誤差を内部にとどめておくセル
データを必要なタイミングで保持・忘却させるゲート

CECとLSTMの利点

CECのおかげで、LSTMは次のような利点を持ちます：

長期依存関係の学習: CECによって、LSTMは長期間にわたる依存関係を学習することが可能です。
勾配消失の回避: CECにより、誤差が消失せず、安定した学習が行えます。
情報の選択的保持: LSTMはゲートを使って、重要な情報を保持し、不要な情報を削除します。

まとめ

LSTMは、勾配消失問題に対処するために設計された非常に有用なRNNモデルであり、その中核であるCECが、誤差を保持し、長期的な依存関係を学習するために重要な役割を果たしているんdネスね。LSTMの基本を理解し、どのようにしてシーケンスデータに適用されるかを学ぶことは、時系列データ分析や自然言語処理などの分野で非常に重要です。

参考文献

山下隆義; 猪狩宇司; 今井翔太; 巣籠悠輔; 瀬谷啓介; 徳田有美子; 中澤敏明; 藤本敬介; 古川直裕; 松尾豊; 松嶋達也. 深層学習教科書ディープラーニング G検定（ジェネラリスト）公式テキスト第3版 (p.375). 株式会社翔泳社. Kindle 版.