LSTM（Long Short-Term Memory）は、従来のRNN（リカレントニューラルネットワーク）が抱えていた長期依存性の問題（遠い過去の情報を「忘れてしまう」問題）を解決するために開発された特別な種類のRNNです。これにより、LSTMは長い時系列データにおいて、より効果的に情報を記憶し、関連性の高い情報を活用できるようになりました。自然言語処理や音声認識など、多くの分野でディープラーニングのブレイクスルーを牽引しました。
LSTM（Long Short-Term Memory）とは？ 🤔
LSTMは、「長期の短期記憶」という意味を持つニューラルネットワークで、その名の通り、情報を長期的に記憶する能力を持っています。一般的なRNNが単一の隠れ状態（h_t）で情報を伝達するのに対し、LSTMは「セル状態（Cell State）」というもう一つの記憶経路と、「ゲート（Gate）」と呼ばれる特別な機構を追加しています。
例えるなら、
- 従来のRNNが「すぐに忘れてしまう人」だとすると、
- LSTMは「重要な情報をノートに書き留め、不要な情報は消し、必要な時に見返すことができる人」のようなものです。📝
この「ノート」がセル状態であり、「書き留める」「消す」「見返す」といった行為がゲートによって制御されます。
なぜLSTMが必要なの？ 😩➡️🚀
RNNの解説で触れたように、シンプルなRNNは勾配消失問題により、長い時系列データ（例えば長い文章）において、文頭の重要な情報が文末まで伝わりにくく、「忘れてしまう」という課題がありました。これが「長期依存性の問題」です。
LSTMは、この問題を以下の3つのゲートとセル状態によって解決しました。
-
忘却ゲート (Forget Gate) 🚪
- セル状態からどの情報を「忘れるべきか」を決定します。
- シグモイド関数を使って0から1の間の値を出力し、その値が0に近ければ忘却、1に近ければ保持を意味します。
-
入力ゲート (Input Gate) 📥
- 現在の入力と前の隠れ状態に基づいて、どの情報を「新しくセル状態に書き込むべきか」を決定します。
- シグモイド関数で書き込みの度合いを、tanh関数で新しい候補情報を生成し、それらを組み合わせてセル状態に加えます。
-
出力ゲート (Output Gate) 📤
- セル状態のどの情報を「現在の隠れ状態として出力すべきか」を決定します。
- シグモイド関数で出力の度合いを、tanh関数でセル状態を変換し、それらを組み合わせて現在の隠れ状態を生成します。この隠れ状態が、次の時間ステップに渡されると同時に、最終的な出力を生成するためにも使われます。
-
セル状態 (Cell State) 🧠
- LSTMの中心となる「記憶」の経路です。この経路は、ゲートによって制御されるものの、基本的には情報がそのまま素通りしやすい構造になっており、これにより勾配消失が起こりにくく、長期の情報を安定して保持できます。
これらのゲートは、それぞれ独立した重みとバイアスを持ち、学習によってどの情報をどれだけ通過させるかを自動的に調整します。
LSTMの仕組み (詳細) ⚙️
各時間ステップ $t$ において、LSTMユニットは以下の計算を行います。
1. 忘却ゲート $f_t$
前のセル状態 $C_{t-1}$ のどの部分を忘れるかを決定します。
$$f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$$
2. 入力ゲート $i_t$ と新しい候補セル状態 $\tilde{C}_t$
現在の入力 $x_t$ と前の隠れ状態 $h_{t-1}$ から、新しい情報をどれだけ取り込むかを決定します。
$$i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i)$$新しい候補となるセル状態を生成します。$$\tilde{C}t = \tanh(W_C \cdot [h{t-1}, x_t] + b_C)$$
3. セル状態の更新 $C_t$
古いセル状態 $C_{t-1}$ を忘却ゲートで「忘れ」、新しい候補 $\tilde{C}_t$ を入力ゲートで「加える」ことで、新しいセル状態 $C_t$ を生成します。
$$C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t$$
（ここで $\odot$ は要素ごとの積（アダマール積）です。）
4. 出力ゲート $o_t$ と隠れ状態の更新 $h_t$
更新されたセル状態 $C_t$ から、どの部分を現在の隠れ状態 $h_t$ として出力するかを決定します。
$$o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o)$$
$$h_t = o_t \odot \tanh(C_t)$$
- $\sigma$ はシグモイド関数、$\tanh$ はハイパボリックタンジェント関数です。
- $W$ と $b$ は学習可能な重み行列とバイアスベクトルです。
- $[h_{t-1}, x_t]$ は前の隠れ状態と現在の入力を結合したベクトルです。
LSTMの利点と応用例 🚀
LSTMは、その強力な長期記憶能力により、多くの時系列データ処理タスクで優れた性能を発揮しました。
-
自然言語処理 (NLP) 📝
- 機械翻訳: 長い文章の文脈を正確に捉え、自然な翻訳を生成。
- 文章生成: 前後の文脈を考慮した一貫性のある文章を生成。
- 感情分析: 文章全体のニュアンスを理解して感情を判定。
- 音声認識: 音声の連続的なパターンを認識し、テキストに変換。
-
時系列予測 📈
- 株価予測、電力消費量予測、天気予報など、過去のデータから未来を予測。
-
動画処理 🎬
- 行動認識、次フレーム予測など、時間的な動きを伴うデータの分析。
GRU（Gated Recurrent Unit）との比較 🤝
LSTMと並んでよく使われるのがGRU（Gated Recurrent Unit）です。
-
GRUの特長:
- LSTMよりもシンプルな構造を持ち、セル状態と隠れ状態を統合し、ゲートを2つ（更新ゲートとリセットゲート）に減らしています。
- パラメータ数が少ないため、計算コストが低い傾向があります。
- 多くのタスクでLSTMと同等の性能を発揮することが多いため、特に計算資源が限られる場合に選択肢となります。
どちらを使用するかは、タスクの性質、データ量、利用可能な計算資源などによって異なりますが、LSTMはより複雑な長期依存性を捉えるのに向いているとされることがあります。
LSTMとトランスフォーマーの比較 🆚
LSTMは時系列データ処理において長らくSOTA（最高性能）を誇っていましたが、近年ではトランスフォーマーモデルが多くのNLPタスクでLSTMを凌駕しています。
-
LSTMの強み:
- シーケンシャルなデータ処理において、時間的な順序性を自然にモデル化できる。
- 比較的少ないデータでも学習しやすい場合がある。
- 計算リソースが限られる環境でも比較的扱いやすい。
-
トランスフォーマーの強み:
- **自己注意機構（Self-Attention）**により、系列内の任意の2つの単語間の関係を直接捉えられる（距離が離れていても関係を学習しやすい）。
- 並列計算が容易なため、大規模なデータセットでの学習が非常に速い。
- 大規模言語モデルの基盤となり、転移学習で驚異的な性能を発揮。
現在では、特に大規模なNLPタスクではトランスフォーマーが主流ですが、短い系列データや特定の時系列予測タスク、計算資源の制約がある場合など、LSTM（またはGRU）が依然として有効な選択肢となる場面は多々あります。