勾配クリッピング（Gradient Clipping）は、再帰型ニューラルネットワーク（RNN）における勾配爆発問題を軽減するために使用されるテクニック。
概要
勾配クリッピングは、バックプロパゲーション中に計算される勾配の大きさを制限することで、勾配爆発問題を防ぐ手法。
具体的には、勾配ベクトルの大きさ（ノルム）が事前に設定された閾値を超えた場合に、勾配ベクトルを調整して閾値以下に抑える操作を行う。
LSTMやGRUなどのゲート付きRNNアーキテクチャと組み合わせて使用されることが多い。
勾配爆発問題
時系列データを扱うRNNでは、長期依存関係を学習する際に勾配爆発＆勾配消失問題が発生する。
このうち勾配爆発は、BPTT (Backpropagation through time) の過程で、勾配が指数関数的に増大してしまう現象。
勾配爆発が発生すると、モデルのパラメータが不安定になり、学習が困難になる。
勾配クリッピングの手法
主に2つの方法：
- ノルムベースのクリッピング
- 要素ごとのクリッピング
ノルムベースのクリッピング Norm clipping
勾配ベクトル全体のノルムを計算し、それが閾値を超えた場合にベクトル全体をスケーリングする。
勾配の方向を保持しつつ、大きさのみを調整する。
手順：
- 勾配ベクトル $g$ のノルム $||g||$ を計算
- $||g||_ > threshold$ なら、$g = \frac{threshold}{||g||} * g$
Global Norm Clipping in Tensorflow
# Compute gradients
grads = tf.gradients(loss, vars)
# Compute global norm
global_norm = tf.global_norm(grads)
# Clip global norm
clipped_grads = tf.clip_by_global_norm(grads, clip_norm=1.0)
# Apply clipped gradients
optimizer.apply_gradients(zip(clipped_grads, vars))
要素ごとのクリッピング Value clipping
各勾配要素を個別に指定された範囲内（例：[-threshold, threshold]）にクリッピングする。
実装が簡単だが、勾配ベクトルの方向が変わる可能性がある。
手順：
各勾配要素 $g_i$ に対して：
g_i = max(min(g_i, threshold), -threshold)
Value Clipping in Tensorflow
# Compute gradients
grads = tf.gradients(loss, vars)
# Clip gradients
clipped_grads = [tf.clip_by_value(g, -1.0, 1.0) for g in grads]
# Apply clipped gradients
optimizer.apply_gradients(zip(clipped_grads, vars))
勾配クリッピングの利点
- 学習の安定化：勾配爆発を防ぎ、モデルの学習が安定する
- 収束の促進：極端に大きな勾配更新を防ぐことで、最適解への収束を促進
- 汎化性能の向上：過剰な重みの更新を抑制し、過学習を軽減する効果がある
注意点
- 閾値の選択：適切な閾値の選択が重要で、タスクやモデルの構造によって最適値が異なる
- 計算コスト：追加の計算が必要となるため、わずかに学習速度が低下する可能性がある