はじめに
- この記事の確認範囲
前提：Softmax と Cross-Entropy をおさらい
浮動小数点の「1 の近くは粗い」問題
バグ 1：Softmax Collapse（確信が強すぎると勾配が消える）
- 何が起きるのか
- 直し方：「1 + ごく小さい数」を一度も作らない
準備：Mac に検証環境を作る
再現 1：2 つのバグと「崖」の位置を測る
- 論文の例を PyTorch で再現する
- 崖の位置を測る
スリングショット：Adam と組むと損失が跳ねる理由
- なぜ既定の ε = 1e-8 で起きやすいのか
再現 2：グロッキングでスリングショットを起こす
- 損失の跳ねは、はっきり再現した
- 正解率は、論文ほどはっきりした差が出なかった
バグ 2：Softmax Cancellation（蒸留で勾配が 0 にならない）
再現 3：教師と同じ重みの生徒は、動かないはずが…
実務への影響：LLM の学習ではどうか
自分のコードに入れるなら
- まず「気にするべきか」を判断する
- Hugging Face の Trainer に差し込む
- 自分のモデルで「崖を越えるトークン」を数える
トラブルシューティング
まとめ
参考リソース