大規模言語モデル入門の輪読会を開催したので、発表に使った資料を一部修正して公開します。

自然言語推論

意味的類似度計算

JCommonsenseQA
- 多肢選択式質問応答のデータセット。
- 5択のクイズ問題形式になっている。
- 質問と回答を繋げた5つの文章をそれぞれエンコーダに入れてスコアを出力し、最終的に1番高い選択肢を回答とする。

ハードウェアの制限状況下でファインチューニングを行うためのテクニックが4つある。Kaggleとかで使えそうな話。

自動混合精度演算
- FP32とFP16を使い分けて高精度かつ高効率な学習をする手法。
- ネットワークの前向き計算と誤差逆伝播はFP16を使う。
- パラメータ更新にはFP32を使う。
- 値が小さくなりすぎて0になるのを防ぐために、損失スケーリング（＝値を定数倍する）なども行っている。
勾配累積
- 小さなバッチサイズで計算した勾配を集約することで、メモリ使用量を抑えながら実質のバッチサイズを増やす手法
- 例えばバッチサイズ16で2回勾配累積を行うと、バッチサイズ32で学習した場合と同じぐらいの精度が得られる。
勾配チェックポインティング
- 前向き計算の途中の計算結果を間引く方法
- torch.utils.checkpoints.checkpoints
LoRAチューニング
- LoRA(Low-Rank Adaptation)
- 普通のファインチューニングはh=WXのWを更新するが、LoRAはh=(W+ΔW)Xとすることで、ΔWをチューニングしている。
- 差分の行列とはなんぞや...？

LUKE (Language Understanding with Knowledge-based Embeddings)
- Wikipediaから得られるエンティティ情報を取り入れた日本語モデル
- エンティティとは
  - 特定の概念（人物、場所、組織、出来事）を指す。
- エンティティを取り入れることによって、固有表現認識や質問応答などのタスクの性能を向上させる。
DeBERT V2 (Decoding-enhanced BERT with disentangled attention)
- Microsoftが開発したBERTのアーキテクチャを改良した日本語モデル
- Enhanced Mask DecoderとnGiEという仕組みが搭載されている。