60
52

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

DeepAelurus(NPO法人AI開発推進協会)Advent Calendar 2023

Day 25

LLMチューニング手法「LoRA」のポイントと活用例

Last updated at Posted at 2023-12-25

はじめに

LoRAは、2022年に論文で紹介されている大規模言語モデルの効率的なファインチューニングを実現するための手法です。大規模言語モデル入門にも紹介されているのでLLMの基礎から学習するのであればこちらの本がお勧めです。

LoRAとそれ以外の代表的なチューニング手法との違いは以下のようになります。

  • LoRA(LOW-RANK ADAPTATION):
    少数の学習パラメータでタスクに対して調整するという考え方。
  • RAG(Retrieval-Augmented Generation):
    辞書的に外部の知識を与えてモデルに回答してもらうという考え方。
  • In-Context learning/Few-Shot Learningや、Promptエンジニアリング
    モデルは十分な能力を備えているのでモデルからうまく回答を生成するという考え方。

LoRAの仕組み

アプローチとしては、非常にシンプルでモデルの重み $W$ (上の図の青色部分)に対して並列に $\varDelta W = BA$ (上の図のオレンジ色部分)を追加し、モデルの重み $W$ は固定して$\varDelta W $ だけを学習するという手法です。

LoRA_Fig1.png

(引用元:論文

そのため、以下のような特徴があります

  • タスクの切り替えが簡単(ベースモデルはそのままにLoRA層を差し替えるだけ)
  • 保存容量が小さい(ベースモデルは変更不要。LoRA層だけ保存すれば良い)
  • $\varDelta W $の少ないパラメータだけを学習すれば良いため、学習コストを下げられる
  • 推論コストが増加しない(推論時、$W + \varDelta W $ のように1つのパラメータとして扱える)

論文で行われている実験とその結果

論文では単純化のために$W_q$ と $W_v$ のみにLoRAを適用しています(仕組みのうえでは、全ての重みに対してLoRAを適用可能。性能面では2つで十分?)。

LoRA_GPT3.png
https://dugas.ch/artificial_curiosity/GPT_architecture.html を元に加筆)

ポイント1:性能がすごい

LoRAはモデルパラメータ全体を更新するファインチューニングや Adapter や Prefix Tuning などと比較しても、同等の性能を達成。Fine-Tuningよりも上回る性能もでているようです。

LoRA_Table4.png

(部分的な微調整方法の中での違い)

  • BitFit
    モデルのバイアス項のみ更新する。
  • Adapter
    モデルにタスク専用の層を追加する。※ LoRAは、Adapterの一種。
  • Prefix-Tuning
    タスク専用の入力ベクトル+モデルの一部のみ更新する。
  • Promt Tuning
    タスク専用の入力ベクトルのみ更新する。

ポイント2:学習パラメータ数に対して頑健(安定している)

Prefix Tuningに比べてLoRAは安定しているようです。

LoRA_Fig2.png

ポイント3:LoRAは低ランクでも機能する

LoRAのハイパーパラメータであるランク$r$は、論文中では2~64程度の小さい値が用いられおり、小さい次元数でも高い性能が出せることがわかります。

LoRA_Table6.png

LoRAを使ってみるには

HuggingFaceでは、LoRAやPromptTuning、AdaLoRAなどが実装されているライブラリ:PEFT(Parameter-Efficient Fine-Tuning)が提供されています。

[PETFを用いたLoRAによる微調整の流れ]

  1. ベースモデルとなるモデルを用意
  2. ベースモデルの層の一部をLoRAの層に置換
  3. LoRAの層以外の層を固定
  4. LoRA部分のみを学習

(参考)
LoRA_code.png
(引用元:[輪講資料] LoRA: Low-Rank Adaptation of
 Large Language Models

画像タスクでの活用

StableDiffusion

論文では言語モデルとなっていますが、画像タスクへの適用ニーズも高いです。

StableDiffusionの学習環境

その他参考

いくつかのLoRAの実装などを紹介します。

LoRAの実装(Microsoft)

LoRAの実装(HuggingFace)

LangChain(blog)

HuggingFace(チュートリアル)

おわりに

元のモデルの性能を活かしてベースモデルに既にある意識をタスクに応じて強調すると言われているLoRA。論文ではさらに多くの実験が行われていますのでぜひ興味がある方はぜひ論文も見てみていただければと思います。個人的な印象では、基盤モデルの影響を多分にうけて期待する性能は得られない?ようにも感じましたが、いろいろなモデルで実験しながら使いこなしていきたいですね。

参考

60
52
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
60
52

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?