ConvLLaVAを日本語LLMで学習してみた

はじめに

Image EncoderにCNN系のモデルであるConvNeXtを使用した、ConvLLaVAが提案されました。

本記事はConvLLaVAを使って768x768の画像が入力可能な日本語VLMを学習してみました。

また、学習したモデルを日本語ベンチマークを使用して他のモデルとの比較も行いました。

モデルの重みは以下で公開しています。

ConvLLaVAについて

ConvLLaVAはConvLLaVA: Hierarchical Backbones as Visual Encoder for Large Multimodal Modelsで提案された手法です。

前述したとおりImage EncoderにConvNeXtを使用しているのが特徴ですが他にも以下の2つの工夫点があります。

工夫点1

ConvNeXtにStage 5を追加することで解像度が高い画像を入力しても画像トークンが少なくなるようにしている。

ConvNeXtは通常4つのStageからできているモデルですが、ConvLLaVAでは以下のようにStage 5を追加しています。

ConvLLaVA: Hierarchical Backbones as Visual Encoder for Large Multimodal Models, Ge, C. et al.(2024)

ConvNeXtはStage 1では最初の層にストライドが4の4x4の畳み込み層があり、それ以降のStageの最初の層ではストライドが2の2x2の畳み込み層があります。

そのためStageを追加することで特徴マップの解像度が圧縮されて画像トークン数を減らすことができます。

ConvLLaVAの解像度ごとの画像トークン数は以下のとおりです。

解像度	画像トークン数
768x768	144
1024x1024	256
1280x1280	400
1536x1536	576

工夫点2

高解像度に対応するためImage Encoderも発火させている。

ConvLLaVAでは以下の図のように学習が3段階で行われています。2段階目では高解像度の画像にも対応できるように、Image Encoderの学習を行っています。

ConvLLaVA: Hierarchical Backbones as Visual Encoder for Large Multimodal Models, Ge, C. et al.(2024)

ConvLLaVAの学習

今回学習を行うにあたり入力画像の解像度は768x768にリサイズし、Image EncoderとLLMは以下のものを使用しました。

	モデル名
Image Encoder	laion/CLIP-convnext_large_d_320.laion2B-s29B-b131K-ft
LLM	llm-jp/llm-jp-1.3b-v1.0

学習データ

学習データは過去に私が学習させたllava-jp-1.3b-v1.1と比較したかったこともあり以下を使用しました。

学習フェーズ	データセット名
Stage1	LLaVA-Pretrain-JA
Stage2	LLaVA-Pretrain-JA
Stage3	LLaVA-v1.5-Instruct-620K-JA

学習パラメータ

学習パラメータは論文に合わせて以下のものを使用しました。

学習フェーズ	lr	batch size	warmup ratio	epoch	optimizer
Stage1	3e-4	32	0.03	1	AdamW
Stage2	2e-5	32	0.03	1	adamw_bnb_8bit
Stage3	2e-5	32	0.03	1	adamw_bnb_8bit

学習戦略

論文に合わせて学習段階ごとに発火させる層を変更しています。✓がついているのが発火させている層です。

Staeg 5はConvNeXtに追加したStage 5のことです。

学習フェーズ	ConvNeXt	Stage 5	Projector	LLM
Stage1		✓	✓
Stage2	✓	✓	✓	✓
Stage3			✓	✓

評価

評価データ

評価データとしてRouge-Lで評価するJA-VG-VQA-500とJA-VLM-Bench-In-the-Wild、GPT4で評価を行うHeron-Benchを使用します。

評価データ	評価手法
JA-VG-VQA-500	Rouge-L
JA-VLM-Bench-In-the-Wild	Rouge-L
Heron-Bench	GPT4

結果

今回学習させたConvLLaVAと既存の日本語VLMのベンチマークスコアは以下のとおりです。

モデル	パラメータ数	JA-VG-VQA-500	JA-VLM-Bench-In-the-Wild	Heron-Bench(Detail)	Heron-Bench(Conv)	Heron-Bench(Complex)	Heron-Bench(Average)
Japanese Stable VLM	7.57B	-	40.50	25.15	51.23	37.84	38.07
EvoVLM-JP-v1-7B	7.57B	19.70	51.25	50.31	44.42	40.47	45.07
Heron BLIP-7B	8.15B	14.51	33.26	49.09	41.51	45.72	45.44
Heron GIT-7B	7.32B	15.18	37.82	42.77	54.20	43.53	46.83
llava-jp-1.3b-v1.0-620k	1.86B	12.69	44.58	51.21	41.05	45.95	44.84
llava-jp-1.3b-v1.1	1.86B	13.33	44.40	50.00	51.83	48.98	50.39
ConvLLaVA-JP-1.3b-768	2.10B	12.05	42.80	44.24	40.00	48.16	44.96
ConvLLaVA-JP-1.3b-1280	11.88	43.64	38.95	44.79	41.24	42.31

• ※ 赤字は1番スコアが高いもの、青字は2番目にスコアが高いもの

768x768の画像で学習させたConvLLaVAの性能はSigLIPを画像エンコーダとして使用し、384x384の画像で学習させたllava-jp-1.3b-v1.0-620kと近い性能でした。

解像度をあげたにも関わらず性能が低いのは画像トークン数が少ないことが原因だと考えられます。

ただ、画像トークン数が少なく画像エンコーダも1回しか通さないため、推論速度が早いのは良いなと思いました(速度は正確に測定したわけではなく体感ですが)。

出力例

今回学習させたConvLLaVA-JPのHeron-Benchの出力をいくつか紹介します。

例1 「鳥の羽の色は何色でしょうか？」

モデル名	出力
ConvLLaVA-JP-1.3b-768	鳥の羽の色は茶色です。

例2 「力士たちは何を行っているか説明してください。」

モデル名	出力
ConvLLaVA-JP-1.3b-768	画像の中の力士たちは、おそらく日本の伝統的な儀式や祭りの一環として、大きな丸い丸いお札を使ってパフォーマンスを披露しています。彼らは、おそらく儀式の一部として、またはパフォーマンスの一部として、丸いお札を使ってパフォーマンスを行います。

例3 「あなたは車を運転しており、交差点で右折しようと思っています。このまま交差点に向かってよいでしょうか？」

モデル名	出力
ConvLLaVA-JP-1.3b-768	いいえ、画像の交差点で右折しようとする車を運転している人は、交差点で右折しようとする車を運転している人に注意し、注意を払う必要があります。交差点での右折は、交通の流れを乱し、事故のリスクを高める可能性があるため、慎重に行う必要があります。ドライバーは、交差点での右折を試みる前に、交通信号や標識に注意を払い、交通ルールを守り、他の車と安全な距離を保つ必要があります。

まとめ

本記事ではConvLLaVAを日本語LLMで学習させてみました。

768x768では性能が微妙でしたので、今後もう少し解像度をあげて学習してみようと思います。

1280x1280で学習してみましたが768x768よりベンチマーク結果が悪かったです。(2024/6/14 追記)

また、ConvLLaVAではアスペクト比を保つことでDocVQAの精度が向上したことも報告されています。そのため今後JDocQAの学習も試してみたいと考えています。

学習にしようしたコードは以下で公開しています。RTX4090が1枚あれば学習できるので気になる方は学習してみてください。

TODO

• 1280x1280の解像度でモデルを学習させる
• JDocQAで微調整してみる