DELTALLM: Transformerモデルの新たな圧縮手法

今回は、最新の研究成果である "DELTALLM: Compress LLMs with Low-Rank Deltas between Shared Weights" という論文をご紹介します。本研究では、大規模言語モデル（LLM）のメモリフットプリントを削減するための新しい後処理型圧縮技術を提案しています。従来の圧縮手法と異なり、本手法では Transformerブロック間の重みを共有しつつ、低ランクな差分行列（デルタ）を追加する ことで、性能を大幅に劣化させることなくモデルのパラメータを削減する点が特徴です。

論文情報

タイトル: DELTALLM: Compress LLMs with Low-Rank Deltas between Shared Weights
リンク: arXiv:2501.18596v1
発表日: 2025年1月30日
著者: Liana Mikaelyan, Ayyoob Imani, Mathew Salvaris, Parth Pathak, Mohsen Fayyaz
DOI: 未公開（arXiv論文）

背景と目的

Transformerの成長と圧縮の必要性

近年、大規模言語モデル（LLM）は指数関数的に増加しており、その性能はモデルサイズに依存する傾向があります（Kaplan et al., 2020）。特に、GPT-3（175B）、Llama-3（70B）などの巨大なモデルは、数百GBのメモリを消費し、推論コストも高騰しています。

一方で、エッジデバイスや低リソース環境での運用には、モデルの圧縮が不可欠です。従来の圧縮手法には以下のようなものがあります：

蒸留（Knowledge Distillation）: 大モデルの知識を小モデルに転移（Hinton et al., 2015）。
剪定（Pruning）: 重要でない重みを削除（Han et al., 2015）。
量子化（Quantization）: 重みを低精度（例: 8-bit, 4-bit）で表現（Frantar et al., 2022）。
重み共有（Weight Sharing）: レイヤー間でパラメータを共有（Dehghani et al., 2019）。

しかし、これらの手法には性能劣化や計算コストの増加といった課題がありました。DELTALLMは、Transformerブロック間の冗長性を利用し、低ランクなデルタ行列を用いることで高い圧縮率を実現しつつ、精度を維持する ことを目的としています。

研究の焦点

DELTALLMの技術的概要

DELTALLMは、以下の3つの主要な要素で構成されています。

1. Transformerブロック間の重み共有

連続するTransformer層間で同じ重みを再利用する。
これにより、パラメータ数を削減。

2. 低ランクなデルタ行列の導入

共有された重みの小さな違いを補正するため、低ランクなデルタ行列を導入。
$$ W_{l+i} = W_l + \delta_{l, l+i} $$
ここで $$ \delta_{l, l+i} $$ は $$ W_{l+i} - W_l $$ の低ランク近似。
特異値分解（SVD）を用いて低ランク構造を抽出し、最適な近似を実現。

3. 進行的モジュール置換（Progressive Module Replacement, PMR）

圧縮中もモデルのパフォーマンスを維持するため、徐々にオリジナルの重みを圧縮版に置換。
段階的な置換により、学習の安定性を確保。

実験の概要と結果

実験設定

ベースモデル: Llama-3.2B, Phi-3.5B
圧縮モデル: DELTALLAMA, DELTAPHI
学習データ: Alpaca, Ultrachat
評価指標: MMLU, Winogrande, HellaSwag, ARC-Challenge
圧縮率: 12%～25%
推論速度比較: 圧縮後の速度改善

結果

モデル	パラメータ数	MMLU	Winogrande	ARC-Challenge	HellaSwag	推論速度向上
Phi 3.5B	3.8B	0.36	0.75	0.61	0.77	1.0x
DELTAPHI 3.35B	3.35B	0.32	0.70	0.51	0.70	1.3x
DELTAPHI 2.9B	2.9B	0.31	0.71	0.44	0.61	1.5x

DELTAPHI 3.35Bは、Phi 3.5Bより12%圧縮しながら、推論速度が1.3倍向上しました。

まとめと今後の課題

DELTALLMの優位性

高い圧縮率と精度維持
既存の圧縮手法（JointDrop, SliceGPT, ShortGPT, LaCo）を上回る性能
推論速度の向上に貢献

今後の展望

さらなる低ランク分解技術の活用（Tucker分解、CP分解など）
適用可能なモデル範囲の拡大（T5, BERT, GPT-4）
量子化技術との組み合わせによるさらなる圧縮

DELTALLMは、低リソース環境でのLLM運用に適した圧縮技術 であり、今後の発展が期待されます。