ニューラルネットワークのプルーニングをゲーム理論で解く！〜AIも戦略的に軽量化する時代〜
はじめに：AIの「断捨離」、ちゃんと戦略的にやってる？
みなさん、ニューラルネットワークのプルーニング（枝刈り）やってますか？
「重みの小さいパラメータは削除しちゃえ！」とか「勾配が小さいニューロンはポイで！」みたいな、いわば力技の断捨離をやっていませんか？
(こんなこと書いておいて自分はそもそもプルーニング自体あまりやったことないのですが…😭)
実は2025年12月に、プルーニングを「パラメータ同士がバトルロイヤルするゲーム」として捉えた面白い論文が登場しました。今日はこの "Pruning as a Game" （Shah & Khan, 2025）を読み解きながら、AIの軽量化に対する新しい視点をご紹介します。
驚くべきことに、この手法ではわずか2%のニューロンを残すだけで91%の精度を維持できたとのこと（MNIST実験）。つまり、98%のパラメータを削除しても、性能はほとんど落ちない——そんな極端なプルーニングが理論的に裏付けられた形で実現されています。
この記事で得られること
- プルーニングをゲーム理論で解釈する斬新なアプローチの理解
- 従来の「外部から削除する」手法との違い
- ナッシュ均衡という視点から見たスパース性の創発
- アルゴリズムと実験結果
想定読者: ディープラーニングの基礎知識があり、プルーニングや軽量化に興味のあるエンジニア
論文情報
タイトル: Pruning as a Game: Equilibrium-Driven Sparsification of Neural Networks
著者: Zubair Shah, Noaman Khan
出版: arXiv preprint arXiv:2512.22106 (2025年12月)
リンク: https://arxiv.org/abs/2512.22106
注意
この記事ではライセンスの関係上論文上の図をそのまま掲載できません。論文中の図は上述のリンクからご参照ください。
従来のプルーニング：「誰かが決めて削除する」モデル
まず、従来のアプローチをおさらいしましょう。
マグニチュードベース
# 重みの絶対値が小さいやつを消す（力技）
mask = (torch.abs(weights) > threshold).float()
pruned_weights = weights * mask
問題点: 「なぜその閾値？」という問いに理論的根拠が弱い
勾配ベース
勾配が小さいパラメータは「学習に寄与してない」として削除。でも、それって本当に不要なの？
宝くじ仮説（Lottery Ticket Hypothesis）
初期値に巻き戻してスパースなサブネットワークを探す。面白いけど、計算コストがバカ高い...。
これらの手法に共通するのは、「プルーニングを外部から押し付ける」 という発想です。
（より厳密にいうと、この論文では既存手法全般について「重要度スコアの設定がヒューリスティックで、外部から課される制約として扱われている」と指摘しています）
ゲーム理論的発想の転換：パラメータは戦略的プレイヤー
この論文の革命的なアイデアは、「パラメータグループをゲームのプレイヤーとして扱う」 こと。
基本コンセプト
各パラメータグループ（重み、ニューロン、フィルタ）を「プレイヤー」として考えます。各プレイヤーは、自身の参加度 $s_i \in [0, 1]$ を決定します：
$$\tilde{\theta}_i = s_i \cdot \theta_i$$
- $s_i = 1$: フル参加（そのパラメータを100%使う）
- $s_i = 0$: 不参加（プルーニングされた状態）
- $0 < s_i < 1$: 部分的参加
📘 数式が苦手な方へ
ここから先は数式が続きます。読み飛ばしても大丈夫です！
- 核心だけ知りたい方 → ゲームの面白さ：ナッシュ均衡へスキップ
- 結果だけ知りたい方 → 実験結果：MNISTでの検証へスキップ
プレイヤーの効用関数
各プレイヤーは効用関数 $U_i$ を最大化しようとします：
$$U_i(s_i, s_{-i}) = B_i(s_i, s_{-i}) - C_i(s_i, s_{-i})$$
ここで、$s_{-i}$ は「自分以外のすべてのプレイヤーの参加度」を表します。つまり、自分の効用は他のプレイヤーの戦略にも依存するということです。
利益項（Benefit）
$$B_i = \alpha \cdot s_i \cdot \langle \nabla_{\theta_i} L, \theta_i \rangle$$
「このパラメータが損失関数をどれだけ減らせるか」を測る指標。勾配と重みの内積で評価します。
記法の説明：
- $\alpha$：利益項の重み付けパラメータ（実験では $\alpha = 1.0$）
- $\nabla_{\theta_i} L$：パラメータグループ $\theta_i$ に関する損失関数 $L$ の勾配（偏微分）
- $\langle \cdot, \cdot \rangle$：内積（ベクトルの類似度を測る）
なぜこれが利益なのか？
内積 $\langle \nabla_{\theta_i} L, \theta_i \rangle$ は、「勾配方向とパラメータ値の方向がどれだけ整合しているか」を表します。この値が大きいということは：
- パラメータが損失を減らす方向に効果的に働いている
- そのパラメータグループが学習に積極的に貢献している
逆に、この値が小さい（またはゼロに近い）場合、そのパラメータは損失削減にあまり寄与していないため、プルーニング候補となります。
コスト項（Cost）
$$C_i = \beta \Vert\theta_i\Vert_2^2 s_i^2 + \gamma |s_i| + \eta s_i \sum\limits_{j \neq i} s_j \langle \theta_i, \theta_j \rangle$$
記法の説明：
- $\beta$：L2ペナルティの重み係数
- $\gamma$：L1ペナルティの重み係数
- $\eta$：競争項の重み係数
- $\Vert\theta_i\Vert_2$：パラメータのL2ノルム（ユークリッドノルム）
3つのペナルティ：
-
L2ペナルティ（$\beta$ 項）: 大きすぎる重みを抑制
パラメータのノルム $\Vert\theta_i\Vert_2^2$ が大きいほどコストが増加します。効用 $U_i$ = 利益 - コストなので、重みが大きくなるとコストが膨らんで効用が下がります。そのため、プレイヤーは重みを適度に保つか、参加度 $s_i$ を下げてコストを削減しようとします。 -
L1ペナルティ（$\gamma$ 項）: スパース性を促進（ゼロへの圧力）
絶対値 $|s_i|$ にペナルティを課すため、参加度の値に関わらず一定のコストがかかります。効用関数を $s_i$ で微分すると $-\gamma \cdot \text{sign}(s_i)$ となり、ゼロ以外の値には常に一定の「ゼロに向かう力」が働きます。
（$\text{sign}(x)$ は符号関数で、$x > 0$ なら $+1$、$x < 0$ なら $-1$、$x = 0$ なら $0$ を返します）
L2ペナルティ（値が小さいとペナルティも小さい）と異なり、L1は「完全にゼロになる」ことを積極的に促します。利益が小さいパラメータにとって、このコストは割に合わないため $s_i = 0$ （完全退場）が最適戦略になります。 -
競争項（$\eta$ 項）: 他のパラメータと機能が重複してると損
この項がこの論文の最大のオリジナリティです。L1（Lasso）やL2（Ridge）は既存の正則化手法ですが、競争項は「他のプレイヤーの戦略」に依存するゲーム理論特有の要素です。$\sum\limits_{j \neq i} s_j \langle \theta_i, \theta_j \rangle$ は、自分と似た機能を持つパラメータが多く参加しているほどコストが増える仕組みで、これにより パラメータ間の相互作用 が表現されます。単独で有用でも、他と重複していれば「どちらか一方が退場する」という戦略的判断が生まれます。
ゲームの面白さ：ナッシュ均衡
ナッシュ均衡とは、「どのプレイヤーも一方的に戦略を変えても得しない状態」です。
この定式化では：
- 有用なパラメータは $s_i \approx 1$ で生き残る
- 冗長なパラメータは $s_i \rightarrow 0$ に崩壊（支配戦略）
- プルーニングは自然に出現する均衡
つまり、「削除される」のではなく「自ら退場を選ぶ」 わけです！
理論的な美しさ：なぜスパース性が創発するのか
最良応答ダイナミクス
各プレイヤーは、他のプレイヤーの戦略 $s_{-i}$ に対して、自分の効用を最大化する $s_i^*$ を選びます：
$$s_i^* = \frac{\alpha \langle \nabla_{\theta_i} L, \theta_i \rangle - \gamma - \eta \sum\limits_{j \neq i} s_j \langle \theta_i, \theta_j \rangle}{2\beta \Vert\theta_i\Vert_2^2}$$
なぜこの式で効用が最大化されるのか？
これは効用関数 $U_i$ を $s_i$ で偏微分して0と置いた一階条件から導出されます。
効用関数を $s_i$ で微分すると：
$$\frac{\partial U_i}{\partial s_i} = \alpha \langle \nabla_{\theta_i} L, \theta_i \rangle - 2\beta \Vert\theta_i\Vert_2^2 s_i - \gamma \text{sign}(s_i) - \eta \sum\limits_{j \neq i} s_j \langle \theta_i, \theta_j \rangle$$
最大化の条件 $\frac{\partial U_i}{\partial s_i} = 0$ より、これを $s_i$ について解きます。ここで $s_i > 0$ の範囲では $\text{sign}(s_i) = 1$ なので、上記の最適解の式が得られます。
分子が負の場合はプルーニング
分子 $\alpha \langle \nabla_{\theta_i} L, \theta_i \rangle - \gamma - \eta \sum\limits_{j \neq i} s_j \langle \theta_i, \theta_j \rangle$ が負の場合、計算上は $s_i < 0$ になりますが、参加度は $[0, 1]$ に制約されているため $s_i^* = 0$ となります。
これは直感的には、$s_i = 0$ の時点で効用関数の傾き（偏微分）が負、つまり「$s_i$ を増やすと効用が減る」状態を意味します。効用を最大化するには $s_i$ を可能な限り小さくすべきですが、$s_i \geq 0$ の制約により、最小値の $s_i = 0$ が最適解になります。
言い換えれば、参加で得られる利益よりも参加コスト（L1ペナルティ＋競争コスト）の方が大きいため、最善の戦略は「参加しない＝プルーニングされる」です。
プルーニング条件
$$\alpha \langle \nabla_{\theta_i} L, \theta_i \rangle < \gamma + \eta \sum\limits_{j \neq i} s_j \langle \theta_i, \theta_j \rangle$$
これは、前述の最適戦略 $s_i^*$ の式の分子部分が負になる条件を整理したものです。
意味: 「損失への貢献が、スパース性コスト＋競争コストより小さい」ならプルーニング
既存手法の統一的解釈
この枠組みで、既存のプルーニング手法が統一的に説明できます：
- マグニチュードベース: 利益がノルムに比例 → 小さい重みは支配戦略で削除
- 勾配ベース: 勾配内積 $\langle \nabla_{\theta_i} L, \theta_i \rangle$ が小さい → 利益が低い
- 冗長性ベース: 競争項 $\eta$ が高い → 似た機能を持つパラメータ同士で削り合い
つまり、ヒューリスティックに見えた手法に、実はゲーム理論的な裏付けがあったわけです。
アルゴリズム：実装はシンプル
理論は美しいですが、実装も意外とシンプルです。
疑似コード
アルゴリズム: 均衡駆動型プルーニング
入力: データ、初期パラメータ $\theta$、初期参加度 $s = 1$
出力: プルーニング済みパラメータ
- すべての参加変数を $s_i = 1$ に初期化
- $T$ エポック繰り返す:
- $\theta$ を勾配降下で更新（損失 $L(\theta, s)$ に対して）
- $s$ を射影勾配上昇で更新（効用 $U_i$ に対して）
- $s_i < \varepsilon$ のパラメータグループをプルーニング
- プルーニング済みモデルを返す
※ $T$：学習エポック数、$\varepsilon$：プルーニング閾値（実験では 0.01）
パラメータと参加度の更新式
パラメータの更新（勾配降下）
$$\theta \leftarrow \theta - \eta_\theta \nabla_\theta L(\theta, s)$$
通常のニューラルネットワークと同じ勾配降下法で、損失関数を最小化します。
参加度の更新（射影勾配上昇）
$$s_i \leftarrow \max(0, \min(1, s_i + \eta_s \nabla_{s_i} U_i))$$
効用関数を最大化する方向に更新し、制約 $[0, 1]$ に射影（クリップ）します。
ここで、効用の勾配は：
$$\nabla_{s_i} U_i = \alpha \langle \nabla_{\theta_i} L, \theta_i \rangle - 2\beta \Vert\theta_i\Vert_2^2 s_i - \gamma \text{sign}(s_i) - \eta \sum\limits_{j \neq i} s_j \langle \theta_i, \theta_j \rangle$$
ポイント:
- 正の勾配 → 参加度アップ（このニューロンは有用！）
- 負の勾配 → 参加度ダウン（コストが高すぎる...）
- 継続的に負 → 最終的にゼロへ崩壊
実験結果：MNISTでの検証
実験設定
- データセット: MNIST（手書き数字）
- モデル: 2層MLP（512→256ニューロン）
- 学習: 20エポック、バッチサイズ128
ハイパーパラメータ構成
| 構成名 | α | β (L2) | γ (L1) | 学習率 |
|---|---|---|---|---|
| Very High Beta | 1.0 | 0.1 | 0.0 | 0.001 |
| Extreme Beta | 1.0 | 0.5 | 0.0 | 0.001 |
| L1 Sparsity Strong | 1.0 | 0.001 | 0.1 | 0.001 |
| L1+L2 Combined | 1.0 | 0.05 | 0.05 | 0.001 |
結果：スパース性と精度のトレードオフ
| 構成 | テスト精度 | スパース性 | 残存ニューロン |
|---|---|---|---|
| Very High Beta | 96.64% | 0.00% | 100.00% |
| Extreme Beta | 91.15% | 95.18% | 4.82% |
| L1 Sparsity Strong | 89.57% | 98.31% | 1.69% |
| L1+L2 Combined | 91.54% | 98.05% | 1.95% |
驚きの発見
- L1+L2の組み合わせが最強: わずか2%のニューロンで91%の精度を維持
- 二峰性分布: 参加度がゼロ付近か非ゼロ側に集中（中途半端な値は不安定）
- スムーズな崩壊: 学習中に徐々に参加度が減少（急激なドロップではない）
参加度の分布（実験結果の解釈）
成功したプルーニング構成では、参加度のヒストグラムが 二峰性（bimodal） を示します：
ニューロン数
▲
│ ██
│ ██
│ ██
│ ██_________██
└─────────────────▶ 参加度
0 1
- 左のピーク（ゼロ付近）: プルーニングされたニューロン
- 右のピーク（非ゼロ側）: 生き残ったニューロン
- 中間がほぼ空白: 「中途半端な貢献」は均衡として不安定
論文では「values concentrated near zero or near one（ゼロ付近か1付近に集中）」と記述されていますが、実際の図(論文中の図2)では生き残ったニューロンは必ずしも1に到達せず、より低い値（例：0.14付近）に集まっているようですね。重要なのは、ニューロンが明確に「参加」か「退場」かの二者択一を選ぶという点だと思います（見方間違ってたらすみません…）。
まさにゲーム理論的！
既存手法との比較：何が違うのか
従来の段階的アプローチ
1. 学習 → 2. 重要度スコア計算 → 3. プルーニング → 4. 再学習
問題点:
- 各段階が独立（一貫性がない）
- プルーニング基準がヒューリスティック
- 再学習のコストが高い
ゲーム理論的アプローチ
学習とプルーニングを同時進行（エンドツーエンド）
↓
参加度が自動的に均衡に向かう
メリット:
- 理論的に裏付けられた削除基準
- 学習中に自然にスパース化
- 再学習不要
実装のコツと注意点
1. L1とL2の両方が必要
実験結果から、L1だけでは不十分でした。論文では以下のように分析されています：
- L1ペナルティのみ: 参加度の大きさは減少するが、完全にゼロへの崩壊は稀
- L2ペナルティ: スパース均衡を生み出すために不可欠で、厳密なゼロへの参加を促進
- L1+L2の組み合わせ: 精度とスパース性の最良のバランスを達成
論文では、この効果を「elastic-net-style regularization effects（Elastic Net的な正則化効果）」と表現しています。
Elastic Netとは？
機械学習における正則化手法の一つで、L1ペナルティ（Lasso）とL2ペナルティ（Ridge）を組み合わせたものです：
- L1: 特徴選択効果（一部の係数を厳密にゼロにする）
- L2: 係数の大きさを全体的に抑制し、数値安定性を向上
- 組み合わせ: 互いの欠点を補い合い、より頑健なスパース解を実現
このプルーニング手法では、L1が「ゼロへの圧力」を、L2が「完全な崩壊」を促進し、両者の相乗効果でニューロンが明確に退場する均衡が生まれます。
2. 学習率の調整
参加度の学習率 $\eta_s$ は、パラメータの学習率 $\eta_\theta$ より小さめに設定するのが安定します。
記法の説明：
- $\eta_\theta$：ネットワークパラメータ $\theta$ の学習率
- $\eta_s$：参加度変数 $s$ の学習率
optimizer_params = torch.optim.Adam(model.parameters(), lr=0.001) # η_θ = 0.001
optimizer_participation = torch.optim.Adam([model.participation], lr=0.0001) # η_s = 0.0001
3. 数値安定性
論文の記載は次の通りです：
- 参加度変数がゼロに近づくと、実効的な重み行列が 悪条件（ill-conditioned） になり得る。
- 学習中に 条件数（condition number）を監視 することは、数値的不安定性への実務的なセーフガードとして有効であり、特に 深いアーキテクチャ で重要。
- MNISTの実験では 明示的なコンディショニングなしでも安定 だったが、より大きなネットワークへスケールする場合にはこの考慮が重要になる。
私の力不足であまり詳細な意味は分からなかったのですが、深いアーキテクチャを使う場合は、数値的な安定性に注意が必要ということのようです。
4. 初期化
すべての参加度を $s_i = 1$（完全参加）から始めることで、段階的に冗長性が淘汰されます。
この研究の面白さと限界
革新的なポイント
- 概念的飛躍: プルーニングを「ゲーム」として捉えた視点
- 統一理論: 既存手法を統一的に説明できる
- 解釈可能性: なぜ削除されるのかが理論的に明確
現状の限界
論文でも正直に認められていますが：
- スケーラビリティ未検証: MNISTの小規模実験のみ
- 深層ネットワークへの適用: ResNetやTransformerでの実験が今後の課題
- 競争項の扱い: $\eta \sum s_j \langle \theta_i, \theta_j \rangle$ の計算コストが重い
今後の展望
- 構造化プルーニング（フィルタ単位、層単位）への拡張
- 大規模言語モデル（LLM）への適用
- 学習中の動的スパース化（Dynamic Sparse Training）との組み合わせ
おわりに
この論文が示したのは、プルーニングに対する新しい理論的視点です。MNISTという小規模な実験ながら、98%のパラメータ削減という驚異的な結果は、この方向性の可能性を感じさせます。
もちろん、LLMへの適用には大きな壁があります：
- 競争項の計算コストをどう削減するか（層ごとの限定適用？近似計算？）
- 深層ネットワークでのスケーラビリティの実証
- 複雑なタスクでの性能維持
ただ、この手法が仮に中規模モデルで成功し、量子化や知識蒸留と組み合わせることができれば、ローカルで動く高性能AIの可能性は確実に広がると思います。
飛行機の中で、地下鉄で、海外旅行先で——インターネット接続なしで高性能なAIアシスタントが使える未来。自分のデータがデバイスから外に出ることなく、瞬時に応答してくれる、そんな「真のパーソナルAI」の実現に、この研究によって一歩でも近づくことを期待したいと思います！
ゲーム理論×AIという異色のコラボレーション、今後の展開が楽しみですね。
注意事項
本ブログに掲載している内容は、私個人の見解であり、所属する組織の立場や戦略、意見を代表するものではありません。あくまでエンジニアとしての経験や考えを発信していますので、ご了承ください。