【文系でも3分で理解】G検定「モデル軽量化」攻略｜蒸留・プルーニング・量子化はダイエットで覚える

Posted at 2026-07-16

title: 【文系でも3分で理解】G検定「モデル軽量化」攻略｜蒸留・プルーニング・量子化はダイエットで覚える
tags: G検定 AI ディープラーニング JDLA 資格

こんにちは。2026年1月のG検定に合格した、文系出身のエンジニアです。

G検定のシラバスに含まれるテーマの中で、地味に見えて意外と手薄になりがちなのが**モデル軽量化（モデル圧縮）です。「蒸留」「プルーニング」「量子化」……漢字ばかりで硬そうですが、実はぜんぶ「AIモデルのダイエット」**の話。この記事では、3つの手法の違いを比喩で一気に整理します。

注意: この記事はJDLA認定の公式コンテンツではありません。筆者個人の学習経験に基づく非公式の情報共有です。最新のシラバスは JDLA公式サイトでご確認ください。

高性能なディープラーニングモデルは、パラメータ数が数億〜数千億にもなります。強力なGPUがあるクラウドなら動きますが、スマホや家電、自動車などのエッジデバイスでは、計算資源もメモリも電力も限られています。

そこで登場するのがエッジAIという考え方。データをクラウドに送らず端末側で推論することで、通信遅延が減り、プライバシー面でも有利になります。ただしそのためには、モデル自体を小さく・速くする必要がある——これがモデル軽量化のモチベーションです。

**知識蒸留（Knowledge Distillation）**は、高精度な大型モデル（教師モデル）の出力を「お手本」として、小型モデル（生徒モデル）を訓練する手法です。

ポイントは、正解ラベルだけでなく、教師モデルが出力する確率分布（ソフトターゲット）を学ばせること。「これは猫90%、犬8%、狐2%」という"迷い方"まで真似させることで、小さいモデルでも教師に近い判断力を獲得できます。BERTを軽量化したDistilBERTが代表例です。

**プルーニング（枝刈り）**は、学習済みモデルの中で出力への影響が小さい重みやニューロンを削除する手法です。木の剪定（pruning）が語源で、「使っていない神経回路をカットする」イメージ。

削除後に再学習（ファインチューニング）して精度を回復させるのが一般的な流れです。パラメータ数そのものが減るので、メモリ使用量と計算量の両方を削減できます。

量子化は、重みや活性値を表現する数値の精度を下げる手法です。通常の32ビット浮動小数点（FP32）を、16ビット（FP16）や8ビット整数（INT8）に置き換えます。

「そんなに雑にして大丈夫？」と思いますが、推論に必要な精度は意外と低くてOK。データ量が1/4になればメモリも転送量も激減し、専用ハードウェアでの高速化もしやすくなります。

MobileNet: モバイル端末向けに設計された軽量CNN。Depthwise Separable Convolution（畳み込みを空間方向とチャネル方向に分解する工夫）で計算量を大幅削減
NAS（Neural Architecture Search）: ネットワーク構造自体を自動探索する技術。軽量で高精度な構造を機械に見つけさせる発想
エッジAI vs クラウドAI: 推論をどこで行うかの違い。低遅延・プライバシー重視ならエッジ、大規模計算ならクラウド

3つの手法は混同しやすいので、私はこう整理しました。

「モデルが増える・減る・そのまま」で覚えると、選択肢を前にしても迷いません。

モデル軽量化は、生成AIの実用化が進む今こそ重要性が増しているテーマです。用語の暗記ではなく「なぜ軽くしたいのか（エッジAI）→どう軽くするのか（3手法）」というストーリーで理解しておくと、記憶に定着しやすいと思います。