0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AI生成画像の空間周波数は本当に「均一」なのか? — FFTで約21,000枚を検証してみた

0
Last updated at Posted at 2026-06-20

TL;DR

  • Togetterの「AI生成画像は空間周波数のエネルギーが均一に分布する」という主張を、20,999枚・12モデルで検証した(手法: Durall et al. 2019、1D動径パワースペクトル + RBF-SVM)
  • 鍵となる気づき — 「くっきり=高周波が強い」は誤解: 知覚的シャープさはエッジコントラスト(中周波域)の特性。スペクトル高周波域に寄与するのはセンサーノイズや素材の微細テクスチャなど AI が再現しない情報。Togetter の予想と逆で、AI 画像はむしろ高周波が弱い
  • 拡散モデル: Stable Diffusion系はRealとの差が小さく検出困難(精度66〜78%)。一方DALL-E 3(92.2%)やMJ v6(96.4%)はRealより高周波パワーが低く、SVMで検出可能。いずれも「均一分布」は観察されず、Togetterの主張は支持されない
  • 旧世代モデル(Step 2): アップスケール系のGLIDE(64→256)は生成解像度の理論的限界(32 cycles)とスペクトル急落点が一致し、95.2%で検出可能。これはDurall et al. (2019) がGANで報告したのと同じ機序(アップサンプリングによるスペクトル痕跡)である
    • 逆に言えば、Durall et al.の手法が有効なのはこの種のスペクトル痕跡が残るモデルに限られる
  • まとめ: Togetterの「均一分布」も「くっきり=高周波が強い」もどちらも支持されない。観察された実態は「一部モデルで高周波が弱い(センサーノイズ等の欠如)」であり、Stable Diffusion 3 のように Real と区別が困難なモデルも既に存在する。Durall et al. (2019) のスペクトル分析は最新モデルの検出手段としては不十分であり、SPAIのような学習ベースの手法が研究される背景を裏付ける結果となった

きっかけ

Togetterのまとめで「AI生成画像は空間周波数の中周波帯域のエネルギーが均一に分布する」という主張を見かけた。元の投稿では特定の画像を例にFFTスペクトルを示していたが、統制された条件で多数の画像に対して検証した報告が見当たらなかったので、実験してみた。

関連研究

Durall et al. (2019) "Unmasking DeepFakes with simple Features" は、FFTの2Dパワースペクトルを動径方向に平均した1Dスペクトルを特徴量として、RBFカーネルSVM・ロジスティック回帰・k-meansに入力し、GAN生成画像を高精度(100%)で検出した。GANのアップサンプリング(転置畳み込み)が高周波域にアーティファクトを残すことを発見した先駆的な研究である。ただし対象は2019年時点のGAN(Faces-HQデータセット)で、最新の拡散モデルには適用されていない。

Karageorgiou et al. (2024) "Any-Resolution AI-Generated Image Detection by Spectral Learning" (SPAI), CVPR 2025 は、Real画像のスペクトル分布を自己教師あり学習で獲得し、生成画像を分布外サンプルとして検出する。13種の生成モデルに対し従来手法より5.5%高いAUCを達成している。手作りのスペクトル特徴量ではなく、データから学習したスペクトル表現を用いている点が本実験との違いである。

本実験の位置づけ: Durall et al.の手法を最新の拡散モデルに適用し、2019年のGANで有効だったスペクトル分析が現在も通用するかを検証する。

手法

前処理

画像をグレースケール化し、短辺が256pxになるようアスペクト比を保ってリサイズした後、長辺方向のみ中央クロップして256×256にする。リサイズにはcv2.INTER_AREA(ピクセル面積ベースの平均化)を使用する。これはダウンサンプリング時にローパスフィルタとして機能し、エイリアシングを防ぐ。min(h,w) < 256の画像はアップサンプリングが高周波情報を偽造するため除外する。全データセットの保存形式はJPEGである。

特徴量と分類

2D FFTを適用してパワースペクトルを算出し、動径方向(同心円状)に平均して1Dスペクトル(128次元)を得る。これはDurall et al. (2019) と同一の手法である。分類には、DC成分を除いた127次元のスペクトルを対数変換して特徴ベクトルとし、RBFカーネルSVM(5-fold CV)に入力する。カーネルの選択もDurall et al.に準拠した。ハイパーパラメタはGridSearchCV(C: [0.01, 0.1, 1, 10, 100, 1000], gamma: [scale, auto, 0.001, 0.01, 0.1, 1])で探索する。

t-SNEの目的と設定

t-SNEは、SVMの精度(スカラー値)だけではわからない特徴空間の構造を可視化するために使用する。具体的には、どのモデルのスペクトルが互いに近いか、Realと重なるか、独立したクラスタを形成するかを確認する。前段のPCAは累積寄与率95%で次元数を決定する。


Step 0: 手法デモ — Gemini 2.5 Flash vs Real

まず1つのAIモデルでスペクトル分析の挙動を確認する。ここで使う Gemini 2.5 Flash は内部コードネーム「nano-banana」で配布されているデータセット由来である。

データ 枚数 出典
Real (MS COCO) 1,000 Defactify
Gemini 2.5 Flash (nano-banana) 1,000 nano-banana データセット

step0

図1: Step 0 動径パワースペクトル (Real vs Gemini 2.5 Flash)

図の読み方. 横軸は空間周波数(cycles/image)で、左端が画像全体の大まかな明暗パターン、右端(128)が1–2ピクセル単位の細かなディテールに対応する。縦軸はパワー(対数スケール)。薄い青の帯はReal画像1,000枚の10–90パーセンタイル範囲で、被写体・構図の違いによるReal画像間の変動幅を示す。黒の点線はTogetterの「均一分布」が予測するパワーレベルで、全周波数で同一パワー(水平線)になるはずの位置である(高さは Real 平均スペクトルの幾何平均、すなわち対数軸上での平均値を基準としている)。

観察. Gemini 2.5 Flash(赤)もReal(青)も1/f^α則に従い、低周波から高周波にかけて5〜6桁のパワー減衰を示す。「均一分布」の水平線とは大きく乖離している。ただしGemini 2.5 Flashは周波数30付近からRealの帯を下回り始め、100以上ではRealの約1/3のパワーしかない。この高周波パワーの低下がSVMの手がかりとなる。

分類

モデル 検出精度 (5-fold CV mean ± std) Best C Best γ
Gemini 2.5 Flash 84.5% ± 1.1% 1 0.1

ランダム(50%)を大きく超え、スペクトル上の差は統計的に検出可能である。

特徴空間の構造

SVMの精度は「どの程度分離できるか」を示すが、特徴空間上でRealとAI画像がどのように分布しているかは見えない。PCA(累積寄与率 95% 目標 → 結果として 6 次元)で次元圧縮した後にt-SNEで2次元に写像し、スペクトル特徴空間の構造を確認する。

step0_tsne

図2: Step 0 t-SNE による特徴空間構造 (Real vs Gemini 2.5 Flash)

Real(青)とGemini 2.5 Flash(赤)は全体的に混在しているが、図の左下や上部でGeminiが偏在する領域がある。完全な分離ではなく部分的な偏在であり、検出精度84.5%と整合する。

nano-bananaの扱いについて. 以降のStepには含めない。Step 1はDefactifyデータセット内の同一キャプション条件で比較しており、nano-bananaはこの条件に該当しない。Step 2のGenImageも独自のReal画像を持つ別データセットである。Real画像のベースラインが異なるデータセットを混ぜると、データセット差とモデル差の区別がつかなくなるため、nano-bananaはStep 0の手法デモに限定する。


Step 1: 同一キャプション比較 — Defactify

Step 0でスペクトル分析の基本動作を確認した。次に、Defactifyデータセットの同一キャプションからの生成画像を用いて、複数モデルを公正に比較する。自然画像のスペクトルは被写体に強く依存するため、同一キャプション由来のペア比較は被写体の交絡を排除する上で重要である。

データセット

モデル 枚数 保存解像度 アーキテクチャ
Real (MS COCO) 1,000 可変(多くは600×400以上)
Stable Diffusion 2.1 1,000 768×768 LDM (U-Net)
Stable Diffusion XL 1,000 1024×1024 LDM (base + refiner の 2 段 U-Net)
Stable Diffusion 3 1,000 1024×1024 DiT (Transformer)
DALL-E 3 1,000 270×270 非公開
MJ v6 1,000 436×436 非公開

スペクトル比較

step1_spectrum

図3: Step 1 動径パワースペクトル (Defactify 同一キャプション、5 モデル比較)

Stable Diffusion 2.1 / 3 の群平均はReal帯の中央付近を通り、スペクトル形状はRealと差が小さい。Stable Diffusion XL は Stable Diffusion系の中ではやや Real から離れる傾向にあり、周波数 40 以降で Real 帯のやや下を通る (検出精度 78.0% は Stable Diffusion系最高)。一方、MJ v6 は 60 cycles 付近から Real 帯を下回り始め、127 cycles では Real の約 1/7 のパワーまで急落する。DALL-E 3 は 80 cycles までほぼ Real と同水準を保ち、100 cycles 以降で徐々に低下して 127 cycles では Real の約半分になる。両者で低下の始まる周波数と勾配は異なるが、いずれも高周波域で Real より低い点は共通する。

この結果から、モデルは大きく2群に分かれる:

  • Stable Diffusion系: Realと類似したスペクトル。中でも Stable Diffusion 2.1 / 3 が最も Real に近く、Stable Diffusion XL は同群内でやや Real から離れる位置にある。Stable Diffusion 2.1 / XL は Rombach et al. (2022) の 4 ch 潜在空間 VAE を共有し、Stable Diffusion 3 は 16 ch 潜在空間の別系統 VAE を採用する。世代間で VAE が変わっても、高周波が大きく外れることはない
  • 非Stable Diffusion系(DALL-E 3, MJ v6): 高周波パワーの系統的な低下。アーキテクチャが非公開のため原因の特定はできないが、生成パイプラインの違い(デコーダの設計、後処理)がスペクトルに反映されていると考えられる

分類

モデル 検出精度 (5-fold CV mean ± std) Best C Best γ
MJ v6 96.4% ± 0.7% 10 0.001 非Stable Diffusion
DALL-E 3 92.2% ± 1.1% 10 0.001 非Stable Diffusion
Stable Diffusion XL 78.0% ± 2.2% 10 0.001 Stable Diffusion
Stable Diffusion 2.1 71.1% ± 2.5% 1 scale Stable Diffusion
Stable Diffusion 3 66.1% ± 1.5% 10 0.001 Stable Diffusion

検出精度はスペクトルの観察と整合する。非Stable Diffusion系(DALL-E 3, MJ v6)は高周波パワーの低下が明瞭なためSVMが容易に検出する。Stable Diffusion系はRealとの差が小さく、Stable Diffusion 3は66.1%にとどまり実用的に分離困難である。

最適パラメタは5モデル中4モデルでC=10, γ=0.001に収束しており、モデル間でのパラメタ依存性は小さい。Stable Diffusion 2.1のみC=1, γ=scale(sklearnデフォルト)に落ち着いたが、固有の原因は本実験からは特定できない。

特徴空間の構造

上の分類表では、Stable Diffusion系(66〜78%)と非Stable Diffusion系(92〜96%)に精度差があることがわかる。しかし検出精度だけでは、各モデルのスペクトルが特徴空間上でどのように分布しているか — 互いに近いのか、Realと重なるのか、独立したクラスタを形成するのか — は見えない。これを確認するため、PCA(累積寄与率 95% 目標 → 結果として 12 次元)で圧縮後にt-SNEで2次元に写像する。

step1_tsne

図4: Step 1 t-SNE (Stable Diffusion系は Real と混在、DALL-E 3 / MJ v6 は別領域)

各点が1枚の画像に対応する。MJ v6(灰) は図の左上に独立したクラスタを形成している。これはスペクトルの高周波低下が他のモデルと系統的に異なることを反映しており、検出精度96.4%と整合する。DALL-E 3(紫) もMJ v6に近い領域に偏在するが、Realとの重なりがやや多い(検出精度 92.2%)。

Stable Diffusion 2.1(オレンジ)、Stable Diffusion XL(黄)、Stable Diffusion 3(赤) はReal(青)と広く重なっており、スペクトル特徴空間では分離不能である。Stable Diffusion系はRealに埋没し、非Stable Diffusion系は別の領域に存在するという構造が視覚的に確認できる。

Step 1 まとめ

同一キャプション条件で比較した結果、Stable Diffusion系(66〜78%)と非Stable Diffusion系(92〜96%)で検出精度に明確な差がある。Stable Diffusion系のスペクトルはRealとの差が小さく、最新のStable Diffusion 3(DiTアーキテクチャ)が最も検出困難(66.1%)である。


Step 2: 自然画像ドメイン — GenImage(Legacyモデル)

Step 1と同じ分析を、より古い生成モデルに適用する。GenImageデータセットはDefactifyと異なり、Real画像とAI画像が同一キャプション由来ではない。被写体の違いがスペクトルに影響する可能性がある点に留意。

データセット

モデル 枚数 アーキテクチャ
Real 2,000
GLIDE 2,000 DDPM + 64→256 upscale
ADM 2,000 DDPM (U-Net, 256直接)
Stable Diffusion 1.5 2,000 LDM (U-Net)
VQDM 2,000 VQ-Diffusion
Wukong 2,000 中国語CLIP + LDM
Midjourney (v5 系) 1,999 非公開

スペクトル比較

step2_spectrum

図5: Step 2 動径パワースペクトル (GenImage、レガシーモデル群)

GLIDE(オレンジ) は周波数30付近からRealの帯を離れ始め、60以上ではRealの1/100〜1/1000のパワーしかない。GLIDEは64×64の潜在空間で画像を生成した後に256×256にアップスケールする。64×64で表現可能な最大周波数は32 cycles/imageであり、スペクトルが急落する周波数(〜30 cycles)がこの理論的限界とほぼ一致する。高周波パワーの低下はアップスケール補間の不完全さに起因すると考えられる。これはDurall et al. (2019) がGANの転置畳み込みで指摘したのと同じ機序である。

ADM(ピンク) も周波数20以降でRealをやや下回る。GLIDEほど劇的ではないが、U-Netのダウン/アップサンプリング構造がスペクトルに影響している。

Stable Diffusion 1.5, VQDM, Wukong, Midjourney (v5 系) はRealの10–90パーセンタイル帯にほぼ収まっており、Step 1のStable Diffusion系モデルと同様にスペクトル形状の差は小さい。

分類

モデル 検出精度 (5-fold CV mean ± std) Best C Best γ
GLIDE 95.2% ± 0.4% 10 scale
ADM 85.5% ± 0.6% 100 0.001
VQDM 82.4% ± 0.9% 100 0.001
Wukong 78.2% ± 1.6% 10 scale
Stable Diffusion 1.5 72.4% ± 1.8% 1000 0.001
Midjourney (v5 系) 70.8% ± 1.4% 10 scale

GLIDEの95.2%はスペクトル急落と整合する。ADM (85.5%) とVQDM (82.4%) は最適パラメタがC=100, γ=0.001に共通しており、より大きなマージンで分離可能な構造がスペクトルに存在する。一方、Stable Diffusion 1.5 (72.4%) や Midjourney v5 系 (70.8%) はStep 1のStable Diffusion 3 (66.1%) と同水準で、スペクトルの差がRealの個体差に埋もれている。

特徴空間の構造

step2_tsne

図6: Step 2 t-SNE (GLIDE が独立クラスタを形成)

PCA(累積寄与率 95% 目標 → 結果として 3 次元)に圧縮後、t-SNEで2次元に写像。Step 1(12 次元)より少ない次元数で95%に達しており、GenImageの方がスペクトルの分散構造が単純であることを示す。

GLIDE(オレンジ) は明確な独立クラスタを形成しており、スペクトルの急落が特徴空間上でも明瞭に分離されている。ADM(ピンク) もやや偏在するが完全な分離ではない。その他のモデルはReal(青)と混在している。


考察

高周波パワー低下の意味 — Togetterの予想はなぜ逆だったか

本実験の全Stepを通じた主要な観察は、一部のAIモデルでRealより高周波パワーが低下することである。Togetterでは「AI生成画像は細部までくっきりしているから、高周波パワーが強いはず」という予想が示されていたが、実際の結果はその逆である。

この食い違いは、知覚的なシャープさとスペクトル上の高周波パワーの混同に起因する。

  • 知覚的なシャープさ(エッジのコントラスト、輪郭のくっきりさ)は主に中周波域(10–60 cycles/image程度)の特性である
  • スペクトル上の高周波パワー(60–128 cycles/image)に寄与するのは、カメラセンサーノイズ、素材表面の微細テクスチャ、レンズの光学特性など、人間が意識的に知覚しにくいピクセルレベルの情報である

AI生成画像は輪郭がくっきりしていても(中周波は保持)、実写が持つセンサーノイズや素材の微細な凹凸は再現しない(高周波が不足)。結果として、AI画像は「くっきりしているが滑らかすぎる」特性を持つ。これがスペクトル上で高周波パワーの低下として現れる。

この結果はDurall et al. (2019) の知見と整合する。Durall et al.はGANのアップサンプリング(転置畳み込み)が高周波の再構成に失敗することを発見した。本実験ではこれが拡散モデルにも部分的に当てはまることを確認した。ただし、Stable Diffusion 3のように高周波パワーが Real と近く検出が困難なモデルも存在し、デコーダの設計次第でこの問題は克服可能であることも示された。

なお、Togetterの「均一分布」については、Step 0・Step 1の黒点線(Uniform)がその予測するパワーレベルである。均一分布であれば全周波数で同一パワーとなりスペクトルは水平線になるが、Real・AI生成画像ともに1/f^α則に従い5〜6桁の減衰を示す。均一分布に近づく傾向は観察されない。

そもそもなぜ「AI画像は緻密」と感じるのか

Togetterでこの議論が生まれた背景には、「AI生成画像は人間が描いたものに比べて緻密すぎる」という直感がある。この直感自体は的外れではない — AI画像が緻密に見えるのは事実である。ただしそれはスペクトル特性の問題ではなく、どういう絵を描くかの問題である。

人間の画家やイラストレーターにとって、細部を描き込むことはコスト(時間・労力)を伴う。したがって構図や主題に応じて意識的に省略・簡略化が行われる。一方、AIにとって細部の描き込みにコストの差はない。プロンプトに応じて画面全体を同じ密度で生成するため、人間なら省略するような背景や周辺部にも均一にディテールが入る。これが「緻密すぎる」という印象の正体である。

重要なのは、この「緻密さ」は画像の意味的・構図的な特性(どこに何をどれだけ描くか)であり、本実験が測定した信号レベルの空間周波数特性(ピクセル単位でどの周波数にどれだけパワーがあるか)とは異なる層の話だということである。Togetterの議論は、この印象からスペクトル特性を推測した形であり、直感としては自然だが、両者は異なる層の現象である。

Stable Diffusion系と非Stable Diffusion系の差

Step 1で最も顕著な結果は、Stable Diffusion系(66〜78%)と非Stable Diffusion系(92〜96%)の精度差である。Stable Diffusion系モデル(Stable Diffusion 2.1, Stable Diffusion XL, Stable Diffusion 3)は世代が異なるにもかかわらず一貫してRealに近いスペクトルを示す。Stable Diffusion 1.x / 2.x / Stable Diffusion XLはRombach et al. (2022) のVAE(4ch潜在空間)を共有するが、Stable Diffusion 3は異なるVAE(16ch潜在空間)を採用しており、単純に「同じデコーダの継承」では説明できない。Stable Diffusion系が一貫して高周波を保持する理由は本実験からは特定できないが、潜在拡散モデルのデコーダ設計が寄与している可能性がある。

DALL-E 3とMJ v6はアーキテクチャが非公開であり、高周波パワー低下の原因を特定することはできない。生成パイプラインの設計(デコーダの構造、後処理の有無)の違いがスペクトルに表れていると推測されるが、検証にはモデルの内部構造へのアクセスが必要である。

Durall et al. (2019) との比較

対象 精度 特記事項
Durall et al.(2019年GAN、顔画像) 100% Faces-HQ, 顔アラインメント済み
MJ v6 96.4% 高周波パワー低下
GLIDE(64→256 upscale) 95.2% アップスケール痕跡
DALL-E 3 92.2% 高周波パワー低下
ADM 85.5% U-Netアーキテクチャ
Gemini 2.5 Flash 84.5% 高周波パワー低下
Stable Diffusion 3(DiT, 1024×1024) 66.1% Realとの差が小さく分離困難

Durall et al.の100%とGLIDEの95.2%は同じ機序による。アップサンプリング操作(GLIDEの64→256、GANの転置畳み込み)がスペクトルに検出可能な痕跡を残す。Stable Diffusion 3のような最新モデルは高解像度潜在空間で生成するため、この種のアーティファクトが消失している。

なぜ最新モデルは検出できないのか

  1. GLIDE: 64×64で生成→256にアップスケール。補間が不完全で、スペクトルに明瞭な痕跡が残る(Step 2で30 cycles以降の急落として観察)
  2. ADM: 256×256で直接生成するが、U-Netのダウン/アップサンプリング構造がスペクトルに影響する
  3. Stable Diffusion 3: 高解像度の潜在空間で生成し、学習済みVAEデコーダで画像空間に変換する。デコーダが Real に近い高周波情報を再構成するため、スペクトルの差が大幅に縮小する

この進化は、手作りスペクトル特徴量の限界を示している。SPAIのような学習ベースのスペクトル分析が研究されている理由もここにある。


まとめ

  1. Togetterの「均一性」主張は支持されない: AI画像もRealも1/f^α則に従い、スペクトルは均一分布に近づかない
  2. 高周波パワー低下 ≠ ぼやけた画像: 一部のAIモデルが示す高周波パワーの低下は、知覚的なぼやけではなく、カメラセンサーノイズや素材の微細テクスチャの欠如を意味する。Togetterの「くっきり=高周波が強い」という直感は、知覚的シャープさ(中周波域)とスペクトル高周波域の混同に基づく
  3. Stable Diffusion系モデルはスペクトル単独では実用的に検出困難: Stable Diffusion 3の検出精度は66.1%にとどまり、パラメタ最適化でも改善しない
  4. 非Stable Diffusion系(DALL-E 3, MJ v6)とGemini 2.5 Flashは高周波パワーの低下により検出可能: ただし原因はアーキテクチャが非公開のため特定できない
  5. アップスケール系(GLIDE)はDurall et al.と同じ機序で検出可能: 生成解像度の理論的限界とスペクトル急落周波数が一致する

今回のコード一式はGithubにpushしました。


付録: 配布解像度の影響に関するコントロール実験

課題

Defactify では DALL-E 3 が 270×270、MJ v6 が 436×436 と縮小済で配布されている (Stable Diffusion系は 768〜1024)。Step 1 の高周波低下がモデル特性ではなく配布時のダウンサンプル由来である可能性を切り分ける必要がある。

方法

SD3 ネイティブ (1024) を Defactify と同じ経路 (1024 → {270, 436} → JPEG → 256) で再エンコードし、「SD3 が同じ解像度で配布されたら示すスペクトル」を予測する。実データと重なれば配布解像度起因、重ならなければモデル特性。補間法は bilinear / bicubic / area の 3 種で幅を取った (n=200 / 条件)。横軸は空間周波数 cycles per 256-px image (Step 0 と同じ読み方)。

control

図7: 付録. SD3 を Defactify と同じ経路で再エンコードしたシミュレーション (ピンク帯) と実データ (紫線) の比較

結論

予測 (ピンク帯) と実データ (紫線) は 両方向に乖離 する。127 cycles/image で、

  • DALL-E 3: 実 0.47 vs 予測 0.20〜0.34 → 配布解像度だけでは予測がに外れる
  • MJ v6: 実 0.12 vs 予測 0.43〜0.59 → 配布解像度だけでは予測がに外れる

配布解像度のダウンサンプルでは両モデルのスペクトル形状を再現できず、モデル特性が主要因である (ただし MJ v6 は配布解像度の寄与も併存)。Step 1 の結論は維持される。


参考文献

論文

データセット

0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?