512x512への挑戦 - 情報ボトルネックの罠
前回、256x256のFaceswap-AutoEncoderを設計しました。3x3というボトルネックによって情報を極限まで絞り込み、アイデンティティをEncoderから削ぎ落とし、Decoderで付与する。この設計により、FaceSwapが可能になりました。
今回は、解像度を512x512に上げる実験です。
${\large \textsf{「解像度を2倍にすれば、より高品質なFaceSwapができる」}}$
そう考えるのは自然です。しかし、実際にやってみると、予想外の問題に直面します。
1. Naive実装 - 解像度を変えるだけ
まず、最もシンプルなアプローチを試してみます。
変更内容:
- 入力画像サイズ: 256x256 → 512x512
- モデル構造: 変更なし（同じEncoder/Decoder）
- 学習設定: 変更なし（LR、損失関数、エポック数など）
このモデルではCNNベースなので畳み込み層の構造上、異なる解像度の入力でも処理できるため、ほとんど何も変更せずに、512x512の学習が可能です。
では、何が起こるのか？
2. 何が起こったのか？ - Bottleneckの変化
2.1 テンソル形状の変化
学習を開始すると、すぐに違和感を覚えた
epoch1
${\large \textsf{スワップができない!}}$
モデル図: 256x256の場合（前回）
モデル図: 512x512の場合（今回）
重要: 入力解像度が上がったため、ボトルネックが 3x3 → 7x7 に変化しています。
入力解像度が2倍になると、Encoder通過後の中間特徴マップも2倍（16x16 → 32x32）になります。その後のBottleneck層でさらに圧縮しても、最終的なサイズが大きくなってしまうのです。
2.2 圧縮率の変化
前回、256x256では圧縮率 21.3倍（約5%）という厳しい情報ボトルネックを作りました。
512x512では、どうなるでしょうか？
| 解像度 | 入力サイズ | Bottleneck | 圧縮率 |
|---|---|---|---|
| 256x256 | 256×256×3 = 196,608 | 3×3×1024 = 9,216 | 21.3倍 (4.7%) |
| 512x512 | 512×512×3 = 786,432 | 7×7×1024 = 50,176 | 15.7倍 (6.4%) |
圧縮率が 21.3倍 → 15.7倍 に下がっています。
つまり、情報ボトルネックが緩くなっているのです。
3. 問題の発覚 - Swapが起こらない
3.1 再構成はできる
学習を進めると、再構成（Reconstruction）は問題なく動作します。
通常の再構成フロー:
- Encoderで画像を潜在表現に変換
- 同じ人物用のDecoderで再構成
- 元の画像とほぼ同じものが出力される
L1 loss、LPIPS lossは順調に下がり、メトリクスからは一見、何の問題もないように見えます。
3.2 Swapが失敗する
しかし、FaceSwap（デコーダ交換）が失敗します。
FaceSwapの流れ:
- src画像をEncoderで潜在表現に変換（pose/expressionのみのはず）
- dst用のDecoderで再構成（dstのidentityを付与するはず）
- 期待: srcのポーズ・表情 + dstのidentity = FaceSwap
- 現実: srcのポーズ・表情 + srcのidentity = ほぼsrcのまま
つまり、Encoderが アイデンティティを削ぎ落とせていない のです。
3.3 Statistical Latent L2も無力
前回、Statistical Latent L2 Lossを使って、srcとdstの潜在分布を近づけることで、アイデンティティ分離を促進しました。
この損失は、バッチ全体の統計量（平均・分散）を一致させることで、Encoderが「アイデンティティに依存しない」特徴を学習することを促します。
256x256では、この損失が効果的に働き、EncoderはアイデンティティをBottleneckに残さないように学習しました。
しかし、512x512では、Latent L2損失があっても、Swapが起こりません。
4. 原因分析 - ボトルネックが広すぎる
4.1 空間解像度の比較
ボトルネックの空間サイズを比較してみましょう。
| 解像度 | Bottleneck | 空間次元の要素数 | 圧縮率（空間のみ） |
|---|---|---|---|
| 256x256 | 3×3 | 9 | 65,536 / 9 = 7,282倍 |
| 512x512 | 7×7 | 49 | 262,144 / 49 = 5,350倍 |
空間次元だけで見ると、512x512の方が圧縮率が低いです。
しかし、より重要なのは、絶対的な空間サイズです。
- 3x3: 9個の空間位置。「左上」「中央」「右下」のような、非常に粗い空間構造しか保持できない
- 7x7: 49個の空間位置。顔の「目」「鼻」「口」といった、より詳細な空間構造を保持できる
4.2 何が保存されるのか？
256x256の3x3では、空間情報がほとんど潰れるため、アイデンティティを保存する余地がありません。
3x3 bottleneck:
[全体のポーズ] [表情の大まかな方向] [照明の大雑把な情報]
→ 「誰か」を保存する空間がない
→ Decoderがidentityを付与せざるを得ない
一方、512x512の7x7では、空間情報がある程度残るため、アイデンティティを保存できてしまいます。
7x7 bottleneck:
[左目の位置] [右目の位置] [鼻の形] [口の形] [輪郭]
→ 顔の構造的な情報が残る
→ 「誰か」の特徴が潜在表現に含まれる
→ Decoderを交換してもidentityが変わらない
4.3 情報理論的な視点
前回、情報ボトルネックという概念を説明しました。
Encoderが学習する際、以下の2つの目標がトレードオフになります：
- 情報の圧縮: 入力をできるだけ小さな表現に圧縮する
- 情報の保持: Decoderが再構成できるよう、必要な情報を保持する
ボトルネックが十分に小さい場合（3x3）：
Encoder: 「全ての情報を保存できない。何を捨てるべきか？」
→ 「identityを捨てて、pose/expressionを残す」
（なぜなら、Decoderがidentityを持っているから）
ボトルネックが大きすぎる場合（7x7）：
Encoder: 「かなりの情報を保存できる。identityも入れよう」
→ 「pose/expression + identityを全部残す」
（Latent L2があっても、再構成誤差の方が大きいので優先される）
つまり、7x7は情報ボトルネックとして不十分なのです。
5. 損失値は下がる - しかし目的は達成されない
興味深いのは、損失値は正常に下がることです。
| Epoch | L1 Loss | LPIPS Loss | Latent L2 |
|---|---|---|---|
| 1 | 0.0234 | 0.142 | 0.0012 |
| 10 | 0.0089 | 0.068 | 0.0008 |
| 50 | 0.0043 | 0.032 | 0.0005 |
- L1、LPIPS: 再構成品質が向上している
- Latent L2: srcとdstの統計量も近づいている
しかし、FaceSwapは失敗します。
これは、損失関数が真の目的を捉えきれていないことを示しています。
- Latent L2は「統計的に似ている」ことを保証するが、「同じ空間領域に同じ情報を持つ」ことは保証しない
- モデルは、統計的には分布を近づけつつ、実際には各空間位置にidentity情報を保存している
6. まとめ - ボトルネックは設計の要
今回、512x512に解像度を上げる実験を行いました。
発見したこと
- Naive実装は失敗: 単に解像度を512x512にしても、FaceSwapは動作しない
- Bottleneckが拡大: 3x3 → 7x7に変化
- 圧縮率が低下: 21.3倍 → 15.7倍
- Identity分離の失敗: Encoderがidentityを削ぎ落とせない
- 損失値は正常: しかし、目的は達成されない
なぜ256x256では成功したのか？
前回、「3x3というボトルネックは aggressive」と言いました。
今回の実験で、それが意図的な設計だったことが明らかになりました。
3x3は、単なる「小さいサイズ」ではなく、identityを保存できないという性質を持つ、ギリギリのサイズなのです。
改善点の考察
では、512x512でFaceSwapを実現するには、どうすればよいのか？
- Bottleneckを3x3に固定する？
- より強力な正則化を導入する？
- アーキテクチャ自体を変更する？
続きます。
参考:
- 手探りしてみる CV/ ML/ NN: 12日目 auto-encoderで自前のモデルを作る話1:https://qiita.com/masahiroteraoka/items/d19252f2d3f37edfa9e9
- Information Bottleneck: https://arxiv.org/abs/physics/0004057