情報ボトルネック作戦は成功したけど・・・　3x3の代償

前回までで、3x3の極小ボトルネックを用いたFaceSwapモデルの設計と思想について語りました。「情報を絞ることでIdentityを捨てさせる」という戦略は成功し、論理的にはFaceSwapが可能であることが実証されました。

しかし、生成された画像を細かくチェックしていると、ある 「視覚的な違和感」 に気づきました。

今回は、論理（情報理論）ではなく、実装（レイヤー構造）に起因する画質の問題、「市松模様ノイズ（Checkerboard Artifacts）」 とその解決策について話します。

1. 成功の陰に潜む「網目」

3x3モデルで学習した顔画像の、特に「肌」や「背景」などの平坦な部分を拡大してみます。

遠目に見ると綺麗に再構成されているように見えますが、ズームインすると…

まるで 「網戸越し」 に見ているような、微細な格子状のパターン（グリッド）が乗っていることに気づきます。

これは、学習不足やノイズではありません。Lossは十分に下がっています。

これは、モデルの構造そのものが生み出しているアーティファクトです。

2. 犯人は ConvTranspose2d

このグリッドノイズの正体は、GANやAutoEncoder界隈では有名な Checkerboard Artifacts（市松模様ノイズ） です。

そして、その犯人はDecoderで多用している nn.ConvTranspose2d です。

2.1 ConvTranspose2dの仕組みと弱点：「拡大」ではなく「ばら撒き」

この問題の根本原因を理解するには、ConvTranspose2dが何をしているかを正しくイメージする必要があります。
よくある誤解として、「小さな画像を拡大コピーして貼り付けている」と思われがちですが、実際の挙動は 「Splatting（ばら撒き）」 に近いです。

水やりのメタファー

イメージしてください。

あなたは 幅3マスに広がるシャワー（Kernel=3） を持っています。
このシャワーを出しながら、2マスずつ（Stride=2） 移動していきます。

すると、どうなるでしょうか？

(図解: n+1マスの拡散をnマスおきに浴びせると、どうしても重なる部分が出てくる)

シャワーの広がり（3） ＞ 移動距離（2）

この「歩幅よりも広くばら撒く」という性質上、前のシャワーの右端と、次のシャワーの左端が、**どうしても地面で重なってしまいます**。

*   重なった場所: シャワーを2回浴びるので、色が濃くなります（値が大きくなる）。
*   重ならない場所: シャワーを1回しか浴びないので、色は薄いままです。

結果として、「濃い・薄い・濃い・薄い」 というリズムが規則正しく刻まれます。
これが、出力画像に現れる グリッド（市松模様）の正体 です。

本来は、この「重なり」を利用して滑らかなグラデーション（補間）を作りたいのですが、重なり方が不均一だと、逆にそれが「模様」として残ってしまうのです。

2.2 なぜ3x3だと特に酷いのか？

「カーネルサイズ4、ストライド2、パディング1」の設定は、理論上は均一に重なる設定です。しかし、重みの初期化や学習の偏りによって、どうしても微細な模様が出やすくなります。

特に今回のモデルでは、3x3 という極小サイズからスタートしています。

3x3 → 8x8: ここでグリッドが発生すると、それは画像の「根本的な構造」として焼き付く
8x8 → 16x16: そのグリッドをさらに拡大・補間する
... → 256x256: 最終的には、画像全体を覆う微細なメッシュとして現れる

初期段階での小さな歪みが、度重なるアップサンプリングによって増幅され、逃れられない「呪い」のように全体を支配してしまうのです。

2.3 なぜ「高解像度」で急に目立つのか？

読者の中には疑問に思う方もいるかもしれません。
「256x256の時はそんなに気にならなかったのに、なぜ512x512にした途端に酷くなるのか？」

これには、「干渉」 と 「解像度の皮肉」 という2つの理由があります。

① グリッドの多重干渉 (Interference)

ConvTranspose2dを重ねるということは、「前の層のグリッドの上に、新しい層のグリッドを書き足す」 行為です。

*   **256x256**: 6回の積み重ね
*   **512x512**: 7回の積み重ね

たった1回の差に見えますが、波と波が重なると**「干渉（モアレ）」**が起きます。
層が深くなるほど、異なる周期のグリッドが複雑に重なり合い、単なる「点」だったノイズが、目に見える「模様」へと増幅されてしまうのです。

② 高解像度が「ノイズまでくっきり描いてしまう」

これは皮肉な話ですが、解像度が低い（256x256）ときは、画像の**「ボケ」**が味方をしていました。
ピクセルが粗いため、微細なグリッドノイズは潰れて見えなくなっていた（平滑化されていた）のです。

しかし、512x512になるとキャンバスの目が細かくなります。
モデルは肌のキメを描こうとしますが、その高い表現力が仇となり、「本来見えなくてよかった微細なグリッドノイズ」まで、くっきりと解像してモニターに映し出してしまうのです。

「画質を良くしようとしたら、アラまでよく見えるようになった」
これが高解像度化で直面するジレンマです。

3. 解決策: Resize + Convolution

この問題に対する古典的かつ最強の解決策は、2016年にOdenaらが提唱した "Resize-Convolution" アプローチです。

Deconvolution and Checkerboard Artifacts (Odena et al., 2016)
https://distill.pub/2016/deconv-checkerboard/

やり方は非常にシンプルです。
「拡大と畳み込みを分ける」 ことです。

Before: ConvTranspose2d

「拡大しながら畳み込む」を一発で行う。

# 1ステップで拡大と変換を行う（ムラが出やすい）
layer = nn.ConvTranspose2d(in_ch, out_ch, 4, 2, 1)

After: Resize + Conv2d

Resize: 最近傍補間（Nearest Neighbor）などで、単純に画像を2倍に引き伸ばす。
Conv2d: 拡大された画像に、通常の畳み込み（stride=1）をかけて整える。

# 2ステップに分ける
layer = nn.Sequential(
    nn.Upsample(scale_factor=2, mode='nearest'), # または 'bilinear'
    nn.Conv2d(in_ch, out_ch, kernel_size=3, stride=1, padding=1)
)

なぜこれで直るのか？

Upsample による拡大は、ピクセルを単純にコピー（または補間）するだけなので、重なりの不均一さが発生しません。
その後の Conv2d (stride=1) は、すべてのピクセルに対して均等にカーネルを適用するため、新たなムラを生み出しません。

結果として、グリッドのない滑らかな拡大が可能になります。

4. 実装の修正

Decoderの定義を書き換えます。
これまでは ConvTranspose2d を積み重ねていましたが、これを UpSample + Conv2d のブロックに置き換えます。

class UpsampleBlock(nn.Module):
    def __init__(self, in_ch, out_ch):
        super().__init__()
        self.net = nn.Sequential(
            # 1. まず2倍に拡大 (Nearest Neighborがシャープさを保ちやすい)
            nn.Upsample(scale_factor=2, mode='nearest'),
            # 2. 畳み込みで特徴を整える
            nn.Conv2d(in_ch, out_ch, kernel_size=3, stride=1, padding=1),
            nn.BatchNorm2d(out_ch),
            nn.LeakyReLU(0.1, inplace=True)
        )

    def forward(self, x):
        return self.net(x)

Decoder全体もこれに合わせて修正します。

# 旧 Decoder (ConvTranspose2d)
# self.up1 = nn.ConvTranspose2d(1024, 512, 4, 2, 1)
# self.up2 = nn.ConvTranspose2d(512, 256, 4, 2, 1)
# ...

# 新 Decoder (Resize + Conv)
self.up1 = UpsampleBlock(1024, 512)
self.up2 = UpsampleBlock(512, 256)
# ...

5. 結果 - グリッドの消失

修正したモデルで学習を回し直すと、結果は劇的です。

左がConvT、右がResize+Conv

*   ConvTranspose2d: 肌にザラザラしたデジタルな網目が見える。
*   Resize + Conv  : 網目が消え滑らかになった。

トレードオフ

ただし、すべてが良いことづくめではありません。

Resize + Convアプローチは、ConvTranspose2dに比べて 「画像が若干ソフト（ボケ気味）になる」 傾向があります。
特に mode='bilinear' を使うと顕著ですが、mode='nearest' でも、ConvTranspose2dのような「カチッとした」エッジは少し弱まることがあります。

しかし、「不自然なアーティファクト（グリッド）」よりは「自然な滑らかさ」の方が、人間の目には高画質に映ります。
また、LPIPS Lossを入れているため、ある程度のシャープさは維持されます。

5.2 補足: もう一つの選択肢 PixelShuffle

この問題に対する別解として、PixelShuffle (Sub-Pixel Convolution) という手法も有名です。

これは、画像を拡大するのではなく、チャンネル数（奥行き）を増やして、それを空間（縦横）に並べ替える というアクロバティックな手法です。
（例: チャンネル数を4倍にして計算し、最後に 2x2 のマスに並べ替えて解像度を2倍にする）

*   **メリット**: 計算効率が良く、Resize+Convよりもシャープな画質が得られやすい。
*   **デメリット**: 実はこれもしっかりと対策（ICNR初期化など）をしないと、結局グリッドノイズが出ることがある。

今回は、3x3ボトルネックという非常に敏感な環境であるため、「確実にグリッドを消せる」 という安定性を取って Resize + Conv を採用しました。
もし計算速度を極限まで追求する場合は、PixelShuffleも有力な選択肢になります。

6. まとめ

3x3ボトルネックで「Identity分離」を達成し、Resize+Convで「グリッドノイズ」を排除しました。

これにより、このFaceSwapモデルは：

1.  情報ボトルネック理論に基づき、Identityを正しく扱える
2.  不自然なノイズのない、自然な画像を生成できる

を達成できました。

参考:

Odena, A., Dumoulin, V., & Olah, C. (2016). Deconvolution and Checkerboard Artifacts. Distill. https://distill.pub/2016/deconv-checkerboard/