改修を試みた動機

今までに、SwinTransformer を使うとき、画像の Transforms.Resize は、正方形の 224, 224 の形に Resize していた。しかし、ImageNet の元の画像などは、正方形とは限らない。縦横比が 1 ではない画像が普通だと思います。一方、SwinTransformer の tiny は 224,224 の正方形画像を扱うようにできているという印象を持っています。縦横比が 1 でない画像を、縦横比を変えずに Resize して、どうやって SwinTransformer で扱ったら良いか考えました。

考え付いたのは、例えば、448×384 の画像は、224 × 192 の画像に縮小します。しかし、image size は 224 × 224 にしておいて、image[:,192:224] の部分は、0 のピクセルとして、padding_mask[:,192:224] を True にするという案です。

これにより、縦横比を変えずに、SwinTransformer で、Image Classification ができるのではないかと考えました。そのためには、SwinTransformer で、padding mask を扱えるように改修しなければなりませんでした。

Transforms.Resize と collate function の準備。

準備した Resize クラス

class Resize2:
    '''
    画像をアスペクト比を保持してリサイズするクラス
    Resize した結果 image の長辺の長さ
    '''
    def __init__(self, result_size: int):
        self.result_size = result_size

    '''
    元の画像を長辺が self.result_size になるように画像をリサイズする関数
    img   : リサイズする画像
    '''
    def __call__(self, img: Image):
        # width が長辺か、height が長辺か調べる。
        width, height = img.size
        max_size = max( width, height )
        w_flag = False
        h_flag = False
        if max_size == width:
            w_flag = True
        else:
            h_flag = True
        
        # resize する weidth と height を決定する
        if w_flag == True:
           r_ratio = self.result_size / width
           resized_width = self.result_size
           resized_height = int( height * r_ratio )  
        else:
           r_ratio = self.result_size / height
           resized_height = self.result_size
           resized_width = int( width * r_ratio )


        # 指定した大きさに画像をリサイズ
        img = F.resize(img, (resized_height, resized_width))

        return img

Resize2 クラスのコンストラクト時には、出力する画像の長辺のピクセル数を指定します。今の場合 224 です。縦横比が 1 でない画像については、出力画像は 224 × 224 とはなりません。

224 × 224 の画像と padding mask を出力する collate_func5 関数

def collate_func5(batch: Sequence[Tuple[Union[torch.Tensor, str]]]):
    imgs, targets = zip(*batch)

    # 与えられた image の長辺の長さに画像サイズ max_height, max_width を合わせる
    result_size = max( imgs[0].shape[1], imgs[0].shape[2] )
    max_height = result_size
    max_width = result_size
    for img in imgs:
        height, width = img.shape[1:]
        max_height = max(max_height, height)
        max_width = max(max_width, width)

    # (batch数、channel=3, max_height, max_width) で全ピクセル 0 の画像を確保。
    imgs = batch[0][0].new_zeros(
        (len(batch), 3, max_height, max_width))
    # (batch数、max_height, max_width) で全値 True のブールでマスクを確保
    masks = batch[0][0].new_ones(
        (len(batch), max_height, max_width), dtype=torch.bool)
    targets = []
    for i, (img, target) in enumerate(batch):
        #実際のimage を画像リストに代入
        height, width = img.shape[1:]
        imgs[i, :, :height, :width] = img
        # マスクの画像領域には偽の値を設定
        masks[i, :height, :width] = False
        # target ラベルを追加
        targets.append(target)
    
    # target ラベルを torch.tensor 化。
    targets = torch.tensor( targets )

    return imgs, masks, targets

B × 3 × 224 × 224 の画像と、B × 224 × 224 のマスクと、target ラベルを出力します。

SwinTransformerV2 の改修箇所。

〇入力を imgs と padding_mask にして、 PatchEmbed と BasicLayer を padding_mask 対応とした。

〇class PatchEmbed
　x の次元数の変形に伴い、padding_mask も F.interpolate 関数で変形した。

〇class BasicLayer
　blk 関数と downsample（PatchMerging) を padding_mask 対応とした。

〇blk 関数対応
　blk 関数の中身である SwinTransformerBlock を padding_mask 対応とした。

〇 downsample 対応
　x が downsample で変形されているので、x のシーケンス長に合わせて、padding_mask を F.interpolate した。

〇SwinTransformerBloc 対応
　x だけでなく、padding_mask にも shift と window_partition を行い、self.attn 関数に入力した。

〇self.attn 関数（window_attention) 対応
　padding mask に shift と window_partition を行ったものを view 関数で attn の変形に合わせて（attn_mask に合わせて）、ブール値をfloat に変換して -1e9 を乗算し、attn に加えて、softmax を計算した。

精度の測定について。

データは、ImageNet の train データと validation データの 1/100 を使いました。batch_size は 8。 epoch は 25 です。len( train_loader )= 1602、len( val_loader ) = 63 です。

測定結果

loss と accuracy について、Trainデータと Validation データのグラフを掲載する。for comparing のグラフは、padding_mask なしのデータです。for comparing のないグラフは padding_mask を考慮した場合のデータです。

Validation accuracy の最大値は、padding_mask ありが 0.685 で、padding_mask なしが 0.671 でした。

測定に使用したプログラムを github に置いておきます。

よろしくお願いいたします。

ape の padding_mask 対応、2025年8月30日追記

SwinTransformerV2 に padding_mask を入力できるようにしたら、SwinTransformerV2 の ape を padding_mask を考慮するようにしないといけないと考えました。プログラムでは、ape は

if self.ape:
    self.absolute_pos_embed = nn.Parameter(torch.zeros(1, num_patches, embed_dim))
    trunc_normal_(self.absolute_pos_embed, std=.02)

if self.ape:
    x = x + self.absolute_pos_embed

のように使われているので、

if self.ape:
    x = x + self.absolute_pos_embed * ~(padding_mask[:,:,None])

のようにして、計算を行いました。

計算結果

Train Loss, Val Loss, Train Acc, Val Acc のグラフを掲載します。
Train のグラフは、グラフを滑らかにするため、1epoch 分の平均をとっています。Val のグラフは、10 epcodh 分の平均をとっています。

Validation での Acc は、padding_mask あり ape なしで、0.649、padding_mask あり ape ありで、0.652 となりました。