Deep Learningに関し、Toyレベルのサンプルはいろいろオープンにされていて勉強できる。また、Academic Paperに、記録狙いの巨大なNeuralNetworkが書いてある。しかし、それらの間にある、ある程度、実用レベルを狙っているが、さほど複雑でない、NeuralNetworkの情報は、あまり公開されていません。

そこで、自分がやったことに関し、似たようなことをやろうとしている方に役立つかもしれないので、残しておきます。

以下、目周辺の画像のPixelに関し、まぶたの間の領域とそれ以外を２値分類する（セグメントする）、２値クラス分類モデルです。
ここの画像は、テスト入力画像と、Sigmoid出力[0..1]を、gray scaleの[0..255]に変換したMaskとを、bitwise_orしたサンプルです。

PyTorchを使っています。データローダーと、Training/testコードは、PyTorchのサイトのTutorialのもろもろのサンプルコードの微改造なので、省略します。

入力データは、
・縦48x横78pixel画像が、84K個。
・正解領域を１としそれ以外を０とするような、画像と同じサイズのマスク。
・90:10でTrainig:Test区分けしています。

データソースは、商用利用を許諾された画像を集め、Flip、明度変更、Crop、Rotationなどで、Data Argumentionしています。

正解Tagは、DlibのLandmark Tagをもとにして、輪郭をとって内側を塗りつぶし、多少のモルホロジー変換を施し作りましたが、Dlibは白人以外に弱い、眼鏡などがあると間違えやすい、などの問題があり、手修正が大変でした。

ネットワークモデルは、Sonyの小林さんという方がYouTubeに投稿しているSegmentationのTutorial動画を参考にしました。Convolutionを４層重ね、Sigmoidするだけですが、Dilationという仕組みでグローバルなコンテキストを認識するようにした。

Training結果のConfusion Matrixは数値化していませんが、どのテスト結果を見ても目領域を外していません。つまり、目領域ではないのに目領域であると判定された、False-Positiveはほとんどない。

たったこれだけのコードで、ほぼ完ぺきに目領域をセグメントできる。

class EyeMaskNet(nn.Module):
    def __init__(self):
        super(EyeMaskNet, self).__init__()

        self.conv1 = nn.Conv2d(1, 16, (3,3), dilation=(1,1), padding=(1,1))
        nn.init.kaiming_normal_(self.conv1.weight)
        self.bn1 = nn.BatchNorm2d(16)
        self.conv2 = nn.Conv2d(16, 16, (3,3), dilation=(2,2), padding=(2,2)) #dilate=2 -> kernel=5x5
        nn.init.kaiming_normal_(self.conv2.weight)
        self.bn2 = nn.BatchNorm2d(16)
        self.conv3 = nn.Conv2d(16, 16, (3,3), dilation=(4,4), padding=(4,4)) #dilate=4 -> kernel=9x9
        nn.init.kaiming_normal_(self.conv3.weight)
        self.bn3 = nn.BatchNorm2d(16)
        self.conv4 = nn.Conv2d(16, 16, (3,3), dilation=(8,8), padding=(8,8)) #dilate=8 -> kernel=17x17
        nn.init.kaiming_normal_(self.conv4.weight)
        self.bn4 = nn.BatchNorm2d(16)

        self.convf = nn.Conv2d(16, 1, (3,3), dilation=(1,1), padding=(1,1))
        nn.init.kaiming_normal_(self.convf.weight)

    def forward(self, x):
        x = x.float()
        x = F.relu(self.bn1(self.conv1(x)))
        x = F.relu(self.bn2(self.conv2(x)))
        x = F.relu(self.bn3(self.conv3(x)))
        x = F.relu(self.bn4(self.conv4(x)))
        x = F.sigmoid(self.convf(x))
        return x