More than 1 year has passed since last update.

マスク着用有無認識アプリ with Swift

Last updated at 2022-03-01Posted at 2022-03-01

概要

被写体がマスクをしているかどうかを認識するアプリの開発
GitHubURL

https://github.com/Takata1124/movieDetection

1. 開発環境

Xcode (13.2.1)
GoogleColaboratory
Jupyter-notebook

2. 構築

STEP1：マスク着用の顔画像データセットを作成
STEP2：マスク着用している場合とマスクを着用していない画像を認識するCoreMLモデルを作成する
STEP3：被写体の顔を認識するアプリをVisionFrameworkを構築する
STEP4：被写体の顔画像をクリッピングしてCoreMLモデルでマスク着用の有無を判断し、出力する。

3. マスク着用画像のデータセットを作成 (Jupyter-notebook)

マスク着用の顔画像データセットを無料で提供している媒体が存在していなかったため、openCVを利用して顔画像のみを切りとる方法でデータセットの作成を行なった。

必要なモジュールのインポート

/Python_file/jupyter_script/face_scraping_opencv.ipynb

import cv2
import glob
import matplotlib.pyplot as plt
import os

マスク着用顔画像の切り抜きを集めた画像フォルダを作成

/Python_file/jupyter_script/face_scraping_opencv.ipynb

file = glob.glob('./mask_images/ *.jpeg') 

for num in range(len(file)):

    img = cv2.imread(file[num])
    img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    face_cascade = cv2.CascadeClassifier('./haarcascade_frontalface_default.xml')
    face = face_cascade.detectMultiScale(img_gray)

    i = -1

    if face == ():
        print("empty")
    else:
        print("detect faces")
        print(face)

        for x, y , w, h in face:
    #         cv2.rectangle(img, (x, y), (x + w, y + h), (255, 0, 0), 2)
            i = i + 1
            im2 = img[y:y+h, x:x+w]
            cv2.imwrite('./total_triming_face_mask/face_image_num{}_face{}.jpeg'.format(num, i), im2)

    # plt.imshow(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))
    # plt.show()

マスクしている人の写真を集めた./mask_imagesのディレクトリのファイル名をglobモジュールで取得し、file変数に渡している。
渡されたファイル名の画像を検索して各画像の顔画像をトリミングして、./total_triming_face_maskというディレクトリに顔画像を保存している。
結果トリミングされたマスク着用顔画像を下記示す。

マスク着用顔画像の水増し

/Python_file/jupyter_script/Addition_images.ipynb

import glob
import os
import cv2
import numpy as np
import matplotlib.pyplot as plt

/Python_file/jupyter_script/Addition_images.ipynb

file = glob.glob('./image_folder/total_triming_face_mask/ *.jpeg')

for num in range(len(file)):
    
    img = cv2.imread(file[num])
#     上下反転
    img_flip_ud = cv2.flip(img, 0)
#     左右反転
    img_flip_lr = cv2.flip(img, 1)
#     上下左右反転
    img_flip_ud_lr = cv2.flip(img, -1)
    
    cv2.imwrite('./image_folder/total_triming_face_mask/face_original_image_1-{}.jpeg'.format(num), img_flip_ud)
    cv2.imwrite('./image_folder/total_triming_face_mask/face_original_image_2-{}.jpeg'.format(num), img_flip_lr)
    cv2.imwrite('./image_folder/total_triming_face_mask/face_original_image_3-{}.jpeg'.format(num), img_flip_ud_lr)

今回作成したマスク着用画像で、正面を向いた綺麗な画像があまり集められなかったため、画像の水増しを行なった。
画像の水増しはopenCVを用いた実施し、各マスク着用画像の上下反転、左右反転、上下左右反転処理を行なった画像を同一ファイルに保存した。
ここでは上下反転、上下左右反転画像を生成しているが、のちの画像認識のモデル学習において認識精度低下に影響したため、オリジナルの画像、左右反転画像のみをマスク着用顔画像のデータセットとして採用した。

マスク着用無しの顔画像データセット

顔画像のデータセットは無償で提供されている媒体があるため、下記サイトの顔画像データセットを利用した。

Labeled Faces in the Wild

上記顔画像も精度向上のため、マスク着用顔画像同様、openCVを用いて顔画像をトリミング加工している。

4. CoreMLモデルの作成 (GoogleColaboratory)