TL;DR

ノートブックはこちら！

はじめに

この記事はこちらの記事の続きだ！
目的としてはWEB会議やビデオ通話などの場面で顔のフィルターを自前で実装したいである。
前回はMediapipeを用いて簡単に口紅を塗ってみたが、今回は顔全体に対して色を塗ってみよう！

手順

今回の「顔フィルターは」は下記の手順で行う。

画像を読み込む
「お化粧」する色の定義
顔認識を行う
顔のパーツを抽出し色をつける
入力画像との融合

使用するツール

顔のパーツの色と融合する時の重みをまとめるため、yamlファイルを活用する。

pyyaml

インストール

$ pip install pyyaml

コード

①必要なモジュールをimportする

import cv2
import yaml
import numpy as np
import mediapipe as mp
import matplotlib.pyplot as plt

②画像データを読み込む

前回のイケメン君(笑)
(https://thispersondoesnotexist.com/)

img_path = "../input/image.jpg"

src = cv2.imread(img_path)
src = cv2.cvtColor(src, cv2.COLOR_BGR2RGB)
img = src.copy()
plt.imshow(img)

③パラメータを定義し、読み込む

今回はyaml形式でパーツの色と重みをmake_up.yamlに保存する。

config/make_up.yaml

# color: [R, G, B]

face:
  color: [165, 57, 0]
  weight: 0.1

eyes:
  color: [52, 124, 44]
  weight: 0.15

lip:
  color: [142, 30, 29]
  weight: 0.2

eyebrow:
  color: [200, 200, 200]
  weight: 0.08

notebook/makeup.ipynb

def read_yaml(path):
　　"""yamlファイルを読み込むための関数

　　入力：yamlファイルのパス
　　出力：dict形式のデータ
    """
    with open(path, "r") as f:
        cfg = yaml.safe_load(f)
    return cfg

cfg = read_yaml("../config/make_up.yaml")

簡単な色の確認

# パーツの数に合わせてプロットを初期化する
# 偶数と奇数に注意！
fig, axs = plt.subplots(len(cfg.keys())//2, 2)
axs = np.ravel(axs)

# パーツをループし、色を描画する
for idx, (part, param) in enumerate(cfg.items()):
    tmp = []
    for _ in range(100):
        tmp.append(param["color"])
    axs[idx].set_title(part)
    axs[idx].imshow(np.reshape(tmp, (10, 10, 3)))

④Mediapipeを用いて顔認識を行う

# 検知器のインスタンス化
drawing = mp.solutions.drawing_utils
drawing_spec = drawing.DrawingSpec(thickness=1, circle_radius=1, color=(0, 255, 0))

drawing_styles = mp.solutions.drawing_styles

face_mesh = mp.solutions.face_mesh
face_detector = face_mesh.FaceMesh(min_detection_confidence=0.5, min_tracking_confidence=0.5)

# 検知処理
results = face_detector.process(img)

# 可視化
if results.multi_face_landmarks:
    for face_landmarks in results.multi_face_landmarks:
        drawing.draw_landmarks(
            image=img,
            landmark_list=face_landmarks,
            connections=face_mesh.FACEMESH_TESSELATION,
            connection_drawing_spec=drawing_styles.get_default_face_mesh_tesselation_style()
            )
plt.imshow(img)

⑤パーツを抽出し、マスクを作成する

# マスクの初期化
gray = np.zeros((src.shape[0], src.shape[1], 3), dtype=np.uint8)

# 唇のINDEX
lips = list(face_mesh.FACEMESH_LIPS)
lips = np.ravel(lips)

# 目（左）のINDEX
l_eyes = list(face_mesh.FACEMESH_LEFT_EYE)
l_eyes = np.ravel(l_eyes)

# 目（右）のINDEX
r_eyes = list(face_mesh.FACEMESH_RIGHT_EYE)
r_eyes = np.ravel(r_eyes)

# 眉毛（左）のINDEX
l_eyebrow = list(face_mesh.FACEMESH_LEFT_EYEBROW)
l_eyebrow = np.ravel(l_eyebrow)

# 眉毛（右）のINDEX
r_eyebrow = list(face_mesh.FACEMESH_RIGHT_EYEBROW)
r_eyebrow = np.ravel(r_eyebrow)

# 抽出したパーツをdict形式で保存する
face_dict = {}
if results.multi_face_landmarks:
    for face_landmarks in results.multi_face_landmarks:
        mask_lip = []
        mask_face = []
        mask_l_eyes = []
        mask_r_eyes = []
        mask_l_eyebrow = []
        mask_r_eyebrow = []
        for i in range(face_mesh.FACEMESH_NUM_LANDMARKS):

　　　　　　 # 唇
            if i in lips:
                pt1 = face_landmarks.landmark[i]
                x = int(pt1.x * img.shape[1])
                y = int(pt1.y * img.shape[0])
                mask_lip.append((x, y))

            # 目（左）
            elif i in l_eyes:
                pt1 = face_landmarks.landmark[i]
                x = int(pt1.x * img.shape[1])
                y = int(pt1.y * img.shape[0])
                mask_l_eyes.append((x, y))

            # 目（右）
            elif i in r_eyes:
                pt1 = face_landmarks.landmark[i]
                x = int(pt1.x * img.shape[1])
                y = int(pt1.y * img.shape[0])
                mask_r_eyes.append((x, y))

            # 眉毛（左）　
            elif i in l_eyebrow:
                pt1 = face_landmarks.landmark[i]
                x = int(pt1.x * img.shape[1])
                y = int(pt1.y * img.shape[0])
                mask_l_eyebrow.append((x, y))

            # 眉毛（右）
            elif i in r_eyebrow:
                pt1 = face_landmarks.landmark[i]
                x = int(pt1.x * img.shape[1])
                y = int(pt1.y * img.shape[0])
                mask_r_eyebrow.append((x, y))

            # それ以外の部分
            else:
                pt1 = face_landmarks.landmark[i]
                x = int(pt1.x * img.shape[1])
                y = int(pt1.y * img.shape[0])
                mask_face.append((x, y))

# 描画のためnumpy配列へ変換する
face_dict["mask_lip"] = np.array(mask_lip)
face_dict["mask_face"] = np.array(mask_face)
face_dict["mask_l_eyes"] = np.array(mask_l_eyes)
face_dict["mask_r_eyes"] = np.array(mask_r_eyes)
face_dict["mask_l_eyebrow"] = np.array(mask_l_eyebrow)
face_dict["mask_r_eyebrow"] = np.array(mask_r_eyebrow)

⑥抽出したパーツに対して色と重みをつける

# パーツの数に合わせてプロットを初期化する
fig, axs = plt.subplots(2, len(face_dict.keys())//2)
axs = np.ravel(axs)

# パーツの融合のベースマスク
full_mask = gray.copy()

# パーツをループし処理を行う
for idx, (part, v) in enumerate(face_dict.items()):
　　# マスクをコピーし初期化する
    mask = gray.copy()

　　# パーツの範囲を定義する
　　convexhull = cv2.convexHull(v)

    # 色と重みを定義する
    if "eyes" in part:
        color = cfg["eyes"]["color"]
        weight = cfg["eyes"]["weight"]
    elif "eyebrow" in part:
        color = cfg["eyebrow"]["color"]
        weight = cfg["eyebrow"]["weight"]
    elif "face" in part:
        color = cfg["face"]["color"]
        weight = cfg["face"]["weight"]
    elif "lip" in part:
        color = cfg["lip"]["color"]
        weight = cfg["lip"]["weight"]
    else:
        color = (0, 0, 0)

    # 色を塗る
    mask = cv2.fillConvexPoly(mask, convexhull, color)
    mask = cv2.GaussianBlur(mask, (7, 7), 20)

　　# パーツのマスクを全体のマスクに追加していく
    full_mask = cv2.addWeighted(full_mask, 1, mask, weight, 1)

　　# 描画する
    axs[idx].set_title(part)
    axs[idx].imshow(mask)

パーツ毎のマスク

全体のマスク

⑦融合する

# 入力画像にマスクをかける
result = cv2.addWeighted(full_mask, 1, src, 1, 1)

# 描画する
fig, (ax0, ax1) = plt.subplots(1,2)
ax0.set_title("Before")
ax0.imshow(src)
ax1.set_title("After")
ax1.imshow(result)

比較する

あとがき

今回は唇だけではなく、顔全体に対して色を付けてみた！
大まかな範囲で色を塗っているが、本当のお化粧とは細かいところで調整することで、まだまだ本当の目標までは遠い！
ただ、これを通していい土台にはなるかなと思う。

一旦「お化粧」をここまでとして、次回はリアルタイムで「お化粧」してみよう！

【python】Mediapipeを使って「お化粧」をしてみた