mediapipeが認識するイラストを描いて指示する

これは何

• MediaPipeは写真・動画ベースでストリーミングサービスを通して実写ベースを前提にしているAIです。
• これに写真以外の人間を認識させてみよう、という試みです。
• 発端は描いた絵をデッサン人形のポーズできないかな、というツイートを見たのがきっかけ。

---

どうやって実現させる？

• 顔だと認識させる。
  • 必要な要素はこれだけです。

どういうものが認識されるか？

• mediapipeでこれから実装するべきですが、ここではmediapipeを利用した https://3d.kalidoface.com/ を使って検証します。

1. まーる描いて
   
2. うみにん！
   

• とするだけで顔として認識されるんです。
  
• 情報が足りないのかブルブル揺れてしまいますが。

何をもって顔だと認識している？

• ここで必要な要素は
  • 色を持った領域
  • 目
  • 鼻
  • 口
• になります。眉毛や眼球は顔と認識する上ではmediapipeでは必要ないのではないかと予想します。
• 余談ですが、肌の部分は「肌色」である必要もないんです。ピンク色でも必要な要素さえあればいい。
• 白目と黒目を書き加えると…
  
  
• モデルの子がぱっちり目を開きました！
• 顔を検出することと瞳があるかどうかは別にできる、と推察されます。瞳がなければまぶたを閉じてるということでしょうからね。

顔ができたらBodyのポーズも？

• ここからが本題。実はmediapipeに限った話でもありませんが、顔さえあると認識させられればかなり自由に描いてもポーズとして認識します。
  
  

• こんなポーズも。
  

• mediapipeのサイトの資料によると胴体から顔と手足が生えている必要がある様子。
  https://google.github.io/mediapipe/solutions/pose.html#pose-landmark-model-blazepose-ghum-3d
  

• この特徴さえ押さえればたとえデッサンが適当だとしても絵を描いて認識させることができるというわけです。