普通のWebカムで顔面点群してみたが

最初に

• 子供の教育用に作成
• シングルカメラでそれっぽく点群したい
• 2台カメラで作ってみたが1台壊れて、ゆめ潰える
• 例によって職場ではホンモノは触らせてもらえず・いつものことですが
• 手作業が多かったので、なにか作ってみようという安易な発送
• If you expect English explanations, please check bottom github link

Open3d と Mediapipeのモデル・機能活用

• 2台あれば点群を作るスピードはそれなりにできそう(片眼 25000個/秒？）
• ただ、ノートPCで作っているので、でチューンしてみる
• なるべく学習済みモデルを活用

model_check.py

import torch

# 利用可能なモデル名を一覧表示
available_models = torch.hub.list('intel-isl/MiDaS', force_reload=False)
print("利用可能なモデル:", available_models)

の結果

ターミナル

Using cache found in /home/manyan3/.cache/torch/hub/intel-isl_MiDaS_master
利用可能なモデル: ['DPTDepthModel', 'DPT_BEiT_B_384', 'DPT_BEiT_L_384', 'DPT_BEiT_L_512', 'DPT_Hybrid', 'DPT_Large', 'DPT_LeViT_224', 'DPT_Next_ViT_L_384', 'DPT_SwinV2_B_384', 'DPT_SwinV2_L_384', 'DPT_SwinV2_T_256', 'DPT_Swin_L_384', 'MiDaS', 'MiDaS_small', 'MidasNet', 'MidasNet_small', 'transforms']

なんちゃってな映像撮影を行う

1. その1

2． その2

点群してみる

• 左側に顔面の点群の強さが顔の動きに連動して出現
• 顔を近づけると顔の面がMediapipeの効果で見えるようにできる
• Sキーを押して切り替え

子供の反応もよく目的は達成！？

• 大きなお友達や私自身は消化不良ですが、子供にはバカウケ
• ご近所の子供たちも喜んで、ヨシとしましょう。
• 今後はちゃんとしたものをほしい。会社は期待できないので自分でかなぁ・・・

ネタ＊Link