LoginSignup
3
3

More than 3 years have passed since last update.

【テレワに捧ぐ!】WebカメラでPC操作しちゃおっぜー

Last updated at Posted at 2020-04-08

本当はテレワ勃興よりだいぶ前から作ってたけど。。

みんなお馴染みなコイツが大活躍する時がやってまいりました!

cam1.png

Introduction

 テレワで飯食いながらWeb見るとか両手が塞がってる時に画面めくってくれたら良いなって思いません?? 毎度マウスに手を持ってくの手首の負担になりますし。
 椅子に寄りかかったまま、指を立てたらタブ切り替えたり・・

優雅だ・・・そのDXへ行こう!

Abstract

要約すると「影絵でオペレーション」ってなやつです。

handmouse.gif

最初にアクションさせたい画像をアノテーションします。

1.png
2.png

 次にconfigファイルに画像に紐づく、マウスの操作なり、キー入力を定義します。それからプログラムを動かして、OpenCVの画像類似度の閾値を満たせば定義にそって操作してくれるってわけ。

コード

ここにおいときますんで、詳しくはリポジトリ側を見てくださいな。

あとがき

影絵方式なんで形さえあればどんなんでも操作に置き換えられます。

pine.png

運動不足対策にヨガのポーズ、空手の型で入力するのもいいかと
作業は永遠に終わらないが!!

ん?むしろ何らかの身体ハンデある人に向いてる実装だったりするのかな??

本当はtensorflowで実装したかったんですけどSIer配給のGPUも無い、PCにはリアルタイム認識は未来過ぎた。。

キーボードから手を放さずに使いたい場合は以下のように100均の鏡を買ってきてアナログに対応してください!笑

cam2.png

FYI

Pythonで類似度検出③ 特徴点マッチング

NLPDev / HandGesture

3
3
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
3
3