クソアプリアドベントカレンダーに空きがあったので投稿してみようと思いました
Qiita初投稿なので至らぬところなどがあるかもしれませんがよろしくお願いします

前置き（呼び飛ばしてもらって構いません）

毎年Qiitaのアドベントカレンダーを楽しませて頂いております、@takuminmin0718です
プログラミングを本格的に学習し始めてから３年間、ほとんど公の場に成果物などを晒すことがありませんでした
でもそろそろチャレンジしてもいいかな、と思って今年のクソアプリアドベントカレンダー用にこのアプリを作ってみましたが、作ったはいいものの記事を書く自信はなかったり忙しかったりして、しばらく放置してしまいました

ですが最近になって記事を書く余裕が出てきて、カレンダーにも空きがあったので、チャレンジしてみようと思います

きっかけ

みなさん、猫背にお悩みではありませんか？
自分は昔から結構猫背がひどいので、最近ちょくちょく試してた機械学習を使って解決出来たらいいなーって思ってこのアプリを作ってみました~~そもそもモニターの位置が低すぎるのが原因な気がする~~

現状

僕の場合、長時間座ってると気づいたら猫背になっちゃいます
猫背になった時に教えてほしい

→パソコン使用時に猫背を検知し、注意を促す

設計

材料

Ruby RailsやらSinatraもある程度使える
機械学習 TensorFlowを触ったことはある程度の超初心者
RaspberryPi 3B+ ちょうど役割が無くて余ってました
webカメラエレコムの猫？の顔がついてるかわいいやつ、古くて画質もよくないし画角も狭い

材料はたったこれだけ

想定する動き

webカメラ+ラズパイで物体検出して、猫背を検出何かしらのアクションを起こして使用者に注意を促す

アクションの候補

警告ランプ+アラームで警告
パソコンを使用不可にする

ただ単に電気を光らせて音を出すだけじゃ面白くないかなぁ、って思ったので今回は下のパソコンを使用不可にするを採用します

パソコンを使用不可にするために、電源をぶち切るわけにもいかないので画面上のすべてのウィンドウを隠して使用不可にします
具体的には、パソコンでサーバーを立てて、ラズパイからのリクエストがあればウィンドウを隠したり表示しなおしたりします

まとめると、

こうなります
※SinatraはRubyの手軽に使えるサーバーライブラリ、SendKeysはWindowsのキー入力をコマンドラインから簡単に行えるツール

実装

物体認識（ラズパイ）

物体認識を扱うのは初めてで右も左もわからない状態だったため、こちらの解説記事を少しいじって使用させていただきました、ありがとうございます！

この記事の通りアノテーションはIBM Cloud Annotationsで行い、モデルの学習はGoogle Colaboratoryで行いました

画像の訓練データは、机の横から撮った動画から切り出して作成しました↓

（iPhoneで撮った写真なのでwebカメラよりもだいぶきれいです）
この画角で、いろんな服を着て猫背で座ったり背筋を伸ばして座ったり、姿勢がいい人に座ってもらったりして結構な数（1138枚）のデータを得ました

アノテーションは想像以上に大変でした、、、でもこれもいい勉強になったかなモデルの学習もGPU使ったのに結構時間かかりました、ローカル環境（GPUなし、core i3 8100）だったらどうなってたことやら

サーバー（Windowsパソコン）

Sinatraを使って実装しました、非常に分かりやすいのでめちゃくちゃ単純なアプリを作るときやサーバーを初めて触ってみるときにお勧めですよ!(^^)!

require "sinatra"
require "fiddle/import" # fiddleはコマンドを実行するために必要
require "fiddle/types"


def hide_window
  system 'sendkeys/sendkeys.exe "/active" [Win]d'
end


get "/hide_window" do
  hide_window
end

※これを実行する前に、SendKeysをここからダウンロード・展開して、同じディレクトリに配置する必要があります

こんなコードになります、めっちゃシンプル
http://windowsのローカルipアドレス/hide_windowにアクセスしたときに、get "/hide_window"あとのdoとend間が実行されます
この場合は、SendKeysにwin+Dを押下するという命令をコマンドライン経由で送る、hide_windowメソッドが実行されます