動作環境
GeForce GTX 1070 (8GB)
ASRock Z170M Pro4S [Intel Z170chipset]
Ubuntu 16.04 LTS desktop amd64
TensorFlow v1.2.1
cuDNN v5.1 for Linux
CUDA v8.0
Python 3.5.2
IPython 6.0.0 -- An enhanced Interactive Python.
gcc (Ubuntu 5.4.0-6ubuntu1~16.04.4) 5.4.0 20160609
GNU bash, version 4.3.48(1)-release (x86_64-pc-linux-gnu)
scipy v0.19.1
geopandas v0.3.0
MATLAB R2017b (Home Edition)
ADDA v.1.3b6
Jaybird RUN (ワイヤレスイヤホン)
プロジェクト開始: https://qiita.com/7of9/items/4077c92b9a773e054193
音声によるコマンドの確認
MemoryEnhancer > MEGLV > udpGraph_180218.ipynb > v0.1, v0.2 > ESP8266+MPU-9250測定データの確認用リアルタイムグラフ出力
によるUIを検討中。
グローブ型のESP8266 + MPU-9250の動きにより、いくつかのコマンドを実装する。
- Home position
- コマンド受付状態
- 手のひらは下
-
right rotation (仮)- 腕を右回転
- 回転の定義が色々あり、分かりにくい
- vertical upward (仮)
- 腕を天頂角0度にした状態
- palm upward (仮)
- 手のひらを上にする
- etc
コマンドの識別として音声で応答があれば画面の前にいなくてもよくなる (JaybirdのRUNの音声ステータス表現のように「Fully charged」「80%」「connected」「power off」...) 。
setup
$ sudo apt-get install gnustep-gui-runtime
...
$ say "hello"
$ say "home position"
$ say "right rotation"
$ say "vertical upward"
何種類のコマンドが識別できるかは実際にデータをとってから検討することになる。
TensorFlowが必要か、シンプルな処理で識別できるか。
思いつき
リスニング > ラスボス > Part 1の動画の中で女の子が父親のPCにハッキングしてsayコマンドを使っていたのを思い出した。
(父親：「なんで俺のPCはしゃべっているんだ?」)