空気を読むUIを作る

この記事は おうちハック Advent Calendar 2016 の15日目の記事です。

昨日は @kopanitsa さん の 妻のためにインターネットに繋がるデバイスを作ってみたお話 でした。基板発注からクラウドの利用、スマートフォンアプリの製作までと盛りだくさんの内容で何度でも読み返したくなりますね！

今日のおうちハックは

家にある家電を意識的に操作しなくてもいい感じに動いてくれるような仕組みを作っていきましょう。空気を読んで勝手に動いてくれるのはとても気持ちが良いです。

データ収集・配信の仕組みを作る

何はともあれ、まずはデータの収集・配信の仕組みを作ります。Node.js / Socket.io のチャットのサンプルコードなどを参照して、簡単なサーバを作ります。

• ソースコード

後の分析のためにチャットメッセージのログを残しておくのがポイントです。Windows の方はログファイルの拡張子を .csv .txt などの登録済み拡張子にしてしまうと、Windows indexer がひたすら動いてしまいますので、他の拡張子にするとよいでしょう。

センシングする

まず家の中で人間がどんな行動をしているのかをセンシングしていきます。

スマートメーター

スマートメーターは電力会社に依頼すると無料で取り付けてくれます。導入すると、家庭内の電気使用量がほぼリアルタイムで分かります。これにより、おおよそどのような家電が利用されているかが推定できます。

例えば、

• 照明やテレビがつけっぱなし
• 洗濯中
• 別室にある電子レンジの温めが終わった

などといったことがわかります。

@rukihena さん スマートメーターの情報を最安ハードウェアで引っこ抜く

の記事を参考に電力量を測定するコードを記述しました。測定結果は上記サーバに逐次投げていきます。

キーボード・マウスの操作ログ

パソコンを家で日常的に利用する習慣のある方は、キーボードやマウスがどの程度操作されているかを見ることで、その人の活動状態が見えてきます。例えば、

• 1時間くらいPCを操作しっぱなし
• 深夜なのにまだ寝ていない

といったことが把握できます。万一ログが流出してしまった場合に備え、文字そのものではなく１分当たり何文字入力したか、といったザックリとした情報にしています。これも逐次上記サーバに投げていきます。以下も同様に取得したデータはサーバに投げていきます。

人感センサー

人感センサーは人の動きを検出するセンサーです。人がじっとしていたり集中していたりすると反応しません。

• 秋月電子　焦電型赤外線（人感）センサーモジュール　ＳＢ４１２Ａ

いつもいる机の上に設置しておくことで

• 音ゲーなど、一定時間で完了するタスクを繰り返すようなもの検出
• 寝落ちを検出

といったことができます。

ドア開閉センサー

ドアの開閉を検知するセンサーを作成します。TWE-Liteがおすすめです。電池交換がほぼ不要になります。

• ボタン電池1個で数年持つ無線ドア開閉センサを作る

これを居室の扉だけでなく、ごみ箱のふた、冷蔵庫のドアなどにつけていくとその人の行動が見えてきます。

• トイレに行った
• ごみを捨てた
• コンビニに出かけていたかも

といったことがわかります。

• おうちセンサでキャラクターと暮らしてみた

また、TWE-Liteを利用したドア開閉センサーを利用している場合には、電池電圧が容易に取得できるので、部屋の温度の変動がわかります。これをお風呂場に設置しておけば、

• いつお風呂を沸かしたのか
• いつ入ったのか、もしくは、入らずに寝てしまった

などもわかります。

温度・湿度・気圧・照度センサー

暖冷房のON/OFF状況、照明のON/OFF状況などがわかります。赤外線リモコンのON/OFF操作が正しくできたかどうかのチェックにもなりますので、よくいる部屋に設置しておくとよいでしょう。

赤外線リモコンの操作ログ

学習型赤外線リモコンを常に学習状態にしておき、どんな赤外線操作があったかを記録しておきます。照明のON/OFFやテレビやエアコンの操作などがどういった手順で行われているかが記録できます。

• USB赤外線リモコンアドバンス

これを記録しておくと、

• 夜家に帰ってきたらいつも電気をつけてエアコンをつけているから,
  電気をつけたら先回りして操作しよう
• 朝テレビをつけたらまず録画予約を確認するから、起きたことを確認して録画画面に切り替えておこう

といったことができます。

音声認識

空気をうまく読んでくれなかったときにキーボードなどを操作するのは興ざめです。やめてー、といったら操作を止める、といったことをするために音声認識を利用します。

Windows10の場合は、Cortanaの連続音声認識を常に有効にすることができますので、とりあえず認識し続けるようにしましょう。

• ソースコード

この音声認識は比較的新しい語もそれなりにきちんと認識してくれます。

Webの利用

天気予報や交通情報、Twitterのタイムラインなどを取得することで、早起きすべきかどうかを調べたりできます。

出力

上記の結果をまとめて機械学習を行うと、空気を読んでくれる家電の出来上がりです。出力デバイスには以下のようなものがあります。

赤外線操作

既存の照明を赤外線リモコンで操作できるようなスイッチがあります。

• 天井照明器具専用 リモコンスイッチOCR-04 07-0154

その他、エアコンやテレビのリモコンなどを上述の学習型赤外線リモコンなどで学習しておくと様々な機器の遠隔操作が可能です。

表示装置・音声入出力装置

余ったスマホなどを活用すると電気代もあまり気になりません。

• 実行例

なお、音声合成には、東北きりたん を利用しています。高品質な音声合成とひきこもりな設定が、おうちハックにピッタリですね！

まとめ

家の中にセンシング機器やコントロール機器を導入し、適切な処理をすることで、

• いつまでも寝ないと勝手に電気を消す
• 二度寝していたらたたき起こす

といったことも実現できるようになりました。

やりましたね！

明日のおうちハックは

@interestor さんの おうちを拡張しようとしている話 です！