Go to Qiita Advent Calendar 2024 Top
LoginSignup
25
18

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

スマートスピーカーAdvent Calendar 2018

Day 25
@miso_develop(田中 みそ)inIoTLT

スマートスピーカーでやったことまとめ

Last updated at Posted at 2018-12-24

はじめに

昨年のアドベントカレンダーで「Google Homeでやったことまとめ」という記事を投稿させて頂きました。
今回はそれから1年、Google Homeに限らずAlexaやClovaといったスマートスピーカー全般でやってきた事をまとめたいと思います。

トイドローン「Tello」を音声操作

この動画ではトイドローン「Tello」をGoogle Homeより音声操作しています。
Telloは安価かつ高性能で普通に遊ぶ分にもオススメできるドローンですが、最大のポイントとしてUDPにて操作可能なSDKを公開していることです。

仕組みはGoogle HomeからIFTTT、Firebaseを経由し、Telloと同じWi-FiにあるPCよりUDPをTelloへ飛ばして音声操作しています。
作り方については以下の記事にまとめています。

Google Homeに話しかけてドローンを音声操作してみる
image

同様にAlexaからも音声操作するスキルを作成しAlexaスキルアワードにエントリーしたところ、ファイナルステージまで進むことができAmazonさんでデモをおこなってきました。

審査員の池澤あやかさんのツイートより

さらに最近「Tello EDU」なる新型が発売されたようで、こちらなら一般公開できる音声操作スキルを作成できるかもしれません。
更にSDKのバージョンもいつの間にか1.3にアップデートしており、ビデオ系のコマンドが追加されていました。

オリジナルスマートスピーカーを作成

私のアイコン画像で履いている「バナナパンツ」にGoogle Assistant SDKを搭載し、「履く」スマートスピーカーを作りました。

デモ動画（YouTube）
ok-banana-youtube.png

入れ物にはRaspberry Pi Zero Wを使用し、スピーカー、マイク、バッテリーをつなげています。
ウェイクワードも「OK Google」ではなく「OK Banana」に変えており、これには「Snowboy」というライブラリを使用しています。
image

作り方やハマリどこを以下のスライドにまとめてありますのでご興味がある方はこちら御覧ください。

たぶん世界初…？Google Assistant搭載〇〇〇を作ってみた（Speaker Deck）

これを作ってみたことでウェアラブルな音声アシスタントに有用性を見出し、スマートウォッチ（Wear OS）を購入してみました。
が、バッテリーがあまり持たず、外にいるときは音声入力の使いみちがあまりなく、家に帰ったら即充電という状態でその真価を発揮できていません。

「Xperia Ear Duo」といった音声アシスタント搭載イヤホンも発売されていますので、こちらもすごく気になっています。

Google Assistant搭載スマートディスプレイ/スマートミラーを作成

OK Bananaに7インチモニターを繋げてスマートディスプレイ化してみました。

今はもうEcho SpotやEcho Showが発売されていますが、ディスプレイ表示はHTMLほど自由にレイアウトできるわけではなく、レイアウトできるのもあくまで自分のスキルとなります。
しかし自作のスマートディスプレイであれば基本機能のレイアウトも、自作スキルも自由自在に表示できます。
作り込めば結構な可能性があるんじゃないかと思います。

またディスプレイにハーフミラーフィルムを貼ってスマートミラーにも。

ミラー部分の作り方はこちらの記事を参考にさせて頂きました。
スマートミラーをつくった - Blog.おにぎりたまごうぃんなー

ちゃんと作って洗面所の鏡に埋め込んだりしたら結構実用的なんじゃないかと思います。
普段から洗面所にGoogle Home Miniは設置してあり、朝の忙しい時間帯に大変活躍しているので、鏡にも情報が出てくれるとより嬉しいですね。

Clovaから家電操作

夏にClovaのSDK（CEK）が公開され、しかも今年の夏はかなりの猛暑だったため、すぐさま家電操作スキルを作ってエアコンをClovaから音声操作できるようにしてみました。
※当時「Clova Friends Dock」が未発売でしたが、今はこれを使ってしまえば基本的な家電操作は楽勝です。

Firebaseから先の家電操作の仕組みは既に構築済みのものを利用しているため、Clovaからスキルを通してFirebaseへ書き込むまでを実装しています。

Clovaに話しかけて家電を操作してみる
image

また「Clova公式SDK(Node.js)の使い方まとめ」という記事も投稿しており、Node.js版のClova公式SDKの使用方法をまとめています。

obnizというマイコン対応スキルをリリース

「obniz」という国産マイコンがあります。
一般的なマイコンとは違う面白い仕組みをしており、最大の特徴はクラウドにソースを置いて動かせる点です。
image.png
言語もArduinoといったマイコンで一般的使わるCっぽい言語ではなく、JavaScriptで実装できます。
Node.jsでも動くので、LambdaやFirebase、HerokuといったFaaSでも動かすことができるので、つまりスマートスピーカースキルでも使えるのです。

マイコンというとデバイスにプログラムやファーム書き込んだり大変なんじゃ…と一見考えてしまいますが、ユーザーの操作としてもobnizにパーツを繋げてスキルへobnizのIDを伝えるだけです。
これはプログラム自体がクラウドにあるからこそ為せる業であり、obnizの革新的なところです。

心の音

LINE BOOT AWARDSのハッカソンに参加した際にチーム開発し、実際にClova、Alexaで一般リリースしたobniz対応スキルがこちらになります。
スキルの内容としてはobnizと接続した心拍センサーから心拍数を取得し、心拍数と一致するテンポの曲をSpotifyから取得したリストから返します。
※Clova版はLINE BOOT AWARDSにてobniz賞を頂きました。

心の音（Clova）
心の音（Alexa）
image

一般リリースできるか半信半疑でスキルを作っていましたが、無事Clova、Alexaにてスキルリリースできました。
スキルリリースにあたってのポイントを以下の記事に記載しています。
obniz対応スマートスピーカースキルの作り方

obnizは様々な電子パーツを制御できるので、上記のスキルのようにセンサーから値を取得するだけではなく、LEDやディスプレイ、モーター制御といったアウトプット動作もスキルからおこなえます。

今漠然と考えているネタの一つに、obnizに繋げたマイクから音を録音するスキルを考えています。
スマートスピーカー自体でも音声は拾ってくれますが、エンドポイントに届くのは音声データではなく文字列です。
しかし別途obnizに接続したマイクから音を拾えば生の音声データが扱えます。

そうしてくると音楽的な用途が広がって、例えば楽器で短いフレーズを録音して、それを共有してセッションするスキル、なんてのも作れるかもしれませんし、鼻歌を歌うと伴奏が返ってくるスキルなんてのも作れるかもしれません。
※録音はレギュレーションに引っかかる可能性が高そうですが…

Google Homeの1年間のログを分析

昨年10月にGoogle Homeを購入してから1年が経過したので、発話ログを1年分取得し内容を分析してみました。
Google Homeと暮らした1年間のログを分析してみた
image.png

内容をまとめると以下のような感じです。

  • ITリテラシーおばあちゃん級でも結構使ってくれる
  • Google Homeは3回に1回はよくわかってない
  • 一日あたり平均37.4回Google Homeに話しかけてる
    • 1/3は家電操作でこれがメイン
  • 標準機能もわりと使える
    • 天気、タイマー、アラーム
  • スマートなスピーカーなだけあって音楽用途に強い
    • 常時稼働してるスピーカーってだけで強い
    • Spotifyで新たなアーティスト発掘嬉しい

一般的なスマートスピーカーへの興味は昨年の今頃に比べかなり落ちてしまっているように感じますが、丸1年使い続けた結果には結構興味があったようです。
私はスマートスピーカー関係の投稿ばかりしていますがこの記事は久しぶりにそこそこのアクセス（Qiitaトレンド上位にあがったりと）がありました。

スマートスピーカー対話モデル変換ツールを公開

スマートスピーカースキルは、コンソール画面での対話モデル作成部（インテント/スロット等）と、エンドポイントのコード部と、実装領域が2つに分かれます。

エンドポイントはビジネスロジックを分離して、コントロール部を各プラットフォームのインターフェースに合わせればそれなりに複数プラットフォーム対応は容易ですが、対話モデルはコンソール画面からGUIをポチポチ操作しなければいけません。
また裏側で持つデータ構造も差異があり共有が難しい部分となっています。

そんな対話モデルを各プラットフォーム間でそれぞれの形式に変換するツールを公開しています。

Dialogflow2AlexaSkillJson (GitHub)
Alexa2Clova (GitHub)

またこれらのツールの使い方を紹介している記事も投稿しました。
スマートスピーカースキルの対話モデル変換ツール

自分で使う部分しか実装していないため、変換対応関係は現状以下の図のようになっています。
image.png

スマートスピーカー関連勉強会へ参加/登壇

スマートスピーカーやIoT関連の勉強会やイベントにちょくちょく参加し、今年1年で大体60イベントに参加しました。
月平均5回と、毎週のようになにかしらの勉強会に顔を出していました。
スマートスピーカー界隈の最前線を突っ走る方々との出会いは今年最大の収穫です。

また私の主催する勉強会「スマートスピーカーを遊びたおす会」や「VUILT」「IoTLT」の他、「Alexa Dev Summit Tokyo 2018」とAmazonさん公式のイベントでも登壇させて頂きました。
登壇回数は今年1月にIoTLTで人生初登壇してから合計22回でした。
多くの成長の場を与えて頂けたことにただただ感謝です。

スマートスピーカー界隈の皆様、来年も引き続きよろしくお願い致します。

おわりに

昨年の時点で音声による家電操作という、自分にとって必要な機能は実装し尽くしていました。
なので今年はスマートスピーカーの可能性を探るような取り組みを主におこなってきました。

結果的にドローン、オリジナルスマートスピーカー、obnizと、スマートスピーカーの外の世界と繋げるIoTな方向へと進んでいきました。
そもそもスマートスピーカー自体がとてもIoTなデバイスですので、必然的な結果であったと思います。

秋に行われたAmazon Hardware Eventでは電子レンジ、時計、スマートプラグ等さまざまなAlexa搭載デバイスが発表されました。
Googleの画面付きスマートスピーカー「Google Home Hub」は名前の通り家電連携の中核を狙っているという話もあります。
LINEからも「LINE Things」の発表があり、いずれClovaとの連携もあり得ると思います。
このように各プラットフォームもIoT方面へ領域を広げていっています。

この一年で私の環境をガラっと変化させたスマートスピーカーは愛すべきデバイスであり、来年もその進化を追いかけつつ、私なりのアプローチを行っていければと考えております。

25
18
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
25
18

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?