GoogleのAIY Voice kitを日本語化したりボタンを使えるようにしたり

だいぶ前にGoogleのAIY Voice kitを購入したのですが、最近ちまちまと遊んでみたのでその内容を記載してみようかなと思います。
2017年12月にGoogle Assistant SDKがバージョンアップされて日本語でやりとりできるようになったとの事なのでその対応を中心に、デバイスアクションを使ったLED制御までやってみようと思います。

備忘録的なところが大きいので読みづらい点はご了承ください。

準備

動作確認

初期セットアップはGoogleのAIYプロジェクトページにある手順で済んでいるものとします。
ということで、まずは"Start Dev Terminal"からKit自体が動作することを確認しておきます。

(env) pi@raspberrypi:~/AIY-voice-kit-python $ cd src
(env) pi@raspberrypi:~/AIY-voice-kit-python/src $ ./assistant_library_demo.py
[2018-02-21 00:03:43,380] INFO:root:OAuth credentials initialized: /home/pi/.cache/voice-recognizer/assistant_credentials.json
Say "OK, Google" then speak, or press Ctrl+C to quit...

Google Assistant SDK 関連の整備

Google Assistant SDK のインストール・アップデート

ここから、Google Assistant SDK関連のアップデートを行っていきます。
以下の通りpythonのパッケージをアップデートしていきます。

(env) pi@raspberrypi:~/AIY-voice-kit-python $ pip list
...
google-assistant-grpc (0.0.2)
google-assistant-library (0.0.3)
google-auth (1.0.1)
google-auth-oauthlib (0.1.0)
googleapis-common-protos (1.5.2)
...
(env) pi@raspberrypi:~/AIY-voice-kit-python $ pip install --upgrade google-assistant-library
Collecting google-assistant-library
...
(env) pi@raspberrypi:~/AIY-voice-kit-python $ pip install --upgrade google-assistant-sdk
...
(env) pi@raspberrypi:~/AIY-voice-kit-python $ pip install --upgrade google-assistant-grpc
...
(env) pi@raspberrypi:~/AIY-voice-kit-python $ pip list
...
google-assistant-grpc (0.1.0)
google-assistant-library (0.1.0)
google-assistant-sdk (0.4.2)
google-auth (1.4.1)
google-auth-oauthlib (0.2.0)
googleapis-common-protos (1.5.3)
...

これでGoogle Assistant SDKがインストール・アップデートされました。

OAuth2.0クレデンシャルの初期化

続いてOAuthクレデンシャルの初期化を行います。
ここで指定しているassistant.jsonはAIY Projectのページの手順でダウンロードしたjsonファイルです。

(env) pi@raspberrypi:~/AIY-voice-kit-python $ google-oauthlib-tool --scope https://www.googleapis.com/auth/assistant-sdk-prototype --save --headless --client-secrets /home/pi/assistant.json

URLが表示されますので、そこにアクセスします。指示通り進めるとauthorization codeが表示されますので、Terminalの方へコピーします。

認証用ファイルの配置

さて、続いての作業に入る前に、先ほども出てきた認証用のjsonファイルを再度ダウンロードします。AIY Projectの手順ではリネームすることになっていますが、ここではリネームせずに~/AIY-voice-kit-python配下に配置しておきます。
これにより、続くコマンド類が動くようになります。

デバイスの登録

このあたりから、Google Assistant SDKのGUIDESを参考にしながら進めます。
まずデバイスの登録を行います。以下のコマンドの<model-name>には適当な文字列を入れますが、サンプルに則ってProjectID-DeviceID等にしておくのが良いかと思います。

(env) pi@raspberrypi:~/AIY-voice-kit-python $ googlesamples-assistant-devicetool register-model --manufacturer "Assistant SDK developer" --product-name "Assistant SDK light" --type LIGHT --model <model-name>
Creating new device model
Model <model-name> successfully registered

確認には以下のコマンドを使用します。

(env) pi@raspberrypi:~/AIY-voice-kit-python $ googlesamples-assistant-devicetool list --model
(env) pi@raspberrypi:~/AIY-voice-kit-python $ googlesamples-assistant-devicetool list --device

Google Assistant の実行

サンプルの実行

ここまで完了すれば、新しいGoogle Assistant SDKでサンプルが動くようになります。

まずはhotwordのサンプルを確認します。

(env) pi@raspberrypi:~/AIY-voice-kit-python $ googlesamples-assistant-hotword --project_id <Project ID> --device_model_id <model-name>

うまく動いたでしょうか。

続いてpushtotalkのサンプルを実行するために、pipでいくつかモジュールをインストールします。

(env) pi@raspberrypi:~/AIY-voice-kit-python $ pip install tenacity
(env) pi@raspberrypi:~/AIY-voice-kit-python $ pip install sounddevice

その後、以下のコマンドでpushtotalkが起動できます。

(env) pi@raspberrypi:~/AIY-voice-kit-python $ googlesamples-assistant-pushtotalk --project-id <Project ID> --device-model-id <model-name>

hotwordとpushtotalkでオプションが微妙に違う("-"と"_")ので注意が必要です。

ここで気になるのが、まだこの時点では英語バージョンだという事と、pushtotalkのトリガーがキーボードなので、せっかくだからVoice kitの上についているボタンで反応させたくなります。

日本語対応の有効化

pushtotalkの日本語化

まずpushtotalkの日本語対応は簡単でした。オプション--lang ja_JPを付けるだけです。

(env) pi@raspberrypi:~/AIY-voice-kit-python $ googlesamples-assistant-pushtotalk --project-id <Project ID> --device-model-id <model-name> --lang ja_JP

音声入力と同時に日本語で認識された文字列が画面に表示されると思います。

hotwordの日本語化

hotwordの方が難題でした。
結論から言うと、Androidの"アシスタント"アプリ(Googleアシスタントのアプリ)を使います。開発に使用しているGoogleアカウントでログインしているAndroid端末上にて、アシスタントアプリを起動します。アシスタントアプリの[設定]の中に、[デバイス]という項目があり、そこにデバイス登録したものがリストアップされます。
googlesamples-assistant-devicetoolで設定した名前でデバイスがみえているはずですので、そこをタップし、[アシスタントの言語]を[日本語]にします。
これで再度googlesamples-assistant-hotwordを起動すると日本語で対応してくれると思います。
問題は、Androidの6.0以降はアシスタント機能がOSに組み込まれているためアシスタントアプリ自体がインストールできないようなのです。つまり、Androidで設定する場合は5.0以前のものを持ってくる必要がありそうです。
また、iOSにもアシスタントアプリがあるようですのでiOSの端末がある場合はそちらを使用することになりそうです。

Voice kitのボタンを有効にする

Voice kitにはLED内蔵のプッシュボタンがついているわけですが、現時点までのサンプルでは使用することができません。そこで、サンプルを改造してボタンを有効にしてみます。

pushtotalkの改造

/home/pi/AIY-voice-kit-python/env/lib/python3.4/site-packages/googlesamples/assistant/grpcにサンプルがありますのでこれを使用することにします。
コピー先は以下の例と同じにしてください。srcディレクトリ配下にあるaiyパッケージを使用するためです。

(env) pi@raspberrypi:~/AIY-voice-kit-python $ cd src
(env) pi@raspberrypi:~/AIY-voice-kit-python/src $ cp ../env/lib/python3.4/site-packages/googlesamples/assistant/grpc/*.py .

コピーされたファイルの中にpushtotalk.pyというファイルがあるので、以下のように編集します。

--- ../env/lib/python3.4/site-packages/googlesamples/assistant/grpc/pushtotalk.py       2018-02-21 00:15:06.996475934 +0900
+++ pushtotalk.py       2018-02-21 02:16:48.748299709 +0900
@@ -28,6 +28,8 @@ import google.auth.transport.grpc
 import google.auth.transport.requests
 import google.oauth2.credentials

+import aiy.voicehat
+
 from google.assistant.embedded.v1alpha2 import (
     embedded_assistant_pb2,
     embedded_assistant_pb2_grpc
@@ -418,9 +420,14 @@ def main(api_endpoint, credentials, proj
         # and playing back assistant response using the speaker.
         # When the once flag is set, don't wait for a trigger. Otherwise, wait.
         wait_for_user_trigger = not once
+        status_ui = aiy.voicehat.get_status_ui()
+        button = aiy.voicehat.get_button()
         while True:
             if wait_for_user_trigger:
-                click.pause(info='Press Enter to send a new request...')
+                #click.pause(info='Press Enter to send a new request...')
+                status_ui.status('ready')
+                button.wait_for_press()
+            status_ui.status('listening')
             continue_conversation = assistant.assist()
             # wait for user trigger if there is no follow-up turn in
             # the conversation.

編集が終わったらそのままカレントディレクトリで実行します。

(env) pi@raspberrypi:~/AIY-voice-kit-python/src $ python pushtotalk.py --project-id <Project ID> --device-model-id <model-name> --lang ja_JP

これでボタンのLEDが反応し、ボタンも使えるようになると思います。

hotwordの改造

hotwordはボタンは使用しませんが、ステータスをLEDで表せるようにしておきたいです。

pushtotalkと同様、サンプルをコピーしてきます。コピー元の場所が若干異なるので注意してください。

(env) pi@raspberrypi:~/AIY-voice-kit-python/src $ cp ../env/lib/python3.4/site-packages/googlesamples/assistant/library/hotword.py .

コピーしたhotword.pyを以下の通り編集します。

--- ../env/lib/python3.4/site-packages/googlesamples/assistant/library/hotword.py       2018-02-21 00:15:07.006470918 +0900
+++ hotword.py  2018-02-21 02:35:29.113723823 +0900
@@ -24,6 +24,9 @@ import json
 import google.auth.transport.requests
 import google.oauth2.credentials

+import aiy.assistant.auth_helpers
+import aiy.voicehat
+
 from google.assistant.library import Assistant
 from google.assistant.library.event import EventType
 from google.assistant.library.file_helpers import existing_file
@@ -56,14 +59,26 @@ def process_event(event, device_id):
     Args:
         event(event.Event): The current event to process.
     """
+    status_ui = aiy.voicehat.get_status_ui()
     if event.type == EventType.ON_CONVERSATION_TURN_STARTED:
         print()

     print(event)

+    if event.type == EventType.ON_START_FINISHED:
+        status_ui.status('ready')
+
+    if event.type == EventType.ON_CONVERSATION_TURN_STARTED:
+        status_ui.status('listening')
+
+    if event.type == EventType.ON_END_OF_UTTERANCE:
+        status_ui.status('thinking')
+
     if (event.type == EventType.ON_CONVERSATION_TURN_FINISHED and
             event.args and not event.args['with_follow_on_turn']):
         print()
+        status_ui.status('ready')
+
     if event.type == EventType.ON_DEVICE_ACTION:
         for command, params in process_device_actions(event, device_id):
             print('Do command', command, 'with params', str(params))

編集が終わったらそのままカレントディレクトリで実行します。

(env) pi@raspberrypi:~/AIY-voice-kit-python/src $ python hotword.py --project_id <Project ID> --device_model_id <model-name>

これでボタンのLEDが反応するようになるため、見た目がわかりやすくなります。

---

次の記事はデバイスアクションを使用して外部につないだLEDを制御してみます。