Alexa のカスタムスキルから Firebase のデータベースに書き込む

はじめに

　本記事は、前回のAmazon Echo(Alexa) + Raspberry Pi を使ってスマートホームシステムを作ろう の続きになります。

　音声で部屋と台所の電気をON、OFFできるようになりましたが、出掛ける時などは「Alexa いってきます」といった一つの命令で複数のデバイスを操作できるようにしたいです。
　現状だと「アレクサ、部屋の電気を消して」→Alexa「はい、分かりました」（部屋の電気が消える）、「アレクサ、台所の電気を消して」といったように、順番に命令をしなければなりませんが、そんなの面倒です。手でやった方が早いです。
　そこでAlexaのカスタムスキルを構築して、一つの命令でまとめてデバイスを操作することを実現したいと思います。

　そんなわけで、Alexaカスタムスキルを利用してFirebaseのRealtime Databaseに書き込むことを実現したいと思います。そこで書き込んだ命令をMasterラズパイに解釈させることで部屋ラズパイと台所ラズパイをまとめて操作するできるようになるからです。

• Amazon Echo カスタムスキルで Firebase Realtime Databaseに命令を書き込み → MasterラズパイがFirebase Realtime Databaseを受諾 → 前回のように Firebase Realtime Databaseに命令を書き込み
• 部屋用と台所用ラズパイはFirebase Realtime Databaseに命令が書き込まれたら実行

前回から引き続き使用するもの

• Realtime Databaseに読み書きした Pythonコード
• firebase-adminsdk.json：firebaseの認証情報
• Realtime DatabaseのURL
  

Alexaカスタムスキルについて

　公式サイトのドキュメントはこちら。
https://developer.amazon.com/ja-JP/docs/alexa/custom-skills/understanding-custom-skills.html
　クラウドサービスは進化が早いので、本記事公開半年以上経過していたら一度は見ておいた方がいいと思います。

　音声インターフェースをどうデザインするかといったドキュメントもあってとっても面白かったです。
https://developer.amazon.com/ja/designing-for-voice/

　とはいえ、今回は単純に命令するだけで、対話するレベルまでは作らないので参考程度です。

仕様について

　やりたいことはとりあえずこんなところでしょうか。
-　「アレクサ、おやすみなさい」で3分後に部屋と台所のライトをオフにする
-　「アレクサ、おはよう」で即時に部屋と台所のライトをオンにする

　カスタムスキルが行なうことはあくまでFirebaseのRealtime Databaseに書き込むだけです。あとの実際の命令実行はMasterラズパイが行なうようにします。

2023年7月追記：
仕様が変更されたようで、「おやすみなさい」や「おはよう」といった既存のAlexa機能が起動してしまう可能性のある呼び出し名では全く起動しなくなりました。
呼び出し名を例えば「おやすみなさいモード」として、実際に呼び出す際は「おやすみなさいモードをスタートして」というようにする必要があります。

カスタムスキルの呼び出し名を決定する

カスタムスキルの構築手順

1. 開発コンソールにアクセスします。ログインはAlexaが登録されているAmazonアカウントで行ないます
   https://developer.amazon.com/alexa/console/ask

2. ログインしたら「スキルの作成」をクリックします。
   

3. スキルに名前を付けて、日本語を選択して、「次へ」ボタンをクリックします。
   スキルの名前は「睡眠モード」にして、次に行きます。
   

4. エクスペリエンスのタイプは「その他」でモデルは「カスタム」を選択。ホスティングサービスは今回はPythonでプログラムを作っていて、それを流用したいのでPythonを選択します。ホスト地域は近いところを選択しますが、どこも日本から遠いのでデフォルトの米国東部で良いでしょう。次に行きます。
   
   
   
   

5. テンプレートは「スクラッチ」を選択して、次に行きます。
   

6. 構成確認画面になるので、問題ないことを確認して「Create Skill」ボタンで作成します。
   

7. 作成完了するまでしばらく待ちます。
   

8. 作成が完了するとこのような画面になるので、作ったスキル「睡眠モード」であることを確認して、「1．呼び出し名」をクリックします。
   

9. 「おやすみなさい」「おやすみなさいモード」を呼び出し名にして、モデルを保存します。2023年7月変更
   
   2023年7月追記：
   

10. 正常に保存されたことを確認して「モデルをビルド」をクリックして、ビルドが終わるまで待機します。
    
    ビルドが終わったらBuild Completedといったメッセージが出ます。ビルドが終わらないうちにテストをしても当然ながら音声を認識してくれないので重要です。（筆者はここで一日くらい躓きました……）
    

11. FirebaseのRealtime Databaseに書き込めるようにコードエディタで色々と書き換えていきます。
    

　書き換えポイントは以下の3つです。

• requirements.txt に firebase_adminを追加
• firebase-adminsdk.json ファイルの追加
• lambda_function.py の変更

11.1. AlexaでもFirebaseが使えるように requirements.txt に firebase_admin を追加して保存します。

11.2. firebase-adminsdk.jsonのファイルの追加
　New Fileを選択して、firebase-adminsdk.jsonの作成し、認証情報ファイルの中身をコピーして保存します。



11.3. lambda_function.py を変更します。ここは基本的に前回ラズパイで構築したコードを追加する形になります。
　Firebase Realtime Databaseの認証コードを追加します。今回は時間も扱うので from datetime import datetimeも追加します。

lambda_function.pyに追加するコード

from datetime import datetime
import firebase_admin
from firebase_admin import credentials, db

cred_filepath = "firebase-adminsdk.json"
cred = credentials.Certificate(cred_filepath)

database_url = "https://smarthomesystem-2c112-default-rtdb.firebaseio.com"
default_app = firebase_admin.initialize_app(cred, {"databaseURL": database_url})

　class LaunchRequestHandler(AbstractRequestHandler) の def handle(self, handler_input)を下記のように変更します。Alexaからどんな命令(value)が、いつされたのか(time)、そして命令の処理状況(status)を保存したいので、このようになっています。またAlexaが命令を受け取ったことを表すために「おやみなさい。睡眠モードになります」と返事をしてくれるよう設定します。

lambda_function.py

    def handle(self, handler_input):
        # type: (HandlerInput) -> Response
        orders_ref = db.reference("/orders")
        alexa_ref = orders_ref.child("Alexa")
        value_ref = alexa_ref.child("value")
        time_ref = alexa_ref.child("time")
        status_ref = alexa_ref.child("status")
        
        value_ref.set("sleep")
        time_ref.set(datetime.now().isoformat())
        status_ref.set("running")
        
        speak_output = "おやすみなさい。睡眠モードになります。"

        return (
            handler_input.response_builder
                .speak(speak_output)
                .response
        )

12. 全ての書き換えが完了したらデプロイを行ないます。デプロイが終了したらテストに移ります。

カスタムスキルのテスト

1. ここを開発中に変更します。
   

2. 「おやすみなさい」「おやすみなさいモードをスタートして」と入力してエンターを押したら、設定したように「おやすみなさい。睡眠モードになります。」と返事が返ってくれば想定通りです。2023年7月変更
   

2023年7月追記：

1. Realtime Databaseの方を確認して、無事に書き込まれていたら成功です。
   

ラズパイ側のコードを追加する

　Realtime Databaseを常時監視し、変更があれば命令に合わせて実行するPythonコードを作成します。
　今回は「おやすみ」というAlexaからの命令があった3分後に部屋と台所のライトがOFFが実行されるようにします。また実行した後のStatusを finished にして再実行されないようにします。
　※ ここでは分かりやすく statusを finishedするようにしていますが、これだと命令データをループの度にダウンロードすることになってデータ量を無駄に使うので全消しした方がいいかもしれません。

alexa2order.py

import logging
import os
import subprocess
from datetime import datetime, timedelta

import firebase_admin
from firebase_admin import credentials, db

main_folder = "/home/user/vscode"
log_Level = logging.INFO

current_path = os.path.dirname(os.path.abspath(__file__))

# ログの設定
sth = logging.StreamHandler()
flh = logging.FileHandler(f"{main_folder}/alexa2order.log")
logging.basicConfig(
    format="%(asctime)s - %(name)s - %(levelname)s - %(message)s",
    level=log_Level,
    handlers=[sth, flh],
)
logger = logging.getLogger(__name__)

cred_filepath = f"{current_path}/firebase-adminsdk.json"
cred = credentials.Certificate(cred_filepath)

database_url = "https://smarthomesystem-2c112-default-rtdb.firebaseio.com"
default_app = firebase_admin.initialize_app(cred, {"databaseURL": database_url})

orders_ref = db.reference("/orders")
alexa_ref = orders_ref.child("Alexa")
value_ref = alexa_ref.child("value")
time_ref = alexa_ref.child("time")
status_ref = alexa_ref.child("status")

pre_order_time = datetime.now().isoformat()
DIFF_JST_FROM_UTC = 9 # Alexaカスタムスキルでの時間はUTCで記録されるためコードでJSTに変換する用
try:
    while True:
        alex_order: str = value_ref.get()
        order_time = datetime.fromisoformat(time_ref.get()) + timedelta(
            hours=DIFF_JST_FROM_UTC
        )

        if alex_order == "sleep":
            if status_ref.get() == "running":
                if order_time + timedelta(minutes=3) < datetime.now(): # 3分以上経過したら命令実行
                    logger.info("お休みモードになりました。")
                    subprocess.Popen(
                        [f"{main_folder}/order.sh Room LED OFF"], shell=True
                    )
                    subprocess.Popen(
                        [f"{main_folder}/order.sh Kitchen LED OFF"], shell=True
                    )
                    status_ref.set("finished")
except KeyboardInterrupt:  # CTRL+C
    logger.debug("stop")

order.sh

#!/bin/sh
cd `dirname $0`
python3 set2firebase.py $1 $2 $3

前回のset2firebase.py はLED固定でしたが、拡張性を考慮して変数化してみました。

set2firebase.py

import os
import sys
import firebase_admin
from firebase_admin import credentials, db

current_path = os.path.dirname(os.path.abspath(__file__))
place = str(sys.argv[1])
item = str(sys.argv[2])  # 修正ポイント
value = str(sys.argv[3]) # 修正ポイント

cred = credentials.Certificate(f"{current_path}/firebase-adminsdk-key.json")
default_app = firebase_admin.initialize_app(
    cred, {"databaseURL": "https://smarthomesystem-2c112-default-rtdb.firebaseio.com"}
)
orders_ref = db.reference("/orders")
item_ref = orders_ref.child(place).child(item) # 修正ポイント
item_ref.set(value) # 修正ポイント

　ここでは省略しますが、alexa2order.pyもラズパイを再起動しても自動起動するようにサービス化しておくのが良いでしょう。やり方は前回の「Pythonコードの自動起動」を参考にしてください。

おはようのAlexaカスタムスキルを作る

　前項のと同様にAlexaかステムスキルを作成し、呼び出し名を 「おはよう」「おはようモード」にします。2023年7月変更

2023年7月追記：

　起動は即時反映したいので、Masterラズパイを経由せず、部屋ラズパイと台所のラズパイに直接命令を送るようにFirebaseのRealtime Databaseの値を書き換えます。

　テストで無事に認識して、データベースが書き換わったら成功です。

2023年7月追記：

まとめ

　「おやすみなさい」や「おはよう」といった一言で 特定の呼び出し名で、FirebaseのRealtime Databaseに任意の値を書き込むことができる Alexaのカスタムスキルを構築することができました。2023年7月変更
　今回は単に命令するのみでしたが、対話的なAlexaのカスタムスキルが作れると面白いですね。

やり方が分からないし、そもそも出来るかどうか分からないこと

　「おやすみなさい」や「おはよう」といった挨拶は、デフォルトでもAlexaは反応してくれます。
　今回それをカスタムスキルで上書きした形になっていますので、そこからデフォルト機能に繋げれば自然な挨拶をAlexaが返してくれるようになるといいなぁと思いましたが、ささっと検索したぐらいでは分かりませんでした。まだAlexaカスタムスキルのドキュメントをしっかり読めていないので、そこから仕様を見ていきたいですね。