shadowとwillとretainを活用してAWS IoT CoreとPubSubする①（全体説明） #RaspberryPi

この記事について

AWS IoTとLinuxベースのIoT gatewayで通信する為の環境構築手順をまとめます。
説明はAWS IoTとのpub/subのみでRule actionや他のサービスとの連携を具体的に構築する話はしません。

使用するライブラリー
　- paho.mqtt
　- AWS IoT Device SDK v2 for Python
　- mosquitto
プロトコル
　- MQTT
AWSで使用する機能
　- AWS IoT Coreのbroker　⇒　デバイス等のデータ転送
　- Device shadow　⇒　デバイスやプロセスの監視/操作
　- willとretain　⇒　AWS IoTと接続しているホスト機というか回線の監視等(retainはそれに限らず)

これらについて各ライブラリーごとにAWS機能の構築方法をまとめます。
伝承用資料もかねたいので長くなりますが細かく区切って説明します。

参考文献については不足分は後日追加とさせていただきます御了承ください。

本稿では各項目の概要説明をします。

用語

MQTT

ja.wikipedia.org/wiki/MQTT
Message Queuing Telemetry Transportの略でPub/Sub型のデータ配信をする軽量TCP/IPプロトコル。patloadはjson形式。jobをつなぐメッセージキューの機能は無い。

pub/sub

publish(発行)/subscribe(購読)の略、HTTPのPOST/GETに類似するメソッド。

broker

MQTTで通信する際に１対多、多対多でメッセージをpub/subするサーバー。

topic

MQTT接続されたネットワーク内のアドレスに相当する識別子で階層構造を作れる。データストレージのプレフィックス構造と同様に、ネットワーク/データ構造に合わせて階層を設計する。

使用するライブラリー

AWS IoT Coreと通信するためのエッジ側brokerとして３つのライブラリーの使い方を解説します。

paho-mqtt

Eclipse paho-mqtt Navigation
特徴： (Pythonのライブラリーで)AWS以外やlocalでmqttが可能なOSSのbroker

aws-iot-device-sdk-python-v2

AWS IoT Device SDKs
AWS IoT Device SDK v2 for Python
特徴： AWS IoTの各サービスとの連携が手厚いAWS IoT専用(？)broker
C++/Python/JavaScript/Javaで用意されている

mosquitto

Eclipse Mosquitto™ An open source MQTT broker
特徴： 主要なLinuxディストリビューションとWindowsで動作するOSSのbroker

プロトコル

デバイス通信プロトコル

MQTTを使用します。
AWS IoTではMQTT以外にMQTT over WebSocket Secure (WSS)とHTTPSをサポートしますが本稿では扱いません。

AWSリソース

Thing、topic、証明書、IoT policyを作成します。

Thing

AWS IoTに登録するエッジ側でインターネット接続するデバイス名です。
AWS上の仮想空間にエッジデバイスのtwinを置くようなイメージです。

topic

message
will
shadow

で別々にtopicを設定する。
messagesとwillは任意に設計するがshadowは$awsで始まる予約リソースになる。

証明書

AWS IoT Coreのbroker endpointとエッジデバイスを接続する際の認証に３種類の証明書を使います。

X.509クライアント証明書(クライアント認証)
公開鍵秘密鍵ペア(クライアント認証)
ルートCA証明書(サーバー認証)

IoT policy

接続するエッジデバイスの識別子としてclient idを設定し、client idに対して

connect
recieve
publish
subscribe

等のMQTTプロトコルによる操作権限を与えます。

AWSで使用する機能

IoT Coreのbroker(pub/sub)

用途：　接続したセンサー/カメラ等の測定値をサーバーに転送(pub)、クラウドからのリモート操作(sub)等

Device shadow

用途：　接続したセンサー/カメラ等の状態監視、リモート操作等
shadow用のtopicでラズパイからAWS IoTにデバイス状態を送信し、AWS上で保存する仕組みです。

desired
reported
delta

の3項目で構成され、desiredとreportedの値に差分がある時にdeltaが発生します。

shadowユースケース①デバイス自動復旧

一例としてshadowを使ったエッジデバイスの自動復旧のフローを紹介します。

ラズパイIoT GW経由でAWS IoTにshadowを設定しているdevice_0を想定します。
ラズパイではdevice_0の稼働状態を常に監視するルーチンが回っているとします。

正常稼働時にtopic shadowでAWS IoTに送信される状態には差分が無くdeltaが発生していません。

device_0が停止すると監視ルーチンが検知して、topic shadowでAWS IoTに送信されるreported stateに異常フラグを書き込んでpubします。

AWS IoT側ではdevice_0のshadowにdeltaが発生します。

delta発生をトリガーにLambda関数を発火させて、device_0を再起動(または制御ルーチンを再起動等)させる直接/間接的なmessageをAWS側からエッジデバイスにpubします。

エッジデバイス側ではmessageをsubして命令に従ってプロセスを実行します。

自律的に自動復旧が完了してupdateされたshadowによりdeltaが解消されます。

shadowユースケース②管理consoleからのリモート操作

もう一例、管理userがconsoleからdeltaを発生させてdevice_0をリモート停止するフローを考えてみます。

管理userがconsoleからdevice_0のdesiredを"停止状態"に変更したメッセージをAWS IoTにpubしてdeltaを発生させます。

delta発生をトリガーにLambda関数を発火させて、device_0を停止(または制御ルーチンを停止等)させる直接/間接的なmessageをAWS側からエッジデバイスにpubします。

エッジデバイス側ではmessageをsubして命令に従ってプロセスを実行します。

device_0が停止してupdateされたshadowによりdeltaが解消されます。

retain

保持された MQTT メッセージ
用途：　回線異常による切断前の最後のメッセージ取得、直前のメッセージの取得等

messageをpubする際にretain flagをTrueにすることで、最後に発行したメッセージがAWS IoT上に保存されます。mqttv3の場合、既存期限の上限はありません。will messageでも利用できます。

will

MQTT の Last Will and Testament (LWT) メッセージ
用途：　回線異常による切断前のリアルタイム通知等

clientとの接続がtimeoutすると格納されているwill messageはwill topicに自動的にpubされます。will messageをトリガーにLambda関数を発火させる、MQTTを永続接続している管理PCでwillのsubscriberを動かしておいてsubする等の方法でリアルタイムに回線の切断を把握することができます。

全投稿リスト

以下の「shadowとwillとretainを活用してAWS IoT CoreとPubSubする」シリーズ投稿で環境構築備忘録を残します。