はじめに
SNSなどで目にする、生成AIに任せたら失敗した系の話・・・およそ縁のない話だと思っていたが、ついにやってしまったので経緯を書き留めておく。
起きていたこと
AWSコスト(IoT)の急増。
気づきと違和感
マネジメントコンソールからIoT CoreのThingを開いたら、アクティビティのカウンタが秒あたり10件程度のスピードで伸びていく。Device Shadowを覗いてもリアルタイムにデバイス情報が更新されていくので、これは何かあるなと思ってまずは先週から稼働させていたESP32C6デバイスを停止した。
原因
宅内にHTTPのAPIサーバーが増えてきたので、各エンドポイントの死活監視を低消費電力・低コストに実現できるESP32C6+IoT Coreのスタンドアロンなヘルスチェッカーを導入したかった。コーディングはエージェントに任せていて、無事ESPが起動したのでそのままぬか喜びし、1週間放置したままだった。このデバイスが大量にIoT Core APIを叩いていた。
作りたかったもの
コストが膨らんだ要因
運用負荷を削減するため、GitHub上で対象のAPIリストを管理して、ActionsでAWS IoT CoreのDevice Shadowと同期を取るような仕掛けにしていた。MQTTは一度接続を確立すればデバイスからデータを送信するUplinkとデバイスへデータを送信するDownlinkを両方使える非常に便利なプロトコルである。毎度デバイスのフラッシュが不要になるのでこの構成を採用した。
| 種別 | 方向 | 用途 |
|---|---|---|
| Uplink | デバイス→AWS | API自体の死活状態、ESP32C6の死活状態 |
| Downlink | AWS→デバイス | 死活監視するAPIリストの配信 |
通信も安く実装できる上、MQTTできるESPデバイス自体の消費電力も安いので採用したわけだが、問題は「MQTTの再接続の無限ループ」、「接続のたびに発生する不要な送受信データ」にあった。AWSのIoT Coreでは、MQTTのセッションにおいて、同じClientIDで接続されるとそれまでのセッションは即切断される。
mqttClient_.connect(thingName_.c_str()); // ClientID = "esp32C6_{$MACアドレス}"
これが再接続の無限ループを引き起こしていた。
ESP32 → MQTT接続成功(セッションA)
↓ なんらかの理由で「切れた」と誤判定 or 一時切断
ESP32 → 再接続(セッションB、同じClientID)
AWS → セッションAをDISCONNECTで切る
↓ もしセッションAがまだ生きていてDISCONNECT通知を受けると…
ESP32 → 「切れた」と判定して即再接続(セッションC)
AWS → セッションBを切る
(以降無限ループ)
さらに、Device Shadowには不要なTopicも多く、再接続毎にメッセージ4~6件送信、Device Shadowの更新2件を実行する構成になっていた。これが1再接続当たりのコストを跳ね上げる要因となっていた。
| 発生イベント | トピック | 課金種別 | 件数 |
|---|---|---|---|
| publishShadowReported("status","online") | $aws/.../shadow/update |
Messaging(送信) + Shadow Op | 1 + 1 |
| 上記のAWSのACK応答 | $aws/.../shadow/update/accepted |
Messaging(受信) | 1 |
| publishJson(topicShadowGet_) | $aws/.../shadow/get |
Messaging(送信) + Shadow Op | 1 + 1 |
| 上記AWSのACK応答(Shadow全文) | $aws/.../shadow/get/accepted |
Messaging(受信、5KB超なら複数件) | 1〜3 |
以上2点の対策としてクライアントIDのランダムサフィックス化による意図しない再接続の抑制、不要なTopicの削除によるAPIのコール数の低減となるよう対応した。
最後に
コーディングエージェントは便利だがやはりガードレールが必要だなあと肌で感じた一件でした。開発環境においては封じ込めのためのSandboxによるガードレール、運用面においてはコスト面でのガードレールが本当に必要です、セキュリティと併せて。特にAWSにはBudgetsの機能があるので、コスト検出できるしくみでガードレールをかけましょう、が今回の学びです。ダッシュボードを見る、異常の傾向を早期につかみやすくするのも、大事なことかもしれません。そもそも運用開始後に何もテストや確認もしてないのも問題でした。オブザーバービリティ、大事ですね。業務でやらなくて趣味の世界での失敗で良かった・・・。


