はじめに
オンプレミスの Windows PC を,ハイブリッドアクティベーションで SSM のマネージドノードにして使っています。構成はこんな感じです:
- PC からはサイト間 VPN 越しに,2つの AZ のインターフェース VPC エンドポイント(ssm,ssmmessages,s3)につなぐ
- インターネットへの経路はなし
- 名前解決は hosts ファイル。1つの名前に両方の AZ の IP を書く
172.20.4.11 ssmmessages.ap-northeast-1.amazonaws.com
172.20.5.11 ssmmessages.ap-northeast-1.amazonaws.com
AZ1 が落ちたら AZ2 に切り替わるだろう,と思っていました。ところが試してみると,AZ1 を落とした時点で SSM Agent が復帰しなくなります。AZ2 は生きているのに...
環境は SSM Agent 3.3.5700.0,Windows 11 Pro(26200)です。
何が起きるか
AZ1 のエンドポイントのサブネットを,ネットワーク ACL で両方向とも拒否します。RST も返らず,パケットが黙って捨てられる状態ですね。
この状態で10分待ちました:
- Run Command は一度も届かない(Pending のまま)
- Agent は6回つなぎ直そうとして,6回とも同じ形で失敗する
- 試行の間隔が 34 → 41 → 59 → 88 → 170秒と延びていく
ログにはこれが出続けます。
Failed to get controlchannel token after dial ... Client.Timeout exceeded while awaiting headers
パケットを見る
pktmon で TCP 443 を採って,SYN を並べてみました。1回のつなぎ直しで,Agent は2回接続しています。WebSocket(制御チャネルの本体)と,CreateControlChannel の POST(チャネル用のトークンを取る要求)です。
WebSocket
02:41:25.938 SYN -> AZ1 (再送 +1s, +3s, +7s)
02:41:35.926 SYN -> AZ2 9.99秒で AZ2 へ。成功
CreateControlChannel の POST
02:41:36.055 SYN -> AZ1 (再送 +1s, +3s, +7s)
02:41:51.046 Client.Timeout exceeded
02:41:51.050 SYN -> AZ2 15.0秒たってから AZ2 へ
TLS は完了するが,HTTP の要求は送られない
WebSocket は10秒で AZ2 に移れています。POST のほうは AZ1 に15秒を使い切って,AZ2 に移った瞬間に期限切れです。サービスは一度も呼ばれていません。
hosts の順を AZ2,AZ1 に入れ替えて同じことをすると,遮断から36.6秒で復帰しました。POST の応答は 76ms ほどです。サービスが遅いわけではなく,要求が生きているアドレスに届いていないだけ,ということになります。
原因
POST を送っているのは agent/session/service/service.go の makeRestcall です。使っているクライアントはこうなっています:
- http.Client の Timeout が15秒
- Transport は http.DefaultTransport の複製
DefaultTransport の Dialer は Timeout が30秒です。Go の Dialer は,名前が複数のアドレスに解決されると,持ち時間をアドレスの数で等分します。2つなら先頭に15秒。これが Client.Timeout の15秒とぴったり重なります。
0s 15s 30s
|----- AZ1 への dial ------|----- AZ2 への dial ------| Dialer(30秒を等分)
|===== Client.Timeout =====| 要求全体の期限
Go 1.23 から,net/http は dial を要求の期限から切り離して動かすようになったので,Client.Timeout の15秒では dial は止まりません。15秒で要求は失敗しますが,dial のほうは止まらずに続いて AZ2 につながります。キャプチャに出ていた「TLS は完了するのに何も送られない接続」はこれですね。
WebSocket が無事なのは,専用の Dialer(ControlChannelDialTimeoutMillis,既定20秒)を使っているからです。2アドレスなら10秒ずつ。3.3.5390.0 で入った対策のようですが,POST のほうは既定のままでした。
回避策
hosts の順を入れ替えれば復帰するのですが,手で入れ替えるわけにもいきません。そこで,PC 自身にエンドポイントを見張らせて,生きている AZ の IP だけを hosts に書くことにしました。先頭が必ず生きているアドレスになるので,あとは Agent が自力で切り替わります。
見張りは1分ごとのタスクで動かしているので,切り替えまで最大2分ほどかかります。PC ごとにタスクを配る手間もあるので,Agent が直ったら外したいところです。
SSM Agent 側の直し方
原因が分かったので,上流に Issue として報告しました:aws/amazon-ssm-agent#685
Issue では直し方の案を3つ書いています:
- POST に専用の Dialer を持たせて,アドレスごとの dial を短くする
- WebSocket がつながったアドレスに POST も送る
- 最後に成功したアドレスを覚えておいて,次はそこから試す
このうち 1. をパッチにして,PR を出しました:aws/amazon-ssm-agent#686
Amazon の方が取り込んでくれますように...
おわりに
15秒と15秒がぴったり重なっているだけ,という原因にたどり着くまで,結構かかりました。パケットを採らなかったら分からなかったと思います。
Go で HTTP クライアントを書くときは,Client.Timeout だけに頼らず,dial と応答待ちに別々の期限を付けておくのがよさそうです。宛先が複数のアドレスに解決されるなら特に。
DNS で引いている構成だと,返ってくる順番が変わるので毎回は起きない気がしますが,そちらは試していません。同じ現象に当たった方がいれば,Issue にコメントをいただけると嬉しいです。