1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

SSM Agent が復帰しない...

1
Posted at

はじめに

オンプレミスの Windows PC を,ハイブリッドアクティベーションで SSM のマネージドノードにして使っています。構成はこんな感じです:

  • PC からはサイト間 VPN 越しに,2つの AZ のインターフェース VPC エンドポイント(ssm,ssmmessages,s3)につなぐ
  • インターネットへの経路はなし
  • 名前解決は hosts ファイル。1つの名前に両方の AZ の IP を書く
172.20.4.11 ssmmessages.ap-northeast-1.amazonaws.com
172.20.5.11 ssmmessages.ap-northeast-1.amazonaws.com

AZ1 が落ちたら AZ2 に切り替わるだろう,と思っていました。ところが試してみると,AZ1 を落とした時点で SSM Agent が復帰しなくなります。AZ2 は生きているのに...

環境は SSM Agent 3.3.5700.0,Windows 11 Pro(26200)です。

何が起きるか

AZ1 のエンドポイントのサブネットを,ネットワーク ACL で両方向とも拒否します。RST も返らず,パケットが黙って捨てられる状態ですね。

この状態で10分待ちました:

  • Run Command は一度も届かない(Pending のまま)
  • Agent は6回つなぎ直そうとして,6回とも同じ形で失敗する
  • 試行の間隔が 34 → 41 → 59 → 88 → 170秒と延びていく

ログにはこれが出続けます。

Failed to get controlchannel token after dial ... Client.Timeout exceeded while awaiting headers

パケットを見る

pktmon で TCP 443 を採って,SYN を並べてみました。1回のつなぎ直しで,Agent は2回接続しています。WebSocket(制御チャネルの本体)と,CreateControlChannel の POST(チャネル用のトークンを取る要求)です。

WebSocket
02:41:25.938  SYN -> AZ1  (再送 +1s, +3s, +7s)
02:41:35.926  SYN -> AZ2  9.99秒で AZ2 へ。成功

CreateControlChannel の POST
02:41:36.055  SYN -> AZ1  (再送 +1s, +3s, +7s)
02:41:51.046  Client.Timeout exceeded
02:41:51.050  SYN -> AZ2  15.0秒たってから AZ2 へ
              TLS は完了するが,HTTP の要求は送られない

WebSocket は10秒で AZ2 に移れています。POST のほうは AZ1 に15秒を使い切って,AZ2 に移った瞬間に期限切れです。サービスは一度も呼ばれていません。

hosts の順を AZ2,AZ1 に入れ替えて同じことをすると,遮断から36.6秒で復帰しました。POST の応答は 76ms ほどです。サービスが遅いわけではなく,要求が生きているアドレスに届いていないだけ,ということになります。

原因

POST を送っているのは agent/session/service/service.go の makeRestcall です。使っているクライアントはこうなっています:

  • http.Client の Timeout が15秒
  • Transport は http.DefaultTransport の複製

DefaultTransport の Dialer は Timeout が30秒です。Go の Dialer は,名前が複数のアドレスに解決されると,持ち時間をアドレスの数で等分します。2つなら先頭に15秒。これが Client.Timeout の15秒とぴったり重なります。

0s                         15s                        30s
|----- AZ1 への dial ------|----- AZ2 への dial ------|  Dialer(30秒を等分)
|===== Client.Timeout =====|                             要求全体の期限

Go 1.23 から,net/http は dial を要求の期限から切り離して動かすようになったので,Client.Timeout の15秒では dial は止まりません。15秒で要求は失敗しますが,dial のほうは止まらずに続いて AZ2 につながります。キャプチャに出ていた「TLS は完了するのに何も送られない接続」はこれですね。

WebSocket が無事なのは,専用の Dialer(ControlChannelDialTimeoutMillis,既定20秒)を使っているからです。2アドレスなら10秒ずつ。3.3.5390.0 で入った対策のようですが,POST のほうは既定のままでした。

回避策

hosts の順を入れ替えれば復帰するのですが,手で入れ替えるわけにもいきません。そこで,PC 自身にエンドポイントを見張らせて,生きている AZ の IP だけを hosts に書くことにしました。先頭が必ず生きているアドレスになるので,あとは Agent が自力で切り替わります。

見張りは1分ごとのタスクで動かしているので,切り替えまで最大2分ほどかかります。PC ごとにタスクを配る手間もあるので,Agent が直ったら外したいところです。

SSM Agent 側の直し方

原因が分かったので,上流に Issue として報告しました:aws/amazon-ssm-agent#685

Issue では直し方の案を3つ書いています:

  1. POST に専用の Dialer を持たせて,アドレスごとの dial を短くする
  2. WebSocket がつながったアドレスに POST も送る
  3. 最後に成功したアドレスを覚えておいて,次はそこから試す

このうち 1. をパッチにして,PR を出しました:aws/amazon-ssm-agent#686

Amazon の方が取り込んでくれますように...

おわりに

15秒と15秒がぴったり重なっているだけ,という原因にたどり着くまで,結構かかりました。パケットを採らなかったら分からなかったと思います。

Go で HTTP クライアントを書くときは,Client.Timeout だけに頼らず,dial と応答待ちに別々の期限を付けておくのがよさそうです。宛先が複数のアドレスに解決されるなら特に。

DNS で引いている構成だと,返ってくる順番が変わるので毎回は起きない気がしますが,そちらは試していません。同じ現象に当たった方がいれば,Issue にコメントをいただけると嬉しいです。

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?