課題
最近PoCを進める際にこんな悩みがありました。
- ECSのコンテナでアプリを動かす
- 関係者にこのアプリへ実際にアクセスしてもらって動作確認してほしい
- ただPoCなので認証などを入れるのは手間
- だけどインターネットに公開するわけにはいかない
ということでなんとかセキュアにアプリへアクセスする方法がないか悩んでいました。
そこで有識者の方に聞いてみると、SSMでポートフォワーディングすればいけるよ〜と教えてもらいました。これを実際に試してみたので備忘録として残しておきます。
そもそもポートフォワーディングとは
特定のポートに来たデータを別のところへ転送することをポートフォワーディングと言います。
と言っても何となくピンと来ないので、ポートとフォワーディングの2つに分けて考えてみます。
まずポートはネットワークとサーバーを繋ぐ出入口的な存在ですね。これは番号で表されます。80だったらHTTP、443だったらHTTPS、334だったらなんでや阪神関係ないやろですね。
そしてフォワーディングは、何かを転送することです。右から左へ受け流す的なやつです。ムーディ勝山で覚えましょう。
もしくはサッカーのフォワードを思い浮かべると、ボールをゴールにぶち込む役割ですよね。後ろ(味方)から来たボールを前(敵ゴール)へ流すという役割で考えればわかりやすそうです。
とはいえITの世界では物理のボールを扱うわけではないですね。ここでの対象はデータです。
どこかから来たデータをそのまま別の方へ送り出すこと。これがフォワーディングです。
ということでこれをつなげると、ポートフォワーディングとは特定のポートに来たデータを別のところへ転送すること、となります。

構築してみる
ということでこのポートフォワーディングを使って、自分の端末(macbook)でlocalhost:8080にアクセスしたらECSのアプリへつながるようにしてみたいと思います。
解決策としては、Systems Manager(SSM)のセッションマネージャーを使えばいけそうでした。
では実際に構築していきます。ハンズオンではないのでポイントだけかいつまんでいきます。
まずVPC関連リソースを作ります。アプリやDBはプライベートサブネットに置くのでプライベートサブネットとS3 VPCエンドポイントだけ作成します。
この後追加のインターフェースVPCエンドポイントを作るので、NATゲートウェイは不要です。DNSホスト名・DNS解決はどちらも有効にします。
続いてセキュリティグループ(SG)を3つ作ります。VPCエンドポイント用、Aurora用、ECSタスク用です。各設定は下記の通り。
- VPCエンドポイント
- インバウンドルール:ECSタスクからのみ
- アウトバウンドルール:そのまま
- Aurora
- インバウンドルール:ECSタスクからのみ
- アウトバウンドルール:そのまま
- ECSタスク
- インバウンドルール:なし
- アウトバウンドルール:
- HTTPS、VPCエンドポイントSG宛
- PostgreSQL、AuroraSG宛
- HTTPS、プレフィックスリストから
com.amazonaws.<region>.s3宛
そしてインターフェースVPCエンドポイントを4つ作成します。ECSタスク起動時のECRアクセス用でecr.apiとecr.dkr、CloudWatch logsへログ送信のためのlogs、そしてセッションマネージャー接続用のssmmessagesです。

続いてDBですが、適当にAurora Serverless v2で作ります。ゼロスケールしてくれてお財布に優しいからです。
まずはサブネットグループを普通に作っておきます。

IAM認証を追加しておくと、アプリからセキュアかつ楽に接続できますね。

そしてRDS Data APIは有効にしておきます。この後楽にDBの初期設定を行いたいからです。

こんな感じのを入れておきます。memo_userを作って権限を付与したり、あとはテーブルを作ったりしています。
CREATE USER memo_user;
GRANT rds_iam TO memo_user;
CREATE TABLE memo (id serial primary key, body text not null, created_at timestamptz default now());
GRANT SELECT, INSERT, UPDATE, DELETE ON memo TO memo_user;
GRANT USAGE, SELECT ON SEQUENCE memo_id_seq TO memo_user;
そしていよいよECS本体…の前に、タスク実行ロールとタスクロールを作ります。
まずはタスク実行ロール、これは簡単ですね。サービスまたはユースケースでElastic Container Serviceを入力してから「Task Execution Role for Elastic Container Service」を選べば自動でポリシーが設定されます。

↓

タスクロールはサービスまたはユースケースのところで「Elastic Container Service Task」を選んでから、下記のjsonをインラインポリシーとして設定します。

↓
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"ssmmessages:CreateControlChannel",
"ssmmessages:CreateDataChannel",
"ssmmessages:OpenControlChannel",
"ssmmessages:OpenDataChannel"
],
"Resource": "*"
},
{
"Effect": "Allow",
"Action": "rds-db:connect",
"Resource": "arn:aws:rds-db:ap-northeast-1:<アカウントID>:dbuser:<DBクラスターリソースID>/memo_user"
}
]
}
これは後述するSSMセッションマネージャーおよびAuroraへの接続を可能にするポリシーです。
で、あとはECSを作るだけですね。クラスターを作り、タスク定義を設定します。タスク定義はアプリの作り次第で色々変わるので割愛しますが、1点だけ注意点。
json編集ページを開いてinitProcessEnabledを追加しておくことが推奨されています。これがコンソールに設定パラメータ見当たらないんですよね…見落としてたら教えてください。
{
"family": "ecs-ssm-handson-app",
"containerDefinitions": [
{
"name": "app",
<中略>
"linuxParameters": {
"initProcessEnabled": true
},
<中略>
},
],
}
一部の操作 (コンテナのメインプロセスの終了、コマンドエージェントの終了、依存関係の削除) によって、孤立プロセスとゾンビプロセスが発生する可能性があります。ゾンビプロセスをクリーンアップするには、タスク定義に initProcessEnabled フラグを追加することをお勧めします。
準備ができたらタスクを起動します。この時、ECS Execを必ず有効にします。

そしてローカルPCにAWS CLIとsession-manager-pluginを入れておいて、こいつらが接続先コンテナの情報などを取得し、最終的にECS上のアプリへポートフォワーディングすると…!

こんな感じに、localhost:8080でECS上のアプリへ接続ができてしまいました!
※この画面だけだとわからないことに気づいたのはブログを書いている最中なので伝わらないかもしれませんが、これはECS上で動いているアプリに接続した形です。ターミナルで下記コマンドを実行した上で接続しています。
$ aws ssm start-session --region ap-northeast-1 \
--target "ecs:ecs-ssm-handson-cluster_${TASK_ID}_${RUNTIME_ID}" \
--document-name AWS-StartPortForwardingSession \
--parameters "portNumber=80,localPortNumber=8080"
Starting session with SessionId: haruki-fukuchi-n3rlt4yisifnpaxr6x6vzprt84
Port 8080 opened for sessionId haruki-fukuchi-n3rlt4yisifnpaxr6x6vzprt84.
Waiting for connections...
Connection accepted for session [haruki-fukuchi-n3rlt4yisifnpaxr6x6vzprt84]
セッションマネージャーコンソールを覗くとそのセッションが確立されたことが示されていました。

ということでここからはどんな流れで接続されているのかを見ていこうと思います。
接続の流れと構成要素
先ほどの構成図をベースにしつつ、もう少し詳細に理解していきます。

セッションマネージャーについて
この構成ではSSMセッションマネージャーによって接続(セッション)を管理し、そしてポートフォワーディングを実現しています。
ではそのセッションマネージャーとは何か。
SSHキー・踏み台サーバーを用いずに、シェルからEC2やオンプレミスサーバーへ安全に接続することができるマネージドな機能です。
多くの方はEC2への接続で使ったことがあるのではないでしょうか。あれをここでも使っています。

そして上記の図をみてもらえばわかるとおり、セッションマネージャーを仲介する形でローカルからサーバーへ接続する形になります。
この時にローカルからセッションマネージャーへ接続を開始した段階で1つのセッションが作成され、それが管理される形になります。

こんな感じでセッションを上手いこと管理してくれるのがセッションマネージャーです。
↓↓↓より詳しく知りたい方向け↓↓↓
※厳密にはセッション開始を受け付けるポイントと、実際にセッションを張るポイントは異なるようです。
まず最初のセッション開始を受け付けるのはssm.region.amazonaws.comというエンドポイントです。セッション開始用のStartSession APIのリファレンスを読むと、サンプルリクエストのところにHost: ssm.us-east-2.amazonaws.comと記載されています。
その一方で、これのレスポンスフォーマットのところで"StreamUrl": "wss://ssmmessages.region.amazonaws.com/v1/data-channel/session-id?stream=(input|output)",というのが書かれています。
wss://ssmmessages.region.amazonaws.comになっていますね(ついでにWebSocketであることもわかります)。
なのでこれらのことから、セッション開始→セッションIDや接続先WebSocket URL払い出し→WebSocket URLでサーバーと接続、といった流れになります。

↓

Macbookからセッションマネージャーへの接続
まず、Macbookからセッションマネージャーへの接続です。これは2段階に分かれています。
- localhost(ターミナル)では
session-manager-pluginというのを用いてセッションマネージャーへ接続 - ブラウザからlocalhost:8080へアクセス
という形になっています。2番は普通にブラウザからローカルホストに接続しているだけなので気にしなくてよくて、1番が本題です。
aws ssm start-sessionというコマンドを実行することで接続を開始し、レスポンスでWebSocket URLやセッションIDを受け取ります。するとAWS CLIが裏側でsession-manager-pluginを起動します。
このプラグインがWebSocket接続とlocalhost:8080での待ち受け(ポートフォワーディング)をプラグインが担当している形です。
したがって、先ほどお見せしたこのコマンドを裏側で実行することで、Macbookのローカルホストからセッションマネージャーへ接続していたということになります。
引数には接続先ターゲットのECSコンテナの情報に加えて、何やら--document-nameと--parametersというのも設定しているようです。次はこれを紐解いてみます。
$ aws ssm start-session --region ap-northeast-1 \
--target "ecs:ecs-ssm-handson-cluster_${TASK_ID}_${RUNTIME_ID}" \
--document-name AWS-StartPortForwardingSession \
--parameters "portNumber=80,localPortNumber=8080"
まず--document-nameですが、これはSSMドキュメントというやつを指定しています。
私は使ったことなかったのですが、ドキュメント曰く「Systems Managerが管理対象インスタンスに対して実行するアクションを定義」しているもののようです。
ここでいう管理対象インスタンスはECS上のコンテナなので、つまりSSMがコンテナに対して何らかの操作をするという定義がJSON or YAMLで書かれたものになるようです。
で、今回はAWS-StartPortForwardingSessionというドキュメントを使用しているようです。コンソールから見れるので中身を確認してみましょう。
{
"schemaVersion": "1.0",
"description": "Document to start port forwarding session over Session Manager",
"sessionType": "Port",
"parameters": {
"portNumber": {
"type": "String",
"description": "(Optional) Port number of the server on the instance",
"allowedPattern": "^([1-9]|[1-9][0-9]{1,3}|[1-5][0-9]{4}|6[0-4][0-9]{3}|65[0-4][0-9]{2}|655[0-2][0-9]|6553[0-5])$",
"default": "80"
},
"localPortNumber": {
"type": "String",
"description": "(Optional) Port number on local machine to forward traffic to. An open port is chosen at run-time if not provided",
"allowedPattern": "^([0-9]|[1-9][0-9]{1,3}|[1-5][0-9]{4}|6[0-4][0-9]{3}|65[0-4][0-9]{2}|655[0-2][0-9]|6553[0-5])$",
"default": "0"
}
},
"properties": {
"portNumber": "{{ portNumber }}",
"type": "LocalPortForwarding",
"localPortNumber": "{{ localPortNumber }}"
}
}
sessionType: Portはセッションの種類を示しています。ローカルのプラグインとコンテナ上のSSMエージェントはこの値を見て、ポートフォワーディングの処理をするのだと認識します。
parametersはセッション開始コマンド実行時に受け取ることができるパラメータを示しています。
ここでは"portNumber=80,localPortNumber=8080"という値を指定していますね。
そして最後のpropertiesは実際にエージェントとプラグインに渡す値をparametersから引き継いでいます。
ということでまとめると、「Macbookにおけるlocalhost:8080への接続を、ECSコンテナ内のlocalhost:80へ中継せよ」という指示が定義されているということになります。ポートフォワーディングの指示がここで定義されている、と読み替えていただいてOKです。
ただしこれを成立させるためには、ECS側からもセッションマネージャーに接続されていないとだめですよね。今のところローカルからセッションマネージャーに繋ぐ仕組みを解説しただけなので、次はECS側を読み解いていきましょう。
ECSコンテナからセッションマネージャーへの接続
ECS側に必要な条件は下記3つです。
- コンテナ内にSSMエージェントを入れておくこと
- VPC外に出るための通信経路があること
- SSMセッションマネージャーへ接続する権限があること
ということで1つずつ見ていきましょう。
まずコンテナ内へSSMエージェントを入れるところですが、これはECS Execを有効化していればOKです。
そもそもECS ExecがSSMエージェントを使っている方式なので、有効化するだけで自動でコンテナへSSMエージェントを入れた上で起動してくれます。手っ取り早くSSMエージェントを入れるならこれでOKです。
続いてVPC外への通信経路ですが、今回のコンテナはプライベートサブネット内にあるのでNATゲートウェイ or VPCエンドポイントが必要です。よりセキュアにやるならVPCエンドポイントですね。
ちなみにssm関連のエンドポイントとしては、ssmmessages.region.amazonaws.com宛のVPCエンドポイントを作るだけでOKです。先ほどセッションマネージャーのところで解説したとおり、ECS側からはセッションを起動しないのでWebSocket通信を確立するためのエンドポイントにさえアクセスできればOKなのです。

そしてセッションマネージャーに対する権限ですが、序盤で設定したとおり下記の4つが必要です。下記ドキュメントに記載されている4つを許可する形ですね。
{
"Effect": "Allow",
"Action": [
"ssmmessages:CreateControlChannel",
"ssmmessages:CreateDataChannel",
"ssmmessages:OpenControlChannel",
"ssmmessages:OpenDataChannel"
],
"Resource": "*"
}
簡単に解説しておくと、SSMエージェントはコントロールチャネルとデータチャネルの2通信を開きます。
コントロールチャネルはタスク起動時からssmmessagesエンドポイントへ接続しっぱなしとなるものです。コントロールというだけあって、セッションマネージャーとコンテナにおけるセッションの管理を担います。
データチャネルは1セッションにつき1本張る通信で、こちらでハンドシェイクや実際のやり取りを行います。なのでsession-manager-plugin側からもコンテナ側からも張られるものです。
同じセッションIDであることが照合されると、セッションマネージャーによって接続が確立されます。

ということで必要条件は満たしたのですが、最後に軽くSSMエージェントの動きにも触れておきます。
SSMエージェントはサーバーやコンテナ内に配置されると、セッションマネージャーへアウトバウンド接続しにいきます。セッションマネージャーからアクセスするわけではないんですね。
ずっと矢印がサーバー・コンテナ側からセッションマネージャーに向いているのはこのためです。
SSMを用いたポートフォワーディングの接続フロー
ここまでで全体的にどういった技術要素や流れで接続してきたかはなんとなくご理解いただけたかなと思います。
最後に全体のフローをまとめておきます。
まとめ
これをやろうとしていた目的としては、ECS上のアプリケーションへどうにかしてセキュアに接続できないか、でした。
アプリをプライベートサブネット内に閉じ込めつつ、面倒な認証の手間もある程度省きながらアクセスできるようになるのが面白かったです。
やっていることは若干複雑ですが、構築自体は比較的簡単にできるのでもし使えそうな場面があれば試してみてください。それと同時にマネージド機能のありがたさに頭を垂れるばかりです。マネージド最高!


