2
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

ECSマネージドインスタンスとNitro SandboxでDocker in Dockerして遊んでみる

2
Posted at

こんにちは、ふくちです。
最近なんだかコンテナが話題ですね。いろんな会社のソフトウェアファクトリーを見ているとKubernetesがよく採用されているのを見ており、なんだかトレンドを感じます。

とはいえ私はKubernetesまったくわからんどころかECSすら最近まともに触ってないので、リハビリがてらECSマネージドインスタンスで遊んでみます。ついでに最近発表されたNitro Sandboxも触ってみたいと思います。

ECSマネージドインスタンスを作ってみる

ECSクラスターを作るところから始めます。
※ECSの各コンポーネントについては公式のBlackBeltなどをご参照ください。

クラスター作成画面でコンピューティングキャパシティをFargateとマネージドインスタンスにしてみます。するとインスタンスプロファイルとインフラストラクチャロールというのを設定しろと出てきます。
image.png

どちらもIAMロールみたいなので、作ってみましょう。まずはインスタンスプロファイルというのを作成します。
これはECSエージェントがEC2インスタンスをECSクラスターに登録し、ECSサービスと通信するために引き受けるインスタンスロールです。インスタンスロールなので、主体はEC2ですネ。

IAMロール作成画面において、サービスまたはユースケースのところでElastic Container Serviceと入れると「EC2 Role for ECS Managed Instances」が出てくるのでこれを選びます。
image.png

すると自動でAmazonECSInstanceRolePolicyForManagedInstancesというポリシーが選択されます。全部抜き出すと下記のような権限になっています。

AmazonECSInstanceRolePolicyForManagedInstancesのデフォルトポリシー
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "ECSAgentDiscoverPollEndpointPermissions",
            "Effect": "Allow",
            "Action": [
                "ecs:DiscoverPollEndpoint"
            ],
            "Resource": "*"
        },
        {
            "Sid": "ECSAgentRegisterPermissions",
            "Effect": "Allow",
            "Action": [
                "ecs:RegisterContainerInstance"
            ],
            "Resource": "arn:aws:ecs:*:*:cluster/*"
        },
        {
            "Sid": "ECSAgentPollPermissions",
            "Effect": "Allow",
            "Action": [
                "ecs:Poll"
            ],
            "Resource": [
                "arn:aws:ecs:*:*:container-instance/*",
                "arn:aws:ecs:*:*:task-set/*"
            ]
        },
        {
            "Sid": "ECSAgentTelemetryPermissions",
            "Effect": "Allow",
            "Action": [
                "ecs:StartTelemetrySession",
                "ecs:PutSystemLogEvents"
            ],
            "Resource": "arn:aws:ecs:*:*:container-instance/*"
        },
        {
            "Sid": "ECSAgentStateChangePermissions",
            "Effect": "Allow",
            "Action": [
                "ecs:SubmitAttachmentStateChanges",
                "ecs:SubmitTaskStateChange"
            ],
            "Resource": "arn:aws:ecs:*:*:cluster/*"
        }
    ]
}

ただ名前に少し注意が必要なようで、このロール名をecsInstanceRoleから始めないとダメなようです。公式ドキュメントに書いてあったのでご注意を。

続いてインフラストラクチャロールを設定します。
これはECSがマネージドインスタンスを起動・管理するために必要なロールです。主体はECSですね。

サービスのところでElastic Container Serviceと入れると「Infrastructure for ECS Managed Instances」が出てくるのでこれを選びます。
image.png

選ぶと上記のAmazonECSInstanceRolePolicyForManagedInstancesがポリシーとして自動で選ばれます。権限としては一緒ということです。

ちなみにさっきのEC2 Role for〜とこのInfrastructure for〜の違いは、信頼ポリシーが違うだけです。

信頼ポリシー差分
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "",
            "Effect": "Allow",
            "Principal": {
                "Service": "ec2.amazonaws.com" ←EC2 Role forの方で設定される
                "Service": "ecs.amazonaws.com" ←Infrastructure forの方で設定される
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

これらを作成してクラスター作成画面で設定したら、EC2インスタンスやVPCの設定を済ませます。この辺はお好みで。ここまで設定したらクラスターを作成します。
image.png

そしたら今度はクラスターの中でインフラストラクチャってやつを選択し、キャパシティープロバイダーを作成していきます。
image.png

スケーリングタイプはマネージドインスタンスを選択し、ローカルストレージからチェックを外します。これがあるとNitro Sandboxが設定できないからです。
image.png

そしてNitro Sandboxを有効化します。画面的にはNitro Enclavesと出ています。これにチェックを入れましょう。
image.png

調べてみると、EnclavesはIT文脈だと安全な隔離領域って意味らしいです。
Sandboxはソフトウェアレベルの隔離、Enclavesはハードウェアレベルの隔離として分類されているそうです。

私は初耳だったのですが、かなり前からある概念だったようです。私は無知無知でした。

で、あとは任意に設定して作成します。

あとはタスク定義ですね。インフラストラクチャの要件のところでマネージドインスタンスを選択し、タスク分離は分離されたサンドボックスを設定します。
image.png

機密サンドボックスとの違いはまた今度きちんとまとめようと思いますが、基盤となる親のEC2インスタンスを信頼するのが分離されたサンドボックス、信頼しないのが機密サンドボックスらしいです。

で、あとはこのタスク定義を使って実際にタスクを起動してみます。
正しく設定できていると、キャパシティープロバイダーを選ぶところでNitro Enclavesが有効化されているマネージドインスタンスのみ選べるようになっているはずです。
image.png

↑の図で一番下に表示されているsharedのマネージドインスタンスは、Nitro Enclavesを有効化していないものです。これだと選べなくなっていますね。
image.png

ついでにECS Execも有効化しておくと中に入って色々遊べるので楽しいと思います。

ECS Execで中身を覗いてみる

で、実際に起動したあとは中身を覗いてみます。先ほど設定した、便利な便利なECS Execを有効活用させていただきましょう。

タスクを起動したらそのタスクを選択して一番下にあるコンテナを見に行きます。
ここが起動したら接続を選択できるようになるはずなので、これを押すとCloudShellからコンテナ内部へアクセスできます。
image.png

ちなみに今回私はDocker in Docker(以降DinD)っていうやつができるのかを試してみたかったので、イメージなどはそれに沿ったものを選んでいる前提です。

DinDとは、コンテナの中でさらにDockerを動かすことです。コンテナというマンションの部屋に、さらに配信用の防音室入れる、みたいなイメージで私は理解しています。

ユースケースとしては、コンテナ上でコーディングエージェント開発基盤をホスティングしている際に、その中でdocker build・runとかして検証ができる、みたいな感じでしょうか。
他にもあれば教えてください。

で、さっきの環境分離を共有済みにしたもの(以降Aと記載)とNitro Sandboxで隔離したもの(以降Bと記載)とでいろいろと動かしてみるとこんな感じで違いが見られました。
コマンド自体はClaudeがこういうの見るといいよって教えてくれたものです。

AとBの比較
# 環境隔離の確認
cat /proc/uptime                    # カーネルが起動してからの秒数
nproc; grep MemTotal /proc/meminfo  # 見えるCPU数と総メモリ
dmesg | head -20                    # カーネルのログの先頭
cat /proc/partitions                # カーネルが認識しているディスクの一覧
grep CapEff /proc/self/status       # このプロセスが実際に使えるLinuxの権限を16進数で表したもの

はじめのuptimeに関しては、同じくらいの時間が計測されていました。これはおそらくマネージドインスタンスを使っているからで、タスク起動時にホストのEC2もはじめて起動したのでこうなったのかなと。

メモリに関してはきちんと差分が確認できました。

カーネルのログでは、Aではホストの起動ログが見えましたが、BではVM自身のログしか見えませんでした。Sandboxがちゃんと効いていますね。

ディスクの一覧では、Aではホストのディスク(nvmeから始める)も丸見えです。BではVMの仮想ディスクのみ(vdaから始まる)のみ見えています。これもSandboxですね。

Linux権限はどちらも000001ffffffffffという形で全権限がついていました。理由は後述します。

そしてここからはタスクのコンテナ(以降外側と記載)と、コンテナ内のコンテナ(以降内側と記載)で比較を進めます。

外と内で比較
# DinD内部のDockerコンテナとの値比較用に、まず外側のコンテナで実行する
hostname                            # このコンテナのホスト名
which docker                        # dockerコマンドの置き場所
ps                                  # このコンテナから見えるプロセスの一覧
wget -qO- https://checkip.amazonaws.com   # 外向きのIPアドレスを表示する

# DinD内部のDockerコンテナに入ってみる
# 入れ子のalpineコンテナを起動して、その中のシェルに入る
docker run --rm -it public.ecr.aws/docker/library/alpine:3.22 sh

# DinD内部のDockerコンテナでコマンドを確認する
hostname                            # 入れ子のコンテナのホスト名
which docker                        # dockerコマンドの置き場所
ps                                  # このコンテナから見えるプロセスの一覧
wget -qO- https://checkip.amazonaws.com   # 外向きのIPアドレスを表示する。内部コンテナからも外部に出られるかを確認
exit                                # 入れ子のコンテナから抜けて、外側(dind)のシェルに戻る

コンテナのホスト名としては、外側ではタスクのENIについたDNS名(ip-10-0-…)が表示されたのに対し、内側では12桁のコンテナIDになっていました。

dockerコマンドの置き場所は外側では/usr/local/bin/dockerが出力され、内側では出力無しでした。内側の中にはdocker入れてないので当然ですね。

psに関しても、外側ではECS Exec用のエージェントが見えたりsleepなど普通のコマンド群が見えます。一方内側ではshとpsのみ出力されました。

IPアクセスチェックはどちらもOK。内側だからといって外部に出られないことは無いようです。

ということできちんとSandboxが機能していることも確認できました。面白かったです。

privileged

聞き慣れない単語ですが、これは早い話がroot権限です。
コンテナの制限をなくし、マシン本体のrootとほぼ同じ権限を与えるものです。ECSではタスク定義のところで設定できる(コンソールからはできず、jsonからのみっぽいですが)ものです。

これを設定せずにECSマネージドインスタンス + Nitro Sandbox + DinDを進めようとすると、コンテナ起動のところで失敗になってしまいました。
というのもDinDでは、Nitro SandboxにおいてDockerがディスクのマウント・ネットワークの作成・メモリの割り当てといったカーネルに対する操作をおこないます。この時に管理者権限がないと、失敗してしまうようです。

当然ですが、普通のコンテナでそんなことができてしまうと実質Admin権限使い放題になってしまうので、基本的には禁止されています。
しかしNitro Sandboxを用いることで、その環境内でのAdmin権限に閉じることができるため、普通にやるよりはまだセキュアにやれるという感じになるっぽいです。多分…

ただそのSandbox内から抜け出したりそこから色々コマンド実行したりされると大変困りそう?なので今度もうちょっと深堀ってみようと思います。

まとめ

コンテナ面白い!とはいえ理解しようとすると低レイヤーの理解も必要不可欠なので、次はそっちの方もきちんと理解していきます。

2
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?