AWS Nitro Sandboxesという謎のサンドボックス技術が登場したようだ.公式ドキュメントの記述では,いかなる意味において「分離」する技術なのかが判然としないので,demystifyすることにする.
ドキュメントの記述
From Isolate workloads with AWS Nitro Sandboxes:
AWS Nitro Sandboxes is an Amazon EC2 feature that runs a workload in its own lightweight virtual machine, called a Nitro Sandbox. A Nitro Sandbox runs alongside an Amazon EC2 instance, called the parent instance, on vCPUs and memory that the parent instance contributes. A virtual machine monitor (VMM) on the parent instance manages it, and the AWS Nitro System enforces the boundary around it. To use Nitro Sandboxes, you must enable AWS Nitro Enclaves when you launch the parent instance.
これによると,Nitro Sandboxesはper-workloadなマイクロVMのようだ.注目すべきは親インスタンス(parent instance)と呼ばれるEC2インスタンスからvCPUとメモリを借りてくるというようなことが書かれていることである.これはAWS Nitro Enclavesと全く同じである.
Nitro EnclavesはNitro Hypervisorの仮想化機能によってVMレベルで隔離されたアテスタブルなコンテナ(エンクレーブ)である.Nitro System(AWS独自の仮想化基盤)を用いた親インスタンス(VM)を作成し,nitro-cliでEnclave Image File(DockerfileからビルドされたNitro Enclaveイメージ)を起動すると,ホストマシン上のNitro Hypervisorは親VMからvCPUとメインメモリを一時的に切り出し,EIFをロードした新しいVMを作り出す.これがNitro Enclaveである.Nitro Enclavesの詳細は筆者が仕事で書いたブログ記事やHumane-RAFW-NEなどを参照されたい.(注: この記事はプライベートで書いている.)
Nitro Sandboxesに関する上記の記述はNitro Enclavesのそれと瓜二つである.内部的にはNitro Enclavesと同じ技術を使っているのではなかろうか?
Linux Kernelパッチ
Alexander Graf氏がLinux Kernelに投稿したNitro Sandboxesのためのパッチから上記の推測が確かめられた.
何よりも先ずパッチのタイトルが nitro_enclaves: Add support for Nitro Sandboxes である.Nitro Enclavesドライバに機能追加する形でNitro Sandboxesが追加されているのである.
From [PATCH 00/40] nitro_enclaves: Add support for Nitro Sandboxes:
Nitro Sandboxes build on that concept and the same hypervisor interface, but add the ability to implement virtio devices in the parent, run vCPUs oversubscribed, add device hotplug support and allow to spawn a sandbox without attestation, but shared memory. They also boot a full EC2-like VM that runs with a UEFI stack and executes the EIF-wrapped kernel as UEFI executable.In combination, Nitro Sandboxes provide a way to create a confidential compute VM for almost all workloads, but without the biggest gaps that other confidential compute offerings have: The parent has no timing control and the parent also has no control over the base device model, such as timers, PCIe, UART, etc. All base devices are implemented in Nitro.
Nitro EnclavesのI/Oは極度に制限されており,デバイスを直接アタッチすることや親インスタンス以外と直接通信することができない.Nitro Sandboxesではこうした制限が取り払われている.また,Nitro Enclavesではメモリは親インスタンスから完全に切り離されたものが割り当てられる(つまり独立なVMと変わらない)のに対し,Nitro Sandboxesでは親インスタンスとのメモリ共有が許容される.
Nitro Enclavesの制約をオプショナルに緩和できるように機能拡張を施したものがNitro Sandboxesの正体である.Nitro EnclavesではNitro Hypervisorベースのアテステーションが可能であったが,Nitro Sandboxesでも全く同様にアテステーションが可能である.
差分
Nitro Enclavesとの主な差分は以下の通り:
- vCPUのオーバーコミットが可能
- 親インスタンスとのvCPUの共有(時分割共有)が可能
- Nitro Enclavesでは親インスタンスから奪い取った物理コアを割り当てる
- Nitro Sandboxesでは親インスタンスとコアを共有利用できる(従来のように占有もできる)
- 親インスタンスとのvsock通信だけでなくVirtIOデバイスのattachが可能
- Nitro Enclaveは親インスタンスとのvsock通信にI/Oが制限されており,デバイスを直接attachすることができない.その代わりに,親インスタンス側にvsockプロキシを置いて,常にプロキシを介してデバイスとやりとりする必要があった
- Nitro SandboxesではVirtIOデバイスとしてネットワークI/Fや永続ディスクなどをattachすることができる
- 親インスタンスにメモリアクセスを許すかどうかを選択可能
- Nitro Enclavesでは,Nitro Hypervisorは親インスタンスからメモリを完全に切り離し,エンクレーブに割り当てる.親インスタンスはエンクレーブのメモリにはアクセスできない.Nitro Sandboxesでもデフォルトではこの方式(Confidential mode)でメモリが割り当てられる.親インスタンスとメモリを共有しないConfidential modeでは,前述のVirtIOデバイスを動作させるためにDevice Memory Buffer(DMB)という共有メモリ領域をper-deviceで用意する.Confidential modeではNitro Secure Module(NSM)が存在し,Nitro Hypervisorベースのアテステーションが可能である
- Nitro Sandboxesでは親インスタンスとメモリを共有する方式(Direct mode)が選択可能である.親インスタンスはサンドボックスのメモリにアクセスできるため,親インスタンス→サンドボックスの秘匿性は失われるが,VirtIOデバイスは親インスタンスのメモリを直接利用できるので,オーバーヘッドが少ない.Direct modeではNSMが存在せず,Nitro Hypervisorベースのアテステーションは不可能である
Nitro SandboxesのConfidential modeはNitro Enclavesの機能拡張版といえる.ただし測定対象には細かな違いがある.詳細はAttest a Nitro Sandboxを参照.
一方,Direct modeは「エンクレーブ」としての機能(親インスタンスからの隔離及びアテステーション)が無効になるので,Nitro Enclavesとは互換的ではない.とくに親インスタンスとの隔離を必要としない場合(親インスタンスのオーナーがサンドボックスのユーザーでもある場合など),こちらを用いたほうがオーバーヘッドは少ない.