0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AzureのTEEでLLMのCPU推論を検証してみた:モデルサイズとEPC容量による性能の違い

0
Posted at

はじめに

機密性の高いデータを使ってAIによる分析や推論を行う際には、処理中のデータをどう保護するかが課題になります。そのための技術の一つが、ハードウェアを使って実行環境を保護するTEE(Trusted Execution Environment)です。

本記事では、Azure上のTEEでLLMのCPU推論を実行し、モデルサイズやSGXのEPC容量による性能の違いを検証しました。

今回確認したかったのは、次の3点です。

  • TEE上で、どのサイズのLLMまで推論処理を実行できるか。
  • 通常の実行環境と比べて、入力処理とトークン生成の速度がどの程度変わるか。
  • 大きなモデルで処理が進みにくくなった場合、どの設定や構成を見直すとよいか。

検証では、SEV-SNPのCVMで0.5B~32Bの測定が完了しました。SGXでも0.5B~14Bに加え、EPC 32 GiBの構成では32Bまで測定できました。一方、EPC 16 GiBの構成で32Bを実行した際には、大きな性能低下が見られました。

1.今回使ったTEEと比較の考え方

今回は、Intel SGXとAMD SEV-SNPを使いました。

方式 保護する単位 今回の実行方法
Intel SGX アプリケーションの保護領域であるEnclave Gramineを使い、llama.cppをEnclave内で実行
AMD SEV-SNP 仮想マシン(Confidential VM:CVM) CVM内でllama.cppを実行

SGXでは、Enclaveの外側にあるOSをTCB(Trusted Computing Base)から外すことができます。一方、SEV-SNPを用いたCVMでは、VM全体がTEEとなり、ゲストOSもTCBに含まれます[1]。

比較対象となる通常実行を、本記事では「Native」と呼びます。SGXは同じVM上でのEnclave外実行、SEV-SNPは比較用の通常VMでの実行をNativeとしました。

比較系統 CPUに関する記録 vCPU数 通常メモリの表示 EPC
SGX Intel Xeon Platinum 8370C 4 約31 GiB 16 GiB
Native(SGX比較用) Intel Xeon Platinum 8370C 4 約31 GiB -
SEV-SNP CPU family/modelは19/01と表示 4 約30 GiB -
Native(SEV-SNP比較用) AMD EPYC 7763 4 約31 GiB -

通常メモリは測定時のfree -hの表示です。計算に使うスレッド数は、すべての構成で4にそろえました。

SGXとSEV-SNPでは実行基盤が異なるため、それぞれのNativeに対してどの程度性能が変わるかを見ます。なお、SGXの結果にはGramineの影響が、SEV-SNPの結果には比較用VMとの環境差が含まれます。

2. モデルと測定条件

モデルには、Qwen2.5-InstructのGGUF形式を使用しました。量子化方式をQ4_K_Mに揃え、サイズだけを変えて測定しています。

項目 設定
モデル Qwen2.5-Instruct-GGUF
モデルサイズ 0.5B / 1.5B / 3B / 7B / 14B / 32B
量子化 Q4_K_M
実行基盤 llama.cpp(commit 6703d7894)
計算スレッド数 4
バッチ/マイクロバッチ 2048 / 512
KVキャッシュの型 K / Vともにf16
Prompt処理 pp512:512トークンの処理
Token生成 tg128:128トークンの生成
測定回数 ウォームアップ後、それぞれ5回
集計 各回のtokens/sの中央値

モデル配布元は、Qwen2.5-7B-Instruct-GGUFなど、各サイズに対応するQwen公式のレポジトリです[2]。

Prompt処理とToken生成を分ける

LLMの推論では、入力されたPromptを処理する段階と、続きのトークンを生成する段階があります。今回は、llama-benchが提供するPrompt Processing(pp)とText Generation(tg)を使い、両者を分けて測定しました[3]。

pp512とtg128は独立したテストです。「512トークンのPromptを入力し、その後128トークンを生成するまで」の一連の応答時間を測定したものではありません。また、llama-benchの計測にはトークン化やサンプリングの時間は含まれません[3]。

ここで見ているのは、モデルを読み込んだ後の計算速度です。モデルのダウンロードやロード、Enclaveの起動時間は、このtokens/sには含めていません。

測定コード

以下は、実際の測定コマンドを、パスと出力ファイル名を整理して示したものです。llama.cppのビルドと、モデルのダウンロードが済んでいる状態を前提とします。

MODEL="/path/to/model-q4_k_m.gguf"
BENCH="/path/to/llama.cpp/build/bin/llama-bench"

# Native / CVM内での測定
"$BENCH" \
  -m "$MODEL" \
  -t 4 \
  -p 512 \
  -n 128 \
  -r 5 \
  -ngl 0 \
  --progress \
  -o json \
  > result.json 2> result.log

SGXでは、同じllama-benchをGramine経由で実行します。対象モデルにアクセスできる設定と、署名済みのマニフェストを用意したうえで、同じ測定オプションを渡します。

0.5B~14Bの測定で使った主な設定は次のとおりです。

# Gramineマニフェストの一部
sgx.enclave_size = "32G"
sgx.edmm_enable = true
sgx.max_threads = 16

sgx.max_threadsは、EDMM(Enclave Dynamic Memory Management)を有効にした構成ではEnclave内に事前確保するスレッド枠の数です[4]。llama.cppに指定した計算スレッド数の4とは別の設定です。

また、EDMMを有効にしたこの構成では、必要に応じてEnclave内のメモリを追加します。sgx.enclave_sizeは、Enclaveが拡張できる最大サイズとなります[4]。

# llama-bench.manifest.sgxを配置したディレクトリで実行
gramine-sgx ./llama-bench \
  -m "$MODEL" \
  -t 4 \
  -p 512 \
  -n 128 \
  -r 5 \
  -ngl 0 \
  --progress \
  -o json \
  > result_sgx.json 2> result_sgx.log

この検証では、公開モデルをローカルに配置し、性能測定用のGramine設定で読み込みました。モデルファイルの検証・暗号化や、リモートアテステーションによる鍵配送までを組み合わせたサービスの検証ではありません

JSONには平均値に加えて各回の測定値であるsamples_tsが入っています。今回は、次のように中央値を取りました。

import json
from statistics import median

with open("result.json", encoding="utf-8") as f:
    results = json.load(f)

for result in results:
    if result["n_prompt"] > 0:
        test = f'pp{result["n_prompt"]}'
    else:
        test = f'tg{result["n_gen"]}'
    speed = median(result["samples_ts"])
    print(f"{test}: {speed:.2f} tokens/s")

以降の性能比は、TEEのtokens/s中央値 ÷ 対応するNativeのtokens/s中央値 × 100で計算します。100%に近いほどNativeに近い速度です。

3. モデルサイズを変えると、性能はどう変わるか

まずは、SGXのEPC 16 GiB構成で両テストを完了できた0.5B〜14Bを比較します。

モデル SGX:Prompt処理 SGX:Token生成 SEV-SNP:Prompt処理 SEV-SNP:Token生成
0.5B 97.5% 55.3% 98.5% 95.9%
1.5B 95.0% 67.7% 97.9% 97.8%
3B 95.5% 76.7% 97.0% 98.0%
7B 95.7% 84.2% 97.7% 98.1%
14B 95.4% 85.6% 98.2% 96.4%

※ 各環境のNativeに対する速度比。SGXはGramineを含む構成での測定。

SGXでは、Prompt処理とToken生成で傾向が異なる

SGXのPrompt処理は、今回の範囲ではNativeの約95~98%でした。一方、Token生成は約55~86%となり、Prompt処理よりも低下が大きくなりました。

例えば、0.5BのToken生成はNativeで74.81 tokens/s、SGXで41.37 tokens/sです。7BではNativeで8.53 tokens/s、SGXで7.18 tokens/sでした。今回の条件では、小さいモデルほど生成速度の相対的な低下が大きくなっています。

この理由は、まだ切り分けられていません。Prompt処理とToken生成で計算の進め方が異なることや、メモリアクセス、Gramine/SGXのオーバーヘッドが影響している可能性があります。

現時点での実務上の示唆は、LLMの性能を一つの数値にまとめず、入力処理と生成を分けて確認した方が良いということです。

SEV-SNPでは、今回の範囲でNativeに近い速度になった

SEV-SNPでは、0.5B~14BのPrompt処理がNativeの約97~99%、Token生成が約96~98%でした。

さらに32Bでも測定が完了し、Prompt処理はNative比98.0%、Token生成は97.5%でした。今回使ったモデルと測定条件では、比較用の通常VMに近い速度でCPU推論を実行できました。

ただし、Native比が高くても、大きいモデルでは絶対的な生成速度は下がります。例えば32BのSEV-SNP上のToken生成は1.66 tokens/sです。対話的に使いたいのか、時間をかけてバッチ処理したいのかによって、必要な速度は変わります。用途を考えるときには、性能比とtokens/sの両方を見る必要があります。

4. 32Bモデルで詰まったことと、EPC容量を増やした結果

SGXでは、32Bモデルを試した際に、それまでとは大きく異なる挙動になりました。

EPC容量とEnclaveサイズは別のもの

SGXでは、保護されたメモリ領域としてEPC(Enclave Page Cache)を使います。一方、Gramineのsgx.enclave_sizeは、Enclaveが拡張できる最大サイズを設定する項目です。

項目 何を表すか
EPC容量 SGXの保護されたページを保持する、物理メモリの容量
sgx.enclave_size Enclaveを拡張できる最大サイズ。今回のようにEDMMを有効にした場合は、実行中に必要なメモリを、この上限まで追加できる

sgx.enclave_sizeを大きくしても、VMに割り当てられたEPC容量が増えるわけではありません[4]。また、EPC容量を超えてEnclaveページの退避・再読み込み(EPC paging)が発生すると、大きな性能オーバーヘッドが生じる可能性があります[5]。

EPC 16 GiBの構成で32Bを実行する

まず、0.5B~14Bの検証に使った、EPC 16 GiBの構成で32Bモデルを実行しました。このとき、①モデルを読み込めない、②読み込めても処理が遅いという2つの問題に、順番に対処することになりました。

①モデルの読み込みに失敗した

最初は、Gramineの設定をsgx.enclave_size = "32G"としていましたが、この設定では32Bモデルの読み込みに失敗しました。

そこで、Enclaveが利用できる領域の上限を広げるため、設定を64Gに変更し、マニフェストを再署名して実行しました。

この変更後は、モデルを読み込み、Prompt処理の測定まで進められました。

ただし、ここで増やしたのはEnclaveのサイズ上限であり、EPC容量は16 GiBのままです。 EDMMを有効にしているため、設定した64 GiBを起動時にすべて確保するわけでもありません。

②読み込めても処理が遅い

読み込みの次に問題になったのが、実行速度です。

Prompt処理は完了したものの、速度は2.69 tokens/sで、同じVM上のNativeの38.8%でした。また、Token生成は5回の測定を予定していましたが、1回目の測定だけで約1時間経過しても完了しなかったため、途中で中断しました。そのため、Token生成については完了した測定値を取得できませんでした。

今回使用した32Bモデルは、量子化後のモデル本体だけでも約18.5 GiBあり、EPCの16 GiBを上回っています。実行時にはモデル以外の領域も必要になるため、EPC容量を超えるページングが速度低下に影響している可能性を考えました[5]。

EPC 32 GiBの構成に変更する

続いて、EPCを32 GiB利用できるVM構成に変更し、同じ32Bモデルを再測定しました。

モデルと量子化方式、Prompt処理・Token生成の測定条件は変えていません。sgx.enclave_sizeも64Gのままです。VMのvCPU数は4から8に増えましたが、llama.cppの計算に使うスレッド数は4にそろえました。

結果は、次のようになりました。

構成 SGXのPrompt処理速度 SGXのToken生成速度
EPC 16 GiB 2.69 tokens/s(Native比38.8%) 測定途中で中断
EPC 32 GiB 6.76 tokens/s(Native比95.4%) 1.70 tokens/s(Native比88.2%)

EPC 32 GiBの構成では、Prompt処理・Token生成の両方で、5回すべての測定を完了できました。Prompt処理はNativeに近い速度まで改善し、EPC 16 GiBの構成では完了できなかったToken生成も測定できました。

なお、VM構成の変更では、EPCだけでなく通常メモリやvCPU数も増えています。このため、改善のすべてがEPC容量だけによるものとは断定できません。ただし、NativeのPrompt処理速度は変更前後で6.93から7.09 tokens/sと近い値だったのに対し、SGXでは2.69から6.76 tokens/sへ改善しました。この違いは、EPC容量が性能に影響していた可能性を示しています。

5.検証してわかったこと

LLMの検証から、TEE上での実行では次の3点を確認することが重要だと分かりました。

  • SGXでは、Prompt処理よりToken生成で性能低下が大きくなりました。
    • Prompt処理はNative比約95~98%だった一方、Token生成は約55~86%となりました。特に0.5Bでは55.3%まで低下しており、小型モデルでもSGXによる性能低下が小さいとは限りません。
  • SEV-SNPでは、32BまでNativeに近い性能を維持しました。
    • Token生成はNative比約96~98%であり、モデルサイズを大きくしても性能比に大きな変化はありませんでした。一方、32Bの生成速度は1.66 tokens/sであり、TEE化による性能低下が小さくても、CPU推論自体の速度が実用上の制約となります。
  • SGXでは、EPC容量が性能を大きく左右する可能性があります。
    • 32BモデルはEPC 16 GiBの構成でも読み込めましたが、Prompt処理はNative比38.8%まで低下しました。EPC 32 GiBの構成では95.4%に改善しており、モデルを実行できることと、十分な速度で実行できることは別です。

参考文献

[1] Microsoft, "Trusted Computing Base (TCB) in Azure Confidential Computing", Microsoft Learn. Microsoft Learn「Azure Confidential ComputingのTCB」
[2] Qwen, "Qwen2.5-7B-Instruct-GGUF", Hugging Face. Qwen2.5-7B-Instruct-GGUF
[3] ggml-org, "llama-bench", llama.cpp, GitHub. llama.cpp / llama-bench README
[4] Gramine Project, "Manifest syntax", Gramine Documentation. Gramine「Manifest syntax」
[5] Gramine Project, "Performance tuning and analysis", Gramine Documentation. Gramine「Performance tuning and analysis」

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?