私はメモリデバイスの不揮発性メモリ制御やホストIFなどを扱うソフト屋をやっております。
仕事でCXL(Compute Express Link)まわりの技術に関わっています。
CXL技術に関連するメモ書きを残していこうと思います。
ホストのCPUとOS/Applicationまわりの経験・知識共に乏しいので、親切な方は教えて下さると幸いです。
また、間違い、アドバイス、その他、ご意見やご要望ありましたらお気軽にどうぞ。
今回は、前回(CXLその17)で触れたVDMについて書きます。
Vendor Defined Message (VDM)
CXLの仕様では、CXL.ioを通したホストCPUとCXLメモリデバイス間のMessageとして、PCIeで定義されるTLPのVendor Defined Messageを使用したMessageが定められています。
CXLの仕様で定めらているMessageは以下の2種類です。
- Power Management VDM
CXLメモリデバイス起動/終了、Power Managementに関連する動作で使用されます。CXLその17で書いたGPFは、このMessageが使われます。 - Memory Error Firmware Notification VDM
CXLメモリデバイスでエラーが検出された際のホストCPUへの通知手段の一つとして使用されます。MSI/MSI-Xの割り込みを使用する場合は使用されません。
1. Power Management VDM
Power Management VDMのフォーマットを下図に示します。
図中の青色箇所はPCIeの仕様に従い設定されるパラメータ、黄色箇所がCXLの仕様で定められるパラメータに相当します。青色箇所のパラメータの詳細についてはPCIeの仕様を参照してください。
Power Management VDMは、以下の5種類の用途で使用されます。括弧内は、CXLの仕様書でのコマンド名です。
- 受信可能なPM VDMのクレジット数の通知 (CREDIT_RTN)
- Power Management VDMによる通信の初期化 (AGENT_INFO)
- ホストシステムが、Reset、もしくはPower Management Stateの遷移をするための準備をCXLメモリデバイスに指示 (RESETPREP)
- CXLメモリデバイスがPower Management Stateの遷移を行うための許可 (PMREQ)
- Global Persistent Flush (GPF)
それぞれのコマンドは、上図に示される「PM Logical Opcode」で指定されます。
それぞれのコマンドにより、上図に示されるParameterとPayloadの使い方が異なります。
1.1. Credit and PM Initialization
Credit and PM InitializationはCXLでのリンクが確立された直後などに行われ、CREDIT_RTNとAGENT_INFOが使用されます。Credit and PM Initializationのシーケンスを下図に示します。
Credit and PM Initializationは、Credit InitializationとPM Initializationの2つで構成されています。
CREDIT_RTNとAGENT_INFOで使用されるパラメータを下表に示します。特に記載のないビットはReservedです。
CREDIT_RNT
| Field | Description |
|---|---|
| Parameter[15:0] | Reserved |
| Payload[95:0] | [7:0] NUM_CREDIT: 受信可能なCredit数 [14:8] TARGET_AGENT_ID: ホストCPUが割り当てるID |
TARGET_AGENT_IDは、Credit Initializationの最初のCREDIT_RTNで、ホストCPUがCXLメモリデバイスに送るIDです。CXLメモリデバイスは受信したTARGET_AGENT_IDを保持し、以降、CXLメモリデバイスはホストCPUにMessageを返す際は、PM Agenet IDにTARGET_AGENT_IDを設定し、ホストCPUがMessageの発行元のCXLメモリデバイスを区別できるようにします。
AGENT_INFO
| Field | Description |
|---|---|
| Parameter[15:0] | [0] Request(1)/Response(0) [7:1] INDEX(0以外はReserved) |
| Payload[95:0] | INDEX=0のときのみ有効 [7:0] CAPABILITY_VECTOR [0] CXL1.1のPM VDMをサポートの有無 [1] GPFのサポートの有無 [7:2] Reserved |
AGENT_INFOでは、ホストCPUとCXLメモリデバイス間で、それぞれがサポートするPM VDMの情報が交換されます。
1.2. RESETPREP
ホストシステムがパワーステートを遷移させる際、またはリセットを掛ける際に、ホストCPUは、CXLメモリデバイスにRESETPREPで準備するように指示します。
CXLメモリデバイスは、必要に応じてバッファ内のデータの退避等の処理を行い、完了をホストCPUに通知します。
RESETPREPのシーケンスを下図に示します。
RESETPREPの完了後に、ホストシステムはパワーステートを遷移やリセットを行います。
RESETPREPで使用されるパラメータを下表に示します。
RESETPREP
| Field | Description |
|---|---|
| Parameter[15:0] | [0] Request(1)/Response(0) |
| Payload[95:0] | [7:0] ResetType 0x01: ホストシステムがS0からS1に遷移 0x03: ホストシステムがS0からS2に遷移 0x04: ホストシステムがS0からS4に遷移 0x05: ホストシステムがS0からS5に遷移 0x10：ホストシステムがResetを行う [15:8] PrepType 0x00: General Prepare (これ以外の値はReserved) |
パワーステートSxの定義についてはACPIの仕様書を参照してください。
1.3 PMREQ
CXLメモリデバイスが、ホストCPUから新たなコマンドを受けていない状態が続く等の要因により、低消費電力モードに自発的に入る場合や、ホストシステムがCXLメモリデバイスを低消費電力モードから復帰させる場合などに使用されます。
CXLメモリデバイスが低消費電力モードに入る場合のフローを下図に示します。
CXLメモリデバイスからのリクエストに対して、ホストCPUが許可、または不許可の応答を返します。
CXLメモリデバイスは、ホストCPUが許可した場合、低消費電力モードに入ることができます。
CXLメモリデバイスを低消費電力モードから復帰させる場合のフローを下図に示します。
PMREQで使用されるパラメータを下表に示します。
PMREQ
| Field | Description |
|---|---|
| Parameter[15:0] | [0] Request(1)/Response(0) [2] Go(1) |
| Payload[95:0] | [31:0] Latency Tolerance Reporting (LTR) [31:24] Snoop Latency[7:0] [23:16] Snoop Latency[15:8] [15:8] No-Snoop Latency[7:0] [7:0] No-Snoop Latency[15:8] |
No-Soop/Snoop Latency[15:0]のフォーマットを下表に示します。
Requirementは設定された値の有効・無効を示すビットです。LTR= (Latency Value) x (Latency Scale)として算出されます。
シーケンスの図で示されるCXL_MEM_LTRの値は、パラメータのLTRに設定されるのですが、現在リリースされているCXLの仕様書では、Low/Highで設定する明確な値は書かれていないようです。
1.4. GPF
GPFのフローを下図に示します。
CXLその17で掲載した図と同じ図ですので、フローの説明は割愛します。
GPFで使用されるパラメータを下表に示します。
GPF
| Field | Description |
|---|---|
| Parameter[15:0] | [0] Request(1)/Response(0) |
| Payload[95:0] | [7:0] GPFType [0] Powerfailが差し迫った状態であることを示す(1) [1] Cacheのフラッシュの実行を指示(1) [7:2] Reserved [15:8] GPFStatus [8] Phase1でエラーが発生したことを通知する [15:9] Reserved [17:16] Phase 0x01: Phase 1 0x02: Phase 2 |
2. Memory Error Firmware Notification VDM
Memory Error Firmware Notification VDMのフォーマットを下図に示します。
Memory Error Firmware Notification VDMは、CXLメモリデバイスでエラーが検出され、ホストCPUに通知するために使用されます。
CXLその11で示した図を以下に再掲します。
Interruptと示した箇所でMemory Error Firmware Notification VDMが使用されます。
MSI/MSI-Xの割り込みが使用される場合、Memory Error Firmware Notification VDMは使用されません。
5/10にSamsungから512GBのCXLメモリデバイスの製品の発表がされました。
2022/3Qから、顧客やパートナーに評価向けにリリースが開始されるようです。
CXLのデモ等を見る限り、既にいくつかの特定顧客にはリリースされているようですので、今回の発表では評価用にリリースする顧客の範囲を広げるという話をしているようです。
既に行っている特定顧客での評価とSamsungへの結果のフィードバックの反映でほぼ製品仕様を確定させ、2022/3Qから最後の製品仕様の調整と製品の完成度を上げて、市場に製品リリースという流れでしょうか。この発表は、最終製品仕様と製品リリースの見込みが立ったということだと思われます。
ユーザデータの記憶媒体としては、DDR5のDRAMのみのようですので、CPUが使える揮発性のメモリ空間を拡張するために使用される製品となっているようです。
CPUのCXLへの対応のRoadmapから考えると、CXL1.1対応の製品だと思われます。
SamsungのCXLメモリデバイスの最初の発表が2021/5/11で、以降に特定顧客向けリリースを開始したとすると、評価開始から製品リリースまでは、１年以上は掛かっています。比較的用途の分かりやすいDRAMの容量拡張の製品で評価期間が１年以上なので、不揮発性メモリ製品の評価期間も少なくとも１年以上は見ておいた方が良さそうです。