TL;DR
2026年1月の敗北
検証環境
まず土管の実力を測る: CX7直結リンクの生帯域
コラム: CX7はNVLinkではない
最終結果サマリ
- GLM-5.2 GGUF + llama.cpp RPC
- Qwen3-235B-A22B-FP4 + TensorRT-LLM
最短で動作確認する手順: GLM-5.2 GGUF + llama.cpp RPC TCP
TensorRT-LLMでQwen3-235Bを動かす
- RoCE/NCCL directが落ちる点
RPC over RDMA検証: TCPとのA/B比較
- A/Bを成立させるための前提: 自動ネゴシエーションの罠
- 測定条件
- 結果1: GPT-OSS-120B (各3回平均)
- 結果2: GLM-5.2
- 落とし穴: シャットダウン時のクライアント側クラッシュ(条件特定・回避策実証済み)
- 運用判断: それでもデフォルトはTCP
同時リクエスト性能: TTFTと「真の並列」
- まず踏んだ罠: --parallel 1 のままc=2を投げると「見せかけの並列」になる
- --parallel を一致させた真の並列スイープ
- RDMAは並列時にどうなるか
- 参考: GPT-OSS-120Bの2ノードサービング
GLM-5.2とは / なぜ選んだか
まとめ
参考リンク