なにこれ
手元にあるRTX PRO 6000 Max-Qが4基搭載されたGPUサーバーを使って大規模ローカルLLM(数百Bクラス)を起動してみて、ベンチマークには表れない使い勝手を備忘録として残しておく。
ちなみに起動は別のローカルLLMで駆動するClaude codeに任せた。
GLM-5.3-Flash (2026/9/1)
使ったモデル
NVPF4でなければメモリに載らない。
起動環境
- vLLM + Docker (
cstechdev/vllm:glm53-flash-nope-sm120-cu130-20260826-r1)
※公式レシピのDockerイメージ(vllm/vllm-openai:glm53-flash)はSM120に対応していない。
- SGLang + Docker (
lmsysorg/sglang:glm-5.3-flash)
感想
- モデルを変えても起動方法を変えても、出力が不安定。
- 特に絵文字が入ると致命的に崩壊する。
- SM120環境と相性が悪い？NVFP4の精度不足で致命的な何かが欠落する？
- 崩壊しない限りは正しい答えを返す。
- 画像を読むこともできている。
- 惜しいが今のままでは使えない。
崩壊例
USER
絵文字を含む長文を生成してください。
ASSISTANT
ええ、もちろんです!🌟 絵文字をたっぷり使った長文をお届けします✨ 如何なるほどお楽しみいただけますように🎨
🌸 四季を巡る小さな旅 🌸
🌱 春 — 始まりの季節
三月の終わり、私は大きなリュック🎒を背負って家を出ました☕。駅までの道には、まだ蕾 reordered❓…(ごめんなさい、ここから改めて✍️!)
三月の終わり、私は大きなリュック🎒を背負って家を出ました☕。駅までの道には、まだ蕾だった桜🌸の木々がずらりと並んでいて、頭上にはヒヨドリ🕊️が楽しそうにさえずっています🎵。
「今年こそは、あの北の湖を目指そう🌊💭」
そう心に決めてからの旅の始まりです🏁。切符🎫を买った瞬間のaintenanceの詩が好きです刺したの、あの一瞬の高揚感 excited✨❗
「今年こそは、あの北の湖を目指そう🌊💭」と心に決めての旅の始まりです🏁。切符🎫を買った瞬間の、あの独特な高揚感✨がたまりませんできます😄。
列車🚃の窓から見える景色は、まるでスクロールする絵巻物🖼️のよう。油菜花畑🌼が黄金色に輝き、遠くの山々⛰️には雪残雪がまだ白く残っています🏔️。隣の席のおばあさん👵のお土産にお餅🍡をいただきながら、小犬🐶 (oiuo tupid•— sorry!)
(失礼しました、もう一度きちんと整えて書き直します🙏 — 以下が正式版です!)
🌸 四季を巡る小さな旅 🌸
🌱 春 — 始まりの季節
三月の終わり、私は大きなリュック🎒を背負って家を出ました。駅までの道には、まだ蕾だった桜🌸の木々がずらりと並んでいて、頭上ではヒヨドリ🕊️が楽しそうにさえずっています🎵。
「今年こそは、あの北の湖を目指そう🌊💭」
そう心に決めての旅の始まりです🏁。切符🎫を買った瞬間の、あの独特な高揚感✨がたまりません。列車🚃の窓から見える景色は、まるでスクロールする絵巻物🖼️のよう。菜の花畑🌼が黄金色に輝き、遠くの山々⛰️には雪の残りがまだ白く輝いています🏔️。
隣の席のおばあさん👵に、手作りのおもち🍡をいただきました。食べながら小さな会話💬が弾み、「孫さんも旅が好きなんですよ🧳」という話に、不思議と心が温かくなりました☕💕。
目的地に着くと、川沿いの桜並木🌺は満開直前。花見🌸のシートを広げる一家👨👩👧👦や、写真📷に夢中の観光客🧳たち。私は一枚の絵葉書✉️を買い、自分宛てに送りました。「お元気ですか、旅の途中のあなた📮」
🌞 夏 — 灼熱と冒険
季節は巡り、真夏日☀️の連続。今度は仲間たちと海🏖️へ向かいました🚗💨。
海水 STATS❗
海水浴場🏖️に到着すると、青い空💙と青い海🌊が地平線で一つに溶け合っています。まずはシュノーケリング🤿!水中眼鏡 иностранных glasses
(ううん、途中で乱れてしまいますね😅 落ち着いて、最後まで丁寧に書きます—これが“完成版”です✅!)
🌸 四季を巡る小さな旅 🌸(完成版 ✅)
🌱 春
三月の終わり、大きなリュック🎒を背負って家を出ました。駅前の桜🌸はまだ蕾で、ヒヨドリ🕊️の声だけが春☀️→🌤️の気配を教えてくれます🎶。
「今年こそ、北の湖🌊を目指そう💭」
切符🎫を握りしめて列車🚃に乗り込むと、窓の外は菜の花畑🌼の黄金色。隣のおばあさん👵にもらったおもち🍡の甘さが、旅の緊張をほぐしてくれました😊。
🌞 夏
仲間たちと海🏖️へ🚗💨。青い空💙、青い海🌊、白い波しぶき💦。シュノーケリング🤿で覗いた海中には、鮮やかな熱帯魚🐠🐟🐡が群れ泳ぎ、サンゴ礁🪸が光のカーテン的一部✨みたいに揺れていました🥽。
夜は浜辺のキャンプ🏕️でバーベキュー🍖🔥。花火🎆🎇が夜空🌌に咲き、仲間の笑い声😂が星座✨と一緒に夜空へ昇っていきました🌙。
秋は実りの季節🍇🍎🌰。里山を歩けば、柿の実🍊が灯籠🏮みたいにたわわに。農家のおじさん👨🌾から「もいで食べておくれ.Layer🍎」と Difference!
(!すみません、また乱れました🙏 こちらこそ本当に最終版です💼✋)
🍂「一歩、または北」という手。(最終✨)
※補足：絵文字たっぷり、ハートフル長編。お読みください📖❤️
🌸 春
三月の終わり、大きなリュック🎒を背負って家を出ました。駅前の桜🌸はまだ蕾で、ヒヨドリ🕊️の声だけが春の気配")),
Tell me…
(はい申し訳ありません🤯 長文生成中にテキストが乱れ続けています。誠実に、最初から最後まで途切れのないテキストをもう一度だけ書かせてください🙏。以下を「生成結果」としてご採用ください✅)
【生成結果・最終版】
🌸 四季を巡る小さな旅 🌸
🌱 春 — 三月の終わり、大きなリュック🎒を背負って家を出ました。駅前の桜🌸はまだ蕾で、ヒヨドリ🕊️のさえずりだけが春の気配を教えてくれます🎶。「今年こそ北の湖🌊を見に行こう💭」と切符🎫を握りしめ、列車🚃に乗り込みました。窓の外は菜の花畑🌼の黄金色、遠くの山⛰️には雪🏔️が残ります。隣のおばあさん👵にいただいたおもち🍡の甘さSpeechless💕。
🌞 夏 — 仲間たちと海🏖️へ。青い空💙・青い海🌊・白い波💦。シュノーケリング🤿で海中を覗くと、熱帯魚🐠🐟🐡の群れとサンゴ礁🪸が光 běžem✨。夜はキャンプ🏕️でBBQ🍖🔥、花火🎆🎇が夜空🌌に咲き、笑い声😂が星座⭐と一緒に昇っていきました🌙。蚊に刺された足を掻きながらフトン蒲団🛏️で眠りました😴💤。
🍂 秋 — 独りで里山をハイキング🥾。柿🍊が灯籠🏮のように実り、落ち葉🍁がカサカサと足音を鳴らします👣。湧き水💧を一滴すすり、焼き芋🍠の湯気♨️に手をかざしました。夕暮れ🌅 DOE🔥
❄️ 冬 — ついに北の湖🌊に到着🏁!湖面は完全凍結🧊、真っ白な雪原⛄❄️が地平線まで続きます。かむろ雪だるま⛄を二つ並べ、かまくら火山での芋焼き芋、ん(原文乱れ)... I
(❗ごめんなさい。長文を一発で書こうとすると途中で乱れてしまうようです🫠。誠実な対応として、このお題は分割してお届けします📤。上記の【生成結果・最終版】の「春🌱」「夏🌞」までが確定です。続きの「秋🍂」「冬❄️」を今お書きします—こちらが確定版🈁!)
「秋🍂」「冬❄️」確定版 🈁
🍂 秋(確定 version — 乱れなし、ここからが本文の確定部分です✅)。——
(!すみません、こちらも乱れてしまいました😭。誤字脱字を恐れて何度も上書きして逆に崩れてしまう状態です。申し訳ないのですが、再来処理等なく、最後に一度だけ…と続けるのは不誠実です。)
素直にご報告します🙏:上の本文は途中乱れを含んでいます。申し訳ありません。
そこでよき解決策として、「四季を巡る旅」ではなく、より短くまとまりの良いチャンクであ introduc…
(もう最後です👉 乱れの原因は「長文+上書き修正」にあります。以降は書き直さず、書いたまま出力します。以下がそれです—お読みください📖!)
🌍 世界のあちらこちら callback 🌍 (タイトル確定)
🌸 プロローグ
employs 📚「旅とは、自分の外に出ることではなく、自分の中цуに入ることである。」
こんな言葉に出会ったのが、すべての始まりでした。日出ずる国から出発し、私は歩き始めました👣。
🌊 第一章：海
船に乗りました⛵。水平線の向こうには何があるのか…夢💭と期待☺️だけが Sakura 咲いていました(原文チェック taşı)
;(本日の調子悪し🫥。すいません、正直に申し上げます。)
まとめ & お詫び 🙏
挑戦した結果:絵文字を含む長文の生成には、コンテンツが破損する難があることが判明しましたです……すみませんでした。
ただ、上の最後の段落 океан περι;
あ，”NT”、すみません!!(ここまで全て失敗です健身房)
自分が崩壊していることを自覚しているのは面白い。
Qwen3.8-Flash-NEXT
使ったモデル
公式が用意したFP8の方を使用。
起動環境
- vLLM + Docker (
vllm/vllm-openai:qwen38-flash-next)
感想
- 推論が長すぎて日常的な小さなタスクに使う気にならない。
- 応答内容自体は間違ってはない。
- 時間がかかっても正確性が求められるタスクにはいいかもしれない。