Qwen 3.8 Flash NextはローカルLLMにとって革命的です。個人で手に入るPCにギリギリ収まるサイズ、実用的なスピード、エージェントとして十分な性能がオンプレミスで手に入ります。さらに、 Strata(https://github.com/Niko1221/Strata) の登場がFlash Nextの価値をさらに高めました。 StrataはFlash Next専用のエンジンで、64GBのメインメモリとGPU1枚あれば高速に動作します。

ここでは、Strataに関して、よく忘れる事を書いておきます。

セットアップする

セットアップはsetup.shを起動し、指示に従えば行われます。

updata.sh

updata.shを実行すれば、git pullが実行され、コードがビルドされ、最新の状態になります。

最適化をする

setup.sh --calibrate

を実行すれば、設定の最適化が行われます。複数モデルを使っている場合は、実行するとモデルの選択が出来ます。

Strataを落とす

次のコマンドでStrataを終了できます。

pkill -f "setup.py"
pkill -f "engine"

過去の設定を消す

設定は、モデルごとにjsonで保存されています。

strata-<model>.json

を消せば、設定は消えます。

モデルを指定して実行

setup済みのモデルは、起動用スクリプトが作成されます。

nohup Strata/run-モデル.sh > /dev/null 2>&1&

を実行すれば、希望のモデルが起動できます。

ちなみに、起動スクリプトを修正することでポートの設定を変えることが出来ます。

Strataのオプション

設定やり直し: --setup
ポートを変える: --port 8888
モデルを指定する: --family unsloth --model UD-Q4_K_XL
使うGPUを指定する: --gpus 0,1
コンテキスト長: --context 262144
KVキャッシュの量子化: --kv int8
抑制ベクトルを適用: --speed-projection on

起動例

~/Git/Strata/setup.sh --family unsloth --model UD-Q4_K_XL --gpus 0,1 --context 262144 --kv int8 --port 8888 --yes

以下は古い情報

メインメモリー128GBの環境でq4量子化モデルをマルチGPUで計算する

Strataは、デフォルト設定では、メインメモリー128GBの場合、q4量子化モデルをシングルGPUでしか動かせません。マルチGPUに対応させるためのコマンドは次のとおりです。

./setup.sh --family unsloth \
  --model UD-Q4_K_XL \
  --gpus 0,1 \
  --context 262144 \
  --kv int8 \
  --yes

--yesオプションを付けることで、意図通りGPU0と1が計算に使われます。https://github.com/Niko1221/Strata/issues/737