Sonar (Aphrodite Engine) で EXL3 の未報告バグを2つ見つけて直した話、あとGDNハイブリッドモデルの謎速度チューニング
はじめに TabbyAPI(exllamav3)でQwen3.6系のEXL3量子化モデルを個人運用していたが、OpenWebUI + Hermes(自作エージェント)の同時利用でリクエストが直列...
0
0
Comment0
41 search resultsShowing 1~20 results
Stocked
You need to log-in
RTX 5070 12GB × 2 で Qwen3.8-27B を動かす — 起動フラグ全解説と、MTP・VRAM崖・複数画像クラッシュとの格闘記
対象読者: ローカルLLMをこれから本格運用したい人。「なんとなく動いた」から「なぜこの値なのか説明できる」へ進みたい人。 環境: Windows 11 + WSL2 / RTX 5070 12...
0
0
Comment0
配布wheelにsglangのPRを自力で統合する — Escha-W2(2bit MoE)にOSCAR INT2 KVを載せて262Kコンテキストを出すまで
この記事の統合手順は、dense版(Qwen3.8-27B)にも対応した「手順書」版にまとめ直しました。 コピペで進められる形になっていて、ファイル単位の対応表・回転行列の生成スクリプト・統合チ...
0
0
Comment0
WSL2ローカルLLM運用で学んだメモリの教訓(RAM・VRAM・vLLM設定)
RTX 5070 12GB×2 + WSL2でvLLM系エンジン(Aphroditeフォーク。フラグと仕組みはvLLM共通)を1ヶ月常時運用。踏んだ地雷と最終設定。数値は実測ですが環境依存なので...
0
0
Comment0
【記事ドラフト】Ornith-1.0-9B(Qwen3.5 9B)の日本語が突然「中国語・韓国語まじり」になる問題 — 原因と推奨設定（実測つき）
こんな症状に心当たりはありませんか？ で日本語チャOrnith-1.0-9Bでチャットをしていて、ある日突然こんな出力が出てくる—— 政府の補助金には企业振兴事业补助金があります… 背景: 시는...
0
0
Comment0
記事に誤りがあったので修正したら報告します。 RTX 5070×2(12GB×2)で27B denseモデルを2bit量子化して動かしてみた話 — Escha-W2検証レポート
この記事は何 コンシューマGPU(RTX 5070×2、12GB×2、WSL2)で、普段はOrnith-1.5-35B-A3B(EXL3量子化)を本番運用していますが、 2bit量子化なのに異常...
0
0
Comment0
Sonar (Aphrodite Engine) + Ornith-1.0-9B、本番投入後に踏んだ追加バグ2件と「原因不明の遅さ」の正体
前回までのおさらい 以前、Sonar(Aphrodite Engine、vLLMのフォーク)+ EXL3量子化 + Ornith-1.0-9Bという構成で本番運用を始めた話、そのタグ断片漏れバグ...
0
0
Comment0
Sonar (Aphrodite Engine) + Ornith-1.0-9B のreasoning/tool-callタグ断片漏れバグを根本修正した話 — vLLM本家の未マージ統一パーサーエンジンを移植・検証したら副産物で3つの追加バグを踏んだ
前回までのおさらい 前回の記事で、Sonar(Aphrodite Engine)+ Ornith-1.0-9B(EXL3 6bpw量子化)の本番投入後に、</think>や<t...
0
0
Comment0
Ornith-1.0-9Bのハルシネーションを止めたい為、プロンプトA/Bテストをしたら、自作プロキシの二重注入に足を掬われた話
Ornith-1.0-9Bは、Qwen3.5系をベースにした比較的新しいローカルLLMで、サイズの割に応答品質が高くローカルのサーバーでの運用に手頃なモデルだ。ただ実際に使い込んでみると、**存...
0
0
Comment0
vLLM 0.31 に上げて TTFT を詰めた記録 — 「1,584トークン未満は prefix cache に残らない」と、RAG を"モデルに決めさせる"話（追加PR4件は効かなかった）
前回（2026-09-29）の記事で、3値27B（Ternary-Bonsai-2-27B）を RTX 5070×2 の vLLM TP=2 で本番運用する話を書きました。その続編です。2026...
1
0
Comment0
Qwen3.6-35B-A3B Escha-W2(2bit)+Oscar(KV2bit) SGLang独自フォーク（リンク有） ローカルLLMの無限ループを本気で止める
RTX 5070 12GB × 2(WSL2)という構成で、Qwen3.6-35B-A3B の2bit量子化版を運用しています。 ある日、生成が「銘柄銘柄銘柄……」と数百回繰り返して止まらなくな...
0
0
Comment0
【手順書】dense でも MoE でも通る — sglang の未マージPR(OSCAR INT2 KV)を Escha-W2 ランタイムに統合
12GBのコンシューマGPU 2枚で、dense 27B を192Kコンテキスト、MoE 35B-A3B を262Kコンテキストで運用しています。条件は同じで、KVキャッシュを2bit(OSCA...
0
0
Comment0
コンシューマGPU2枚(12GB×2枚＝24GB）でNemotron-3-Nanoを動かしてみた
こんな環境で悩んでいませんか RTX 5070や5060クラスのGPUが1〜2枚 VRAMは12GB前後、大きいモデルは入らない でもローカルLLMは長い文脈もサクサク動いてほしい この条件、実...
0
0
Comment0
個人ホームラボでLLMを「複数人で80K以上のコンテキスト」使えるようにするまでのエンジン遍歴
はじめに これは技術詳細の記事(Sonar (Aphrodite Engine) で EXL3 の未報告バグを2つ見つけて直した話)の前段として、そこに至るまでの数週間の遠回りをまとめたものです...
0
0
Comment0
NVIDIA Nemotron 3.5 Lightning をコンシューマGPU(RTX 5070 ×2 / WSL2)で動かす — 起動フラグ・ハマりどころ全部乗せ
Nemotron 3.5 Lightningの魅力 GPU 12GB × 2枚、合計24GBという「決して大きくない」手元の環境で、192Kコンテキスト×同時3本前後・単発101 tok/s・4...
0
0
Comment0
Sonar (Aphrodite Engine) + EXL3 + GDNハイブリッド構成 検証記録
Sonar (Aphrodite Engine) + EXL3 + GDNハイブリッド構成 検証記録 日付: 2026-07-15 環境: (WSL2 Ubuntu, RTX 5070 ×2 /...
0
0
Comment0
Ornith-1.0-9B vs Ling-3.0-tiny を同条件で殴り合わせてみた話、あと「1.3Bしか動いてない」の罠
はじめに 「総パラメータ7.9B、実際に動くのはたった1.3Bだけ」——そんな触れ込みのモデル、Ling-3.0-tiny(InclusionAI/Ant Group)がnoteの記事で紹介され...
1
0
Comment0
3値27B(Ternary-Bonsai-2-27B)を RTX 5070×2 の vLLM TP=2 で本番運用した記録 — 最後の壁は PCIe x4 と WSL2 の通信
RTX 5070（12GB）2枚の WSL2 環境で、3値量子化の 27B モデル Ternary-Bonsai-2-27B を vLLM のテンソル並列（TP=2）で本番運用するまでの記録です...
0
0
Comment0
WSL2のRTX 5070×2でTernary-Bonsai-2-27Bをvllmで動かして、NCCLとprefill中の速度低下に正面から取り組んだ
はじめに 家のPCに、RTX 5070(12GB)を2枚挿して、Ternary-Bonsai-2-27B(Prism MLのモデル。ternary = 重みが {-1, 0, +1} の2bit...
0
0
Comment0
Ornith-1.5-35B(EXL3 2.75bpw)をSonar(旧Aphrodite Engine)で動かす
推論エンジンは2026年にAphrodite Engineから正式に「Sonar」へ名称変更されている(リポジトリはdphnAI/sonar)。ただしCLIコマンド自体は現時点でもまだaphro...
0
0
Comment0
41 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles