0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

4GB VRAMのノートPCでローカルAIを安定稼働させるアーキテクチャ設計:Tauri v2 + Node.js (SQLite WAL) + PyTorch

0
Posted at

はじめに

デスクトップ向けのローカルAIアプリを開発する際、最大のボトルネックとなるのが**「開発環境と一般ユーザーのPCスペックの乖離」**です。
開発者のマシンがRTX 4090やVRAM 24GBを積んでいても、実際のユーザーが持つノートPCは「RTX 3050 (4GB VRAM) / メモリ 16GB」程度であることが大半です。

このリソース制約下で、

  1. 1024次元マルチリンガル埋め込み(BGE-M3)
  2. クロスエンコーダー再ランク(BGE Reranker v2)
  3. 高品質ニューラル音声合成(Kokoro-82M TTS)
  4. 大量ドキュメントのSQLite WAL高速検索

をクラッシュさせずに同時に動かすには、綿密なマルチプロセス設計とメモリ調停が不可欠です。

本稿では、50万文字超の技術書をクラウドAPIゼロで7:1に圧縮し、原文への1クリック引用リンクを自動生成するOSSリーダー「Omnitome」の開発で得られた実践知を共有します。


▲ 生成された文節から、根拠となる原文へ直接ジャンプして検証できる(Clickable Provenance)


1. 全体構成:なぜ3プロセスに分離するのか?

Electronのような単一プロセス+Web技術の構成では、重いAIモデルのロードやPythonのエコシステムを抱え込むと肥大化し、メモリを浪費します。そこで、以下の3階層に責務を分離しました。

[Tauri v2 (Rust)]           → ウィンドウ管理・プロセスライフサイクル・クリーンアップ
        │
        ▼ (HTTP REST)
[Node.js 22 LTS]            → 単一SQLite WALライター・インジェスト待機バリア (RAM <300MB)
        │
        ▼ (HTTP REST)
[FastAPI (Python/PyTorch)]  → GPU推論専任 (BGE-M3 / Reranker / Kokoro TTS) + TTL VRAM解放

なぜNode.jsを「単一SQLiteライター」にしたのか?

PythonのマルチプロセスやRustから直接SQLiteに書き込みを行うと、トランザクションの競合やロック待ちによるタイムアウト、最悪の場合はファイル破損のリスクが高まります。
Omnitomeでは、better-sqlite3のWALモードをNode.js側のみに持たせ、すべてのデータ読み書きをNode.js経由に一元化しました。Pythonサイドカーは完全なステートレス計算エンジンとして機能します。


2. 4GB VRAMの壁:モデル遅延ロードとTTLエビクション(F43)

4GB VRAM環境下で、BGE-M3(約2.1GB)、BGE Reranker(約2.2GB)、Kokoro TTS(約700MB)を常駐させると、合計5GBを超えて瞬時にCUDA OOMが発生します。


▲ 完全オフラインでのKokoroニューラル音声合成とフォーカス読書体験

解決策:スライディングTTLタイマーによるVRAMの自動返却

起動時はBGE-M3(埋め込み用)のみをロード。RerankerやTTSは初回呼び出し時に初めて初期化(Lazy Warming)します。
処理終了後は、スライディングタイマー(TTL)によりアイドル状態が続いたモデルを自動アンロードし、torch.cuda.empty_cache()とgc.collect()で最大3.2GBのVRAMをOSに即座に返却します。

class ModelLifecycleManager:
    """アイドル時間に応じて重いモデルをVRAMから自動退去させる"""
    def __init__(self, ttl_seconds=300):
        self.ttl = ttl_seconds
        self.last_accessed = None
        self.model = None

    def access(self):
        self.last_accessed = time.time()
        if self.model is None:
            self._load_model()
        return self.model

    def tick_eviction(self):
        if self.model and (time.time() - self.last_accessed > self.ttl):
            del self.model
            self.model = None
            if torch.cuda.is_available():
                torch.cuda.empty_cache()
            gc.collect()
            logger.info("Evicted model from VRAM. Cache cleared.")

3. 大量ドキュメントインジェスト時のNode.jsメモリ高騰対策(F65)

初期実装では、8万単語の技術書をインポートした際にPromise.allで全章並行のベクトル化・DB書き込みを行っていたため、Node.jsのヒープメモリが14GBを超えてOSクラッシュを引き起こしました。

解決策:逐次Awaitバリアによるメモリ上限の固定

// 制御されたキューによる逐次処理によるメモリ固定化
async function processDocumentSlices(slices) {
  for (let i = 0; i < slices.length; i++) {
    const slice = slices[i];
    // 1スライスごとに推論と保存を確実に完了させる
    const embedding = await sidecarClient.embed(slice.content);
    await db.saveChunk(slice.id, embedding);
    // ガベージコレクションを促すため参照を明示的にクリア
    slices[i] = null; 
  }
}

結果として、10冊・50万文字超の一括インポート時でも、Node.jsプロセスのRAM消費は常時296 MB以下に抑えることに成功しました。


4. 日本語(CJK)テキスト処理におけるトークン爆発ガード

英語圏で作られたテキスト処理ライブラリをそのまま使うと、日本語では単語区切りの空白が存在しないため、text.split(/\s+/)が数千文字を1単語と誤判定します。
その結果、チャンク分割が機能せず、トークナイザーが規定のコンテキスト長を大幅にオーバーしてクラッシュします(通称『痴人の愛』バグ)。

解決策:CJK正規表現重み付けと8K文字ハードリミット(F51b)

function countWordsCJK(text) {
  if (!text) return 0;
  const latinCount = (text.match(/[A-Za-z0-9_\-]+/g) || []).length;
  // ひらがな、カタカナ、漢字、ハングルを抽出
  const cjkMatches = text.match(/[\u3000-\u303F\u3040-\u309F\u30A0-\u30FF\u4E00-\u9FFF\uAC00-\uD7AF]/g) || [];
  // CJK 1文字 = 約0.7単語として換算
  return latinCount + Math.round(cjkMatches.length * 0.7);
}

さらに、チャンクサイズが8,000文字を超える場合は、句点(。や.)の境界で強制的に安全分割するガードを敷いています。


まとめとリンク

限られたローカルマシンのハードウェア資源でも、

  1. プロセス責務の厳格な分離(単一SQLiteライター)
  2. モデルの遅延ロードとTTLエビクションによるVRAM調停
  3. 逐次実行キューによるNode.jsヒープの固定化
  4. 言語特性に応じたチャンク境界ガード

を徹底することで、商用クラウドAPIに頼らない高速かつ高精度なローカルAIデスクトップ環境を構築できます。

フルソースコードはGitHubで公開していますので、TauriやローカルLLM/RAGアプリを開発されている方の参考になれば幸いです。

3分間アーキテクチャ解説デモ動画

0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?