はじめに
デスクトップ向けのローカルAIアプリを開発する際、最大のボトルネックとなるのが**「開発環境と一般ユーザーのPCスペックの乖離」**です。
開発者のマシンがRTX 4090やVRAM 24GBを積んでいても、実際のユーザーが持つノートPCは「RTX 3050 (4GB VRAM) / メモリ 16GB」程度であることが大半です。
このリソース制約下で、
- 1024次元マルチリンガル埋め込み(BGE-M3)
- クロスエンコーダー再ランク(BGE Reranker v2)
- 高品質ニューラル音声合成(Kokoro-82M TTS)
- 大量ドキュメントのSQLite WAL高速検索
をクラッシュさせずに同時に動かすには、綿密なマルチプロセス設計とメモリ調停が不可欠です。
本稿では、50万文字超の技術書をクラウドAPIゼロで7:1に圧縮し、原文への1クリック引用リンクを自動生成するOSSリーダー「Omnitome」の開発で得られた実践知を共有します。

▲ 生成された文節から、根拠となる原文へ直接ジャンプして検証できる(Clickable Provenance)
- GitHub (Full Source): https://github.com/ayumu-ml/Omnitome
- Product Hunt: https://www.producthunt.com/products/omnitome
1. 全体構成:なぜ3プロセスに分離するのか?
Electronのような単一プロセス+Web技術の構成では、重いAIモデルのロードやPythonのエコシステムを抱え込むと肥大化し、メモリを浪費します。そこで、以下の3階層に責務を分離しました。
[Tauri v2 (Rust)] → ウィンドウ管理・プロセスライフサイクル・クリーンアップ
│
▼ (HTTP REST)
[Node.js 22 LTS] → 単一SQLite WALライター・インジェスト待機バリア (RAM <300MB)
│
▼ (HTTP REST)
[FastAPI (Python/PyTorch)] → GPU推論専任 (BGE-M3 / Reranker / Kokoro TTS) + TTL VRAM解放
なぜNode.jsを「単一SQLiteライター」にしたのか?
PythonのマルチプロセスやRustから直接SQLiteに書き込みを行うと、トランザクションの競合やロック待ちによるタイムアウト、最悪の場合はファイル破損のリスクが高まります。
Omnitomeでは、better-sqlite3のWALモードをNode.js側のみに持たせ、すべてのデータ読み書きをNode.js経由に一元化しました。Pythonサイドカーは完全なステートレス計算エンジンとして機能します。
2. 4GB VRAMの壁:モデル遅延ロードとTTLエビクション(F43)
4GB VRAM環境下で、BGE-M3(約2.1GB)、BGE Reranker(約2.2GB)、Kokoro TTS(約700MB)を常駐させると、合計5GBを超えて瞬時にCUDA OOMが発生します。

▲ 完全オフラインでのKokoroニューラル音声合成とフォーカス読書体験
解決策:スライディングTTLタイマーによるVRAMの自動返却
起動時はBGE-M3(埋め込み用)のみをロード。RerankerやTTSは初回呼び出し時に初めて初期化(Lazy Warming)します。
処理終了後は、スライディングタイマー(TTL)によりアイドル状態が続いたモデルを自動アンロードし、torch.cuda.empty_cache()とgc.collect()で最大3.2GBのVRAMをOSに即座に返却します。
class ModelLifecycleManager:
"""アイドル時間に応じて重いモデルをVRAMから自動退去させる"""
def __init__(self, ttl_seconds=300):
self.ttl = ttl_seconds
self.last_accessed = None
self.model = None
def access(self):
self.last_accessed = time.time()
if self.model is None:
self._load_model()
return self.model
def tick_eviction(self):
if self.model and (time.time() - self.last_accessed > self.ttl):
del self.model
self.model = None
if torch.cuda.is_available():
torch.cuda.empty_cache()
gc.collect()
logger.info("Evicted model from VRAM. Cache cleared.")
3. 大量ドキュメントインジェスト時のNode.jsメモリ高騰対策(F65)
初期実装では、8万単語の技術書をインポートした際にPromise.allで全章並行のベクトル化・DB書き込みを行っていたため、Node.jsのヒープメモリが14GBを超えてOSクラッシュを引き起こしました。
解決策:逐次Awaitバリアによるメモリ上限の固定
// 制御されたキューによる逐次処理によるメモリ固定化
async function processDocumentSlices(slices) {
for (let i = 0; i < slices.length; i++) {
const slice = slices[i];
// 1スライスごとに推論と保存を確実に完了させる
const embedding = await sidecarClient.embed(slice.content);
await db.saveChunk(slice.id, embedding);
// ガベージコレクションを促すため参照を明示的にクリア
slices[i] = null;
}
}
結果として、10冊・50万文字超の一括インポート時でも、Node.jsプロセスのRAM消費は常時296 MB以下に抑えることに成功しました。
4. 日本語(CJK)テキスト処理におけるトークン爆発ガード
英語圏で作られたテキスト処理ライブラリをそのまま使うと、日本語では単語区切りの空白が存在しないため、text.split(/\s+/)が数千文字を1単語と誤判定します。
その結果、チャンク分割が機能せず、トークナイザーが規定のコンテキスト長を大幅にオーバーしてクラッシュします(通称『痴人の愛』バグ)。
解決策:CJK正規表現重み付けと8K文字ハードリミット(F51b)
function countWordsCJK(text) {
if (!text) return 0;
const latinCount = (text.match(/[A-Za-z0-9_\-]+/g) || []).length;
// ひらがな、カタカナ、漢字、ハングルを抽出
const cjkMatches = text.match(/[\u3000-\u303F\u3040-\u309F\u30A0-\u30FF\u4E00-\u9FFF\uAC00-\uD7AF]/g) || [];
// CJK 1文字 = 約0.7単語として換算
return latinCount + Math.round(cjkMatches.length * 0.7);
}
さらに、チャンクサイズが8,000文字を超える場合は、句点(。や.)の境界で強制的に安全分割するガードを敷いています。
まとめとリンク
限られたローカルマシンのハードウェア資源でも、
- プロセス責務の厳格な分離(単一SQLiteライター)
- モデルの遅延ロードとTTLエビクションによるVRAM調停
- 逐次実行キューによるNode.jsヒープの固定化
- 言語特性に応じたチャンク境界ガード
を徹底することで、商用クラウドAPIに頼らない高速かつ高精度なローカルAIデスクトップ環境を構築できます。
フルソースコードはGitHubで公開していますので、TauriやローカルLLM/RAGアプリを開発されている方の参考になれば幸いです。
- GitHub: https://github.com/ayumu-ml/Omnitome
- Product Hunt: https://www.producthunt.com/products/omnitome
3分間アーキテクチャ解説デモ動画