🖥️ミニPCでローカルLLM (Qwen3.8制限解除版) を動かしてみた — BionicとLM Studioが起動失敗からUnslothで成功まで

チャットAIというとChatGPTやGeminiをアプリやWebブラウザで使う方法が定番ですが、公開モデルは限られるものの、パソコンにインストールして使う方法もあります。利用料金は無料、使い放題、検閲解除版のモデルも数多く出回っています。

数年前までは超スペックPCでも重くて使い物になりませんでしたが、最近は公開AIモデルの性能が上がり、ツールも最適化されて動作が軽くなっているらしいので、再びローカルLLMを試してみようと思いました。

そしてどうせなら、ミニPCでも制限解除版のローカルLLMが動くのかを確かめてみることにしました。

🔄 LM StudioがBionicになっていた

Windows 11では「LM Studio」という無料ソフトが有名です。

かつて使っていたので再びダウンロードしようと公式サイトを開くと、今は「Bionic」という名称が前面に出ていました。LM Studio本体は廃止されたわけではなく、下記から引き続きダウンロードできました。

役割は分かれています。

• LM Studio … 従来版で、管理系の機能を幅広く利用。
• Bionic … エージェント機能があり、ローカルファイルを編集可能。

Bionicは2026年7月にLM Studioチームがリリースした独立アプリで、LM Studioとは別のアプリケーションとして提供されています。ローカルモデルの実行にはLM Studioのランタイムが使われるため、高度な設定をしたい場合はLM StudioとBionicを併用する形になります。

どちらでもチャットAI機能は利用できるので、どうしてもLM Studioにしかない機能を使いたい場合を除き、Bionicのみで良いでしょう。

🖥️ RTX搭載PCにBionicをインストールし、Huihui Qwen3.8 27B Abliterated UD DW を動かす

数年前は個人が作成した独自のチャットAIモデルが乱立しており、日本語文章が得意なモデルはどれが良いのか、バージョンアップの度に振り回されていました。

しかし最近のトレンドとしては「Qwenシリーズなら大抵のことはできる」ことから、このシリーズを個人が好き勝手にカスタマイズして配布しまくっている状況のようです。似たような名前で大量に見つかるので、一概に最強モデルは存在しない点に注意してください。

RTXを積んだデスクトップPCにBionicをインストールし、サイドバーの「探索」から今回は「Huihui Qwen3.8 27B Abliterated UD DW」の「Q4_K_M」を導入しました。制限解除版には色々な定義や呼び名がありますが、「Abliterated」もそのうちの1つです。

VRAMが8GB以下だったりGPUを積んでないPCは、「Qwen3.8-4B-Distill-Heretic-Abliterated-GGUF」がわずか3.46GBの軽量モデルなので試してみてください。

temperatureの初期値は0.1でした。余計なことをさせずに事実ベースの回答やデータの仕分けに向いています。通常のチャットAIより制限に縛られない自由な発想を引き出すなど、創造性を高めたい場合は0.8〜1.0が目安になります。

このRTX機での動作確認はここまでで、次からが本題です。これだけ軽いモデルがあるなら、GPU非搭載のミニPCでも動くのでは？ と思い、手元のミニPCで検証を始めました。

📛 制限解除版モデルの呼び名あれこれ

モデル名に付いている「Abliterated」「Heretic」「Distill」「Uncensored」は、初見だと混乱しやすいので整理しておきます。

用語	意味
Abliterated	モデルから「拒否応答」の回路を外科的に除去したもの。ベースモデルの知識はそのままに、回答を拒否しなくなる
Heretic	制限解除に使うオープンソースツールの名称。このツールで処理されたモデルはコミュニティで「Heretic」とラベルされることが多い
Distill	大きいモデルの出力を使って小さいモデルを学習させた蒸留版。サイズが小さくても性能を引き継ぐ
Uncensored	検閲除去版の総称。特定の手法を指すものではなく、AbliteratedやHereticを含む広い概念

「Heretic」と「Abliterated」はよくセットで使われますが、Hereticはツール名、Abliteratedはその結果という関係です。

つまり「Qwen3.8-4B-Distill-Heretic-Abliterated」は、Qwen3.8を蒸留で4Bまで小さくし、Hereticツールで制限解除したモデル、ということになります。

⚠️ 軽量モデルならミニPCにも入るのでは、と試したら起動できなかった

次に試したのは軽作業用のミニPCです。Ryzen 7 7840HS（Radeon 780M）搭載機で、軽量モデル「Qwen3.8-4B-Distill-Heretic-Abliterated」のQ4_K_Mなら動くのではと思い、LM StudioとBionicをインストールしました。

しかしどちらも起動しませんでした。GPU初期化まわりの問題らしく、Electronベースのアプリがウィンドウを表示できない状態のようです。

🔧 起動オプション追記で起動だけはした

色々調べた結果、ショートカットのプロパティを開き、「リンク先」欄の末尾（相対パスの記述はそのまま）にスペースを空けて --disable-gpu --in-process-gpu を追記すると、起動だけはしました。

その状態でAIモデルを導入して読み込ませても、エラーで動作しませんでした。どうやら起動はできても、肝心の推論部分でGPUが使えないとモデルをロードできないようです。

✅ 別のAIエージェントソフト「Unsloth」は普通に起動した

同じミニPCに、最近注目されているオープンソースの「Unsloth Desktop」をインストールしたところ、普通に起動しました。

インストールの過程で色々なツールをインストールさせられますが、どうやらテキストのLLMだけでなく、MiniMax-H3、Z-Image、LTX、Qwen-Image、FLUX、SDXLといった画像・動画・音声系の各種モデルも扱えたり、連携できたりするようです。

使いこなすのは大変かと思いますが、無料で色々なことを学びたい・試したい人はこちらの方が向いていると思います。

📥 軽量版のAIモデル Qwen3.8-4B-Distill-Heretic-Abliterated Q4_K_M を入れる

同じように、モデル一覧から「Qwen3.8-4B-Distill-Heretic-Abliterated」のQ4_K_Mを検索してダウンロードしました。さすがにしっかりしたGPUではないので、出力速度はそれなりにもっさりしますが、起動も応答も問題ありませんでした。

制限解除版のモデルなので、通常のチャットAIに聞くと断られる質問にも答えてくれやすいです。

🔎 4Bは賢くないが、検索ありきで答えさせるとハルシネーションが減る

4Bというサイズなので、知識量や推論力はそこまで高くありません。誤った情報を返すことがあります。

検索とthinkingをオンにし、「最近のAIニュースをまとめて」と指示すると、最新の情報を答えてずらずらと答えてくれました。

ブラウザでタブをたくさん開いたり動画視聴をしていたので9トークン/秒の速度でしたが、ミニPCでも制限解除版のローカルLLMを実用的に動かせる時代になりました。

ただ、他のAIで全文ファクトチェックさせたところ、一部の項目がごちゃまぜになって出力されている箇所が見つかりました。いくらソースありきでも、文章生成の過程でハルシネーションは起きるようです。

ミニPCやノートPCでも制限解除版のローカルLLMを動かせるのは便利ですが、快適と言えるレベルや質を上げるには、やはり高価なゲーミングPCやクリエイターPCが必要のようです。

📋 [おまけ]用途別の無料チャットAIのリンク集

一般的な利用目的なら、まずは有名どころを使ってみるのが手っ取り早いです。

日常的な質問、文章作成・整形、要約、アイデア出し、コーディング補助など

• ChatGPT — 最近はGPT-5.6 Lunaが無料版の標準モデルとなり、日常的なテキストチャットは無制限に。
• Claude — 長文読解や自然な文章生成に強く、文章作成やコーディング支援にも。
• Gemini — Googleサービスとの連携が強み。YouTubeのURLを入れて処理するなど。
• Google AI Studio — Geminiの各種モデルを試したり、パラメータを調整したり、APIを使ったり試したい時に。

検索・情報収集

Web上の情報を調べたり、出典を確認しながら回答してほしいときに。

• Perplexity — Web検索とAIを組み合わせたサービス。回答に参照元を付けてくれるので、情報収集やファクトチェックの補助に便利。
• Grok — Xとの連携が特徴。X上の情報を含め、リアルタイム性のある話題を調べたいときに便利。

米国以外のAI

米国系サービスとは異なる運営方針やコンテンツ制限なので、ローカルLLMを使う前に試してみるのもあり。

• DeepSeek — 反応が速く、汎用的な質問からコーディングまで幅広く使える。
• Qwen — Alibaba系のAI。Webサービスとして利用できるほか、オープンモデルがローカルLLMのベースとしてもよく使われている。
• GLM — Zhipu AIのAIサービス。比較的新しい選択肢で、コーディングなどにも利用できる。
• Kimi — Moonshot AIのAIサービス。長文処理や情報整理などを得意としているらしい。
• Mistral — フランスのAI企業Mistral AIによるサービス。