@Tadataka_Takahashi

WindowsでローカルAIを動かす選択肢をざっくり整理してみた

Posted at 2026-06-11

はじめに

WindowsでローカルAIを動かす方法が増えてきました。

少し前までは「WSLを入れて、CUDAを合わせて、Python環境を作って……」という開発者向けの作業が中心でしたが、最近はOllamaやLM Studioのように、Windowsアプリとしてかなり手軽に使える選択肢もあります。

この記事では、Windows PCでローカルLLMを試すときの入口をざっくり整理します。

対象は主に以下です。

まずローカルLLMを触ってみたい人
Ollama、LM Studio、llama.cpp、WSLの違いが少し曖昧な人
自分のPCではどの選択肢から始めるのがよさそうか考えたい人

なお、この記事は2026年6月時点の個人的な整理メモです。各ツールの対応状況やGPUまわりは更新が速いので、実際に導入するときは公式ドキュメントも確認してください。

まず結論

個人的には、最初の選び方はこれくらいでよいと思っています。

やりたいこと	まず見る選択肢
とにかく簡単にチャットしたい	LM Studio
コマンドやAPIから使いたい	Ollama
仕組みを理解しながら細かく触りたい	llama.cpp
Python / CUDA / Docker など既存のML資産を使いたい	WSL2 + CUDA
Windowsアプリに組み込みたい	Windows ML / DirectML / ONNX Runtime
AMD Ryzen AI PCのNPUも試したい	GAIA などAMD系の選択肢

もう少し雑に言うと、

GUIで始めるなら LM Studio
CLI/APIで始めるなら Ollama
低レイヤーまで触るなら llama.cpp
Linux前提のAI開発環境をWindowsで使うなら WSL2

という見方です。

選択肢1: LM Studio

LM Studioは、ローカルLLMをGUIで試したいときの入口としてかなりわかりやすいです。

モデル検索、ダウンロード、チャット、ローカルサーバー起動までがアプリ内でまとまっているので、「まずは手元のPCで動く感覚を見たい」という用途に向いています。

公式ドキュメントでは、Windowsはx64とARM系（Snapdragon X Eliteベース）の環境がサポート対象として説明されています。x64ではAVX2が必要で、RAMは16GB以上、GPUは4GB以上の専用VRAMが推奨されています。

向いている場面はこのあたりです。

GUIでモデルを探したい
チャットUI込みで試したい
ローカルサーバーも必要に応じて使いたい
Python環境構築などを先にやりたくない

一方で、自動化やスクリプトからの利用を中心に考えるなら、Ollamaのほうが素直に扱いやすい場面もあります。

選択肢2: Ollama

Ollamaは、ローカルLLMをCLIやAPIから扱いたいときに便利です。

Windows版は公式に提供されており、ダウンロードページではPowerShellからのインストールコマンドとWindows用インストーラーが案内されています。

たとえば、インストール後は次のような感覚でモデルを実行できます。

ollama run llama3.2

開発用途では、ローカルAPIとして呼び出せる点が便利です。エディタ、エージェント、社内ツール、RAGアプリなどの裏側に置く用途では、Ollamaを入口にすると構成を考えやすくなります。

また、Ollamaを使う場合でも必ずターミナルだけで使う必要はありません。Windows版には簡易的なアプリ体験もあり、さらにOpen WebUIのようなセルフホスト型のWeb UIを組み合わせると、ブラウザ上のチャットUIからOllamaのモデルを使えます。Open WebUIはOllamaやOpenAI互換APIをサポートしているため、「実行基盤はOllama、画面はOpen WebUI」という構成もよく見かけます。

向いている場面はこのあたりです。

ターミナル操作に抵抗がない
ローカルAPIとして使いたい
GUIは別UIと組み合わせて選びたい
小さな検証環境をすばやく作りたい

逆に、モデル探しからチャット体験までを1つのGUIアプリ内で完結させたいなら、最初はLM Studioのほうが楽かもしれません。

選択肢3: llama.cpp

llama.cppは、ローカルLLM実行の土台としてよく名前が出てくるプロジェクトです。

公式READMEでは「C/C++でのLLM推論」と説明されており、ローカルやクラウドを含む幅広いハードウェアで、少ないセットアップと高い性能を目指すプロジェクトとして位置づけられています。

導入方法も複数あり、READMEでは以下のような入口が案内されています。

wingetなどでインストール
Dockerで実行
リリースページからビルド済みバイナリを取得
ソースからビルド

向いている場面はこのあたりです。

GGUFモデルを直接扱いたい
推論パラメータやビルドオプションを細かく見たい
ベンチマークや軽量実行を試したい
ツールの中身に近いところを理解したい

ただし、最初の体験としては少し開発者寄りです。まずローカルLLMを使うだけなら、LM StudioやOllamaから入って、必要になったらllama.cppを触る流れでも十分だと思います。

選択肢4: WSL2 + CUDA

Windows上でLinux向けのAI開発環境を使いたい場合は、WSL2が候補になります。

Microsoft Learnでは、Windows 11およびWindows 10の比較的新しい環境で、WSL内からNVIDIA CUDAを使う流れが説明されています。NVIDIA側にもCUDA on WSLのユーザーガイドがあります。

これは「ローカルLLMをチャットで試す」だけなら少し大きめの構成です。ただ、以下のような場合には強いです。

Python / PyTorch / CUDA前提のサンプルを動かしたい
Linux前提のOSSをそのまま使いたい
DockerやNVIDIA Container Toolkitを使いたい
研究・検証系の環境をWindows PC上に作りたい

注意点として、GPUドライバ、CUDA、WSL、コンテナまわりのバージョン整合が必要になります。動けば便利ですが、トラブルシュートの範囲はGUIアプリより広くなります。

選択肢5: Windows ML / DirectML / ONNX Runtime

アプリ開発者目線では、Windows MLやDirectMLも候補になります。

MicrosoftはWindows MLを、ONNX RuntimeをベースにしたWindows向けのローカルAI推論フレームワークとして説明しています。GPUやNPUなどの実行プロバイダーを使い、Windowsデバイス上でモデルを動かす方向の技術です。

補足すると、CPUとGPU（DirectML経由）のサポートは幅広いWindows環境で使えますが、NPUや特定GPU向けのベンダー最適化実行プロバイダーには、Windows 11 version 24H2（build 26100）以降が必要とされています。

また、2026年6月時点ではWindows MLは一般提供されており、Windows App SDK 1.8.1以降に含まれる形で利用できます。

これは、OllamaやLM Studioのような「LLMチャットアプリを使う」入口とは少し違います。

どちらかというと、次のような用途です。

WindowsアプリにAI機能を組み込みたい
ONNXモデルを使いたい
GPUやNPUを抽象化して扱いたい
配布するアプリの実行環境をWindows側に寄せたい

個人でローカルLLMを試すだけなら優先度は高くありません。アプリに組み込む段階で見る選択肢、くらいに考えると整理しやすいです。

選択肢6: AMD Ryzen AI / GAIA

AMD環境では、Ryzen AI向けの選択肢もあります。

AMDはGAIAというオープンソースプロジェクトを紹介しており、Windows PC上でプライベートなローカルLLMを動かすアプリケーションとして説明しています。

ここで少し注意したいのは、最適化版の話です。AMD公式記事では、GAIA Hybrid InstallerはRyzen AI PC向けに最適化され、NPUとiGPUの両方を使って性能を高める構成として説明されています。また、Ryzen AI 300シリーズ搭載機向けの最適化という位置づけです。通常のGAIA Installer自体は任意のWindows PCでも動かせますが、最適化の恩恵は環境に依存します。

NVIDIA GPU中心の情報が多いローカルAI界隈ですが、Copilot+ PCやNPU搭載PCが増えるにつれて、このあたりの選択肢も見ておく価値が出てきそうです。

ただし、NPUやNPU+iGPUのハイブリッド対応は、GPUやCPU実行よりもツールごとの差が出やすい印象です。手元のPCがRyzen AI搭載機なら試す価値がありますが、汎用的な入口としてはLM StudioやOllamaのほうが情報を探しやすいと思います。

ざっくり比較

選択肢	使いやすさ	開発用途	GPU活用	向いている人
LM Studio	高い	中	対応環境なら使いやすい	GUIで始めたい人
Ollama	高い	高い	対応環境なら使いやすい	CLI/APIで使いたい人
llama.cpp	中	高い	ビルドや設定次第	中身も触りたい人
WSL2 + CUDA	中	高い	NVIDIA環境で強い	Linux系ML環境を使いたい人
Windows ML / DirectML	低〜中	高い	Windowsアプリ開発向け	アプリ組み込みを考える人
GAIA	中	中	Ryzen AI 300向けのNPU+iGPU最適化あり	AMD Ryzen AI PCを試したい人

PCスペックの見方

ローカルAIでは、ざっくり以下を見ると判断しやすいです。

RAM

まずはシステムメモリです。

軽いモデルなら16GBでも試せますが、複数アプリを開きながら大きめのモデルを動かすと余裕は少なくなります。個人的には、これからローカルLLMをしっかり触るなら32GB以上あると気持ちが楽です。

VRAM

NVIDIA GPUなどを使う場合はVRAMが効きます。

4GB VRAMでも小さめのモデルは試せますが、快適さやモデル選択の幅を考えると8GB以上あると選択肢が増えます。大きなモデルや長いコンテキストを扱う場合は、さらに余裕が必要です。

CPU

GPUがなくてもCPUで動くモデルはあります。

ただし、速度はGPU利用時より遅くなりがちです。まずは小さなモデルや量子化モデルで試すのが現実的です。LM StudioのWindows x64要件ではAVX2が必要とされているので、古いPCではここも確認ポイントになります。

ストレージ

モデルファイルは数GBから十数GBになることがあります。

複数モデルを試していると、思ったより早くストレージを使います。ダウンロード先やキャッシュの場所も、後から確認できるようにしておくと安心です。

個人的なおすすめの始め方

最初は、いきなり全部を比較しなくてもよいと思います。

まずチャットしたい場合

LM Studioを入れて、小さめのモデルを1つダウンロードして動かします。

ここで見るのは、賢さよりもまず体感です。

起動は簡単か
応答速度は許容できるか
PCのファンやメモリ使用量はどうか
日本語の応答はどの程度か

この段階では、細かい最適化より「自分のPCでどの程度動くのか」を知ることが大事です。

アプリやエージェントから使いたい場合

Ollamaを入れて、ローカルAPI経由で呼び出してみます。

たとえば、社内メモを要約する小さなスクリプトや、ローカルRAGの裏側に置く用途なら、Ollamaは扱いやすい入口になります。

もっと深く検証したい場合

llama.cppやWSL2に進みます。

この段階では、モデル形式、量子化、GPUオフロード、コンテキスト長、推論速度などを見たくなるはずです。最初からここに入ると情報量が多いですが、目的が見えてから触ると理解しやすくなります。

ローカルAIで気をつけたいこと

「ローカル」は万能な安全性ではない

ローカル実行は、入力データを外部APIへ送らずに済む点で大きなメリットがあります。

ただし、モデルファイル、拡張機能、UIツール、プラグイン、外部検索連携などを組み合わせると、通信やデータ保存の経路は増えます。機密データを扱う場合は、どのプロセスがどこへ通信するかを確認したほうがよいです。

モデルのライセンスを確認する

ローカルで動くモデルでも、利用条件はモデルごとに違います。

個人利用、商用利用、再配布、生成物の扱いなどは、モデルカードやライセンスを確認する必要があります。

ベンチマークだけで選ばない

ローカルLLMは、モデルの賢さだけでなく、速度、メモリ使用量、日本語性能、ツール連携、ライセンス、更新頻度のバランスで選ぶことになります。

自分の用途に近い短いプロンプトをいくつか用意して、実際に試すのが一番早いです。

まとめ

WindowsでローカルAIを動かす選択肢は、かなり増えています。

GUIで試すならLM Studio
CLI/APIで使うならOllama
細かく触るならllama.cpp
Linux系ML環境を使うならWSL2 + CUDA
Windowsアプリ組み込みならWindows ML / DirectML
Ryzen AI PCならGAIAなどAMD系も候補

最初から全部を理解しようとすると大変なので、まずは「チャットしたいのか」「APIから使いたいのか」「開発環境として使いたいのか」で入口を決めるのがよさそうです。

個人的には、まずLM StudioかOllamaで小さめのモデルを動かして、PCの体感をつかんでから深掘りするのが一番迷いにくいと思います。

参考

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up