はじめに
やっと試せました!PCローカルでの生成AI利用!
仕事でも趣味でも、やはりWindowsOSがメインの作業環境になります。
Windowsで動かせるとイイなーとずっと思っていました。
複数回に分けて紹介してゆくつもり(連載がどこまで続くか不透明)ですが、、、
本稿は、その記念すべき1本目です。
本稿で紹介すること
- Ollamaインストール
- GPT-OSSダウンロード
- チャットお試し
- APIサービング
- Pythonプログラムお試し
1.Ollamaインストール
公式からインストーラをダウンロードします。
筆者PCは、、、以下スペックです。
OS:Windows11 24H2
CPU:16Core
MEM:96GB
DISK:2TB(System)、2TB(Data)
GPU:8Core/48GB ※内蔵GPU(iGPU)
そして、インストーラを実行します。インストーラ自体は、Nextボタンを連打です。
2.GPT-OSSダウンロード
LM Studioが起動したら、画面の案内に則りopenai/gpt-oss-20bをダウンロードします。
PCは、、、有線LAN接続をお奨めします。
ダウンロードだけ仕掛けてゆったり待つ余裕があれば大丈夫です。
後ほど、openai/gpt-oss-120bのダウンロードも控えているので、筆者は当然に有線LAN接続にしました。
3.チャットお試し
チャット画面に遷移しますが、、、
まずは、UIの日本語化を実施します。
その後に改めて、予めダウンロード済みのopenai/gpt-oss-20bをロードします。
ではでは、お待ちかねのプロンプトを投入します!
ちょっと待ちますが、まぁ動きますね!!
追加で、openai/gpt-oss-120bもダウンロードします。
こっちは動くかちょっと半信半疑でしたが、何とか動きますね!!!
4.APIサービング
実は、LM StudioはさらっとAPIエンドポイントを提供できたりします。
つまり、使い慣れたopenaiライブラリやrequestsライブラリからも生成AIを利用できます。
左上にある「Status:Stopped」のスイッチを押下して、「Status:Running」となれば準備完了です。
5.Pythonプログラムお試し
APIの呼び出し方は詳しく解説した有志記事が多数存在する12ので(詳しい解説はそれら記事に委ねることとし)、Pythonプログラムの例1を拝借しました。(出展のみなみなさまに、この場を借りて感謝申し上げます。)
モデルをロード後、画面右ペインの「API Usage」にあるAPI identifierを指定するだけです。
# LM StudioはOpenAI互換のAPIを提供
from openai import OpenAI
# LM StudioにホストされているAPIサーバーに接続
client = OpenAI(base_url="http://127.0.0.1:1234/v1", api_key="not-needed")
# GPT-OSSモデルでテキスト生成
response = client.chat.completions.create(
model="openai/gpt-oss-120b", #openai/gpt-oss-(20b|120b)
messages=[
{"role": "user", "content": "現在の日本、内閣総理大臣は誰ですか?"}
], # ユーザーからの入力メッセージ
)
# 生成されたテキスト応答を表示
print(response.choices[0].message.content)
ちなみに回答は、「働いて、働いて…」というフレーズで流行語大賞の話題となった高市総理ではありませんでした。予想通りではありました。
まとめ
本稿ではWindows環境でLM Studioを利用してGPT-OSS34をお試しする模様をお届けしました。
MXFP4 quantization: The models were post-trained with MXFP4 quantization of the MoE weights, making gpt-oss-120b run on a single 80GB GPU (like NVIDIA H100 or AMD MI300X) and the gpt-oss-20b model run within 16GB of memory. All evals were performed with the same MXFP4 quantization.
GPT-OSSは既にMXFP4で量子化済みのようで、コンシューマ向けのCPU OnlyなPCで動かせる時代になったのだな・・・と実感しました。
細かな環境設定や、実行時のCPUリソース遷移といったところ、もう少し遊んで探ってゆくつもりです。
-
LM StudioでローカルLLMの使い方とAPI活用、AIキャラチャットまで実践! | https://note.com/yuki_tech/n/nc00c211a0ad8 ↩ ↩2
-
LMStudioをAPIサーバーとして利用|Embedding・GPTモデルを呼び出す仕組みを構築 | https://www.pmi-sfbac.org/local-ai-04-lmstudio-api ↩
-
openai/gpt-oss-20b | https://huggingface.co/openai/gpt-oss-20b ↩
-
openai/gpt-oss-120b | https://huggingface.co/openai/gpt-oss-120b ↩
















