0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

NVIDIA DGX SparkにLM Studio CLIをインストールしてLLMを動かす

0
Posted at

1. はじめに

本記事では、NVIDIA DGX Spark(Ubuntu24.04)にLM Studio CLIをインストールし、Qwen3.5-9Bモデルを動作させるまでの手順と、Reasoningモデル特有の課題について記載する。

2. 環境

項目 内容
デバイス NVIDIA DGX Spark(ARM64 / Grace Blackwell)
OS Ubuntu 24.04
NVIDIAドライバ・CUDA インストール済み
利用形態 LM Studio CLI版(ヘッドレス)

3. LM Studio CLIのインストール

3-1. インストールコマンドの実行

公式のワンラインインストールスクリプトを使用する。DGX SparkはARM64アーキテクチャのため、スクリプトが自動的にARM64版を取得する。

curl -fsSL https://lmstudio.ai/install.sh | bash

3-2. インストールの確認

lms --help

以下のように表示されればインストール成功。

Usage: lms [options] [command]

Local models
   chat               Start an interactive chat with a model
   get                Search and download local models
   load               Load a model
   unload             Unload a model
   ls                 List the models available on disk
   ps                 List the models currently loaded in memory
   import             Import a model file into LM Studio
...

4. サーバーの起動

4-1. サーバー起動コマンド

lms server start
Waking up LM Studio service...
Success! Server is now running on port 1234

4-2. ステータス確認

lms status
Server: ON (port: 1234)

No Models Loaded

5. モデルのダウンロードとロード

5-1. モデルのダウンロード

対話形式でモデルを検索・ダウンロードする。

lms get

本記事ではQwen3.5-9B(Q4_K_M / 6.55GB)を選択した。

Select a model to download qwen/qwen3.5-9b
   To download: model qwen/qwen3.5-9b - 171.14 KB
   To download: Qwen3.5 9B Q4_K_M [GGUF] - 6.55 GB

About to download 6.55 GB.
Continue? (Y/N): Y

5-2. モデルのロード

lms load qwen3.5-9b
Model loaded successfully in 5.77s.
(6.10 GiB)
To use the model in the API/SDK, use the identifier "qwen/qwen3.5-9b".

5-3. ロード状態の確認

lms ps
IDENTIFIER         MODEL              STATUS    SIZE       CONTEXT    DEVICE    TTL
qwen/qwen3.5-9b    qwen/qwen3.5-9b    IDLE      6.55 GB    4096       Local

6. 動作確認

6-1. チャットによる動作確認

lms chat qwen3.5-9b

日本語で正常な応答が返ることを確認した。GPUも使用されていることをnvidia-smiで確認済み。

6-2. API経由での動作確認

curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen/qwen3.5-9b",
    "messages": [
      {"role": "user", "content": "日本語で自己紹介してください"}
    ],
    "temperature": 0.7
  }'

正常にJSON形式で応答が返ることを確認した。

7. まとめ

  • DGX Spark(Ubuntu24.04 / ARM64)へのLM Studio CLIのインストールは、公式ワンラインスクリプトで問題なく完了した
  • Qwen3.5-9B(Q4_K_M)のダウンロード・ロード・推論も正常に動作した
0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?