はじめに

これまで、コマンドラインから使ったり Python のコードで処理を行ったりしていた「MLX LM」を、これまでと異なり HTTPサーバーを用意するために使った話です。

公式の情報

MLX LM を使ってモデルを扱う HTTPサーバーを用意する方法は、公式の GitHubリポジトリの以下（「HTTP Model Server」の部分）で書かれている内容です。

●mlx-lm/mlx_lm/SERVER.md at main · ml-explore/mlx-lm
　https://github.com/ml-explore/mlx-lm/blob/main/mlx_lm/SERVER.md

このページに書かれている以下のコマンドでサーバーを用意できるようです。

mlx_lm.server --model <path_to_model_or_hf_repo>

実際に試してみる

過去のお試しで使った Gemma 3 を使ってみます。

具体的には、MLX LM が使える環境で以下のコマンドを実行しました。

mlx_lm.server --model mlx-community/gemma-3-27b-it-qat-3bit

以下は上記の実行後の状態です。

何らかのクライアントから localhost:8080 でモデルにアクセスできるようです。

【注意】上記のコマンドを実行した際、以下のメッセージが表示されます。この機能を本番環境で使うのはオススメしないという内容です。

UserWarning: mlx_lm.server is not recommended for production as it only implements basic security checks.

curl で試す

それでは、公式サンプルとして書かれていた内容をもとに、curl を使う方法でサーバーにアクセスしてみます。

プロンプトだけ書き換えた、以下の内容にしました。

curl localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
     "messages": [{"role": "user", "content": "生成AIを8歳に分かるように短い言葉で説明して"}],
     "temperature": 0.7
   }'

結果

curl を使った方法で試したところ、以下のレスポンスが得られました。

テキストがエンコードされた状態であるため、そのままでは読めませんでした。

Node.js で作ったクライアントで試す

もう 1つ、Node.js で作ったクライアントでも試してみます。Node.js で以下のコードを実行しました。

const url = "http://localhost:8080/v1/chat/completions";

const payload = {
  messages: [
    { role: "user", content: "生成AIを8歳に分かるように短い言葉で説明して" },
  ],
  temperature: 0.7,
};

(async () => {
  try {
    const res = await fetch(url, {
      method: "POST",
      headers: { "Content-Type": "application/json" },
      body: JSON.stringify(payload),
    });

    if (!res.ok) {
      console.error(`HTTP Error: ${res.status} ${res.statusText}`);
      process.exit(1);
    }

    const data = await res.json();
    console.log(JSON.stringify(data, null, 2));
  } catch (err) {
    console.error("Fetch failed:", err);
    process.exit(1);
  }
})();

結果

Node.js で作ったクライアントで得られた結果は以下のとおりです。

冒頭部分は数字の羅列が続く感じの出力になってしまいましたが...

その後のところで、日本語テキストの文章が含まれた部分を確認できました。

レスポンス内に含まれている生成されたテキストは、以下の内容でした。

"content": "生成AIは、まるで魔法の絵描きさんだよ！\n\n* みんなが作ったたくさんの絵や文章を読んで、それらをまねっこして、新しい絵や文章を作るんだ。\n* 例えば、「猫の絵を描いて！」って言うと、いろんな猫の絵を自分で考えて作ってくれる！\n* でも、AIは自分で考えてるわけじゃなくて、過去に見たものを参考にしているだけなんだ。\n* だから、AIが描いた絵や文章は、ちょっとだけ誰かのものに似ていることもあるんだ。\n\nまるで、いろんな本を読んだ人が、それをもとに新しいお話を作るようなものだよ！\n"

おわりに

今回、MLX LM を使ってモデルを扱う HTTPサーバーを用意して、そのサーバーへのアクセスを試しました（curl、Node.js を利用）。

今回使ったクライアント側の処理はシンプルなものだったので、さらに別の処理を組み合わせた内容も試せればと思います。

【余談】その他

最後に、余談的な内容を少し書いてみます。

公式ページに書かれていたヘルプを呼び出すコマンド

公式ページに書かれていたヘルプを呼び出す以下のコマンドを、試した結果も掲載してみます。

mlx_lm.server --help

MLX-VLM で HTTPサーバー

過去に試したことがある MLX-VLM も、HTTPサーバーを用意する機能があるようなので、それも試せればと思います。

●Blaizzy/mlx-vlm: MLX-VLM is a package for inference and fine-tuning of Vision Language Models (VLMs) on your Mac using MLX.
　https://github.com/Blaizzy/mlx-vlm/tree/main