mlx-community の「Llama-3-ELYZA-JP-8B-8bit」「Swallow-13b-instruct-v0.1-8bit」を mlx-lm で試す

Last updated at 2025-01-12Posted at 2025-01-12

はじめに

以下の記事を書いた際に使っていた「mlx-lm」を、別のモデルとも組み合わせて使ってみた話です。

●MLX でローカルLLM：「mlx-community/phi-4-4bit」を試す（M4 Mac mini、mlx-lm を利用） - Qiita
　https://qiita.com/youtoy/items/a12ee071dd8290fc0715

先に試した結果を掲載してみます。

利用したモデルは、タイトルに記載しているとおり「Llama-3-ELYZA-JP-8B-8bit」と「Swallow-13b-instruct-v0.1-8bit」です。

今回使っているマシンは、これまでと同じ M4 の Mac mini です（※ スペックは以下のとおり）。

今回の内容を試した背景などを書いてみます。

今回の内容を試す前に「mlx-community/phi-4-4bit」を試してみて、他のモデルも試してみたくなりました。また、その際に使った mlx-lm を使うと、別のモデルを使うのが簡単層だったので、それも確かめてみたかったというのがあります。

それで MLX に対応したモデルで、わりと最近情報が出ていたものを探しました。

そのうちの 1つが、以下の Llama-3-ELYZA-JP-7Bモデル関連の内容です。

このポストで書かれていたのは、以下の 2つです。

それらのうち、モデルサイズの大きなほうを試してみることにしました。

モデルの使い方を見てみると、前回と同じ「mlx-lm」を使って試せそうでした。

またコマンドの内容は、前回使ったもののモデルの部分を変更するのみで試せそうでした。
具体的には以下の内容です。

mlx_lm.generate --model mlx-community/Llama-3-ELYZA-JP-8B-8bit --prompt "東京について説明して"

実際に試してみると、前回準備済みの環境で上記のコマンドを入力するだけで、簡単に「Llama-3-ELYZA-JP-8B-8bit」を使ったお試しができました。

その後、もう1つモデルを検索して試すことにしました。

対象として選んだのは「Swallow 13B instruct」です。Swallow 13B instruct の MLX に対応したものを検索してみたところ、以下のものがありました。

この中で、自分のマシンで動くものでモデルサイズの大きいものを選んで試しました。

こちらのお試しでも、冒頭に掲載していた前回の記事に書いていた環境を使っています。
コマンドは以下の内容のものにしました。

mlx_lm.generate --model mlx-community/Swallow-13b-instruct-v0.1-8bit --prompt "東京について説明して"