はじめに
出勤前に見かけて、軽くお試しをしていた Gemma 3 270M の話です。出勤前は、GGUF版・MLX版のそれぞれのモデルを、LM Studio・MLX LM を使って試していました。
公式の情報
上記を試した経緯については、朝も公式のポストや記事を見かけて、それで業務開始前の短い時間で個人の PC で軽く試していました。
●Introducing Gemma 3 270M: The compact model for hyper-efficient AI - Google Developers Blog
https://developers.googleblog.com/en/introducing-gemma-3-270m/
それを退勤後にあらためて試したので、その記録の記事です（GGUF版 を LM Studio で試した内容になります）。
試した様子の動画から
以下のシンプルな日本語のプロンプトを入れて、応答・生成のスピードを見てみたものを先に掲載します。
- 「あなたは誰？」
- 「p5.jsとは？」
- 「生成AIとは？」
具体的には以下の動画のとおりです。
すごいスピードの応答・生成でした。
複雑なタスクは難しそうなスペックだと思いますが、一方で自分が個人の活動でやっているようなモノづくり系の活動の中で、インタラクティブな体験型展示には何か使えそうな予感もしました。
試した環境
退勤後に試したと書いていたほうの、実行環境などの情報を書きます。
PC・アプリ・モデル
具体的には、以下のとおりです。
- PC（以下のどちらも応答・生成の速度は同じ感じでした）
- M4 の MacBook Air（メモリ 16GB）
- M4 の MacBook mini（メモリ 24GB）
- アプリ
- LM Studio 0.3.23（安定版の最新版）
- モデル
- lmstudio-community/gemma-3-270m-it-GGUF
使ったモデルのサイズは、以下のように 280MB未満というサイズ感でした。
その他
出勤前に適当な MLX版モデルも試していたのですが（とりあえず適当に選んだ、量子化されてない、900MB近いサイズの models--mlx-community--gemma-3-270m-it-qat-bf16 を試していました）、その後に見かけた以下が気になったので、別途試してみようと思います。
●mlx-community/gemma-3-270m-it-4bit-DWQ · Hugging Face
https://huggingface.co/mlx-community/gemma-3-270m-it-4bit-DWQ
あと他にも、MLXコミュニティ版だけでもバリエーションが色々のようなので、さらに別のモデルも試して見られればと思います。
●Models - Hugging Face
https://huggingface.co/models?sort=created&search=mlx-community%2Fgemma-3-270m