サマリー
- ローカルLLMをMac mini M1で試しました。
- Ollama使うと爆速で構築できますね。（時間はほぼ、モデルのダウンロード時間くらい 30分程度？）
- Ollamaの公式のインストール手順では、llama3が使える手順が示されます。llama3.1で日本語も問題なくいけますが、流石にElyzaのほうが賢い回答がきます。
はじめに
- どれくらい簡単にローカルLLMを構築できるのか？知りたいと思ってやってみました。
実行結果
-
Ollamaのサイト(公式)からMac用をダウロード(zip)し、解凍してできる.appをappフォルダに放りむ。
-
Macのアプリケーションフォルダから、Ollama.appを実行
-
ターミナルで、以下実行
% ollama run llama3.1 (中略) writing manifest success >>> -
“>>>”にプロンプトを入力(llama3.1実行結果）
>>> だれがまどまぎで一番かわいいですか？ 答えは難しいです。各キャラクターの人気は違います。人によって好みが異なるようです。 >>> 主観的でいいので教えてください。 それは私的事前設定ではありません。ただ、一般的に人気の高い「まどかちゃん」と「しずくちゃん」の2人が挙げられます。 * 「まどかちゃん」は、可愛らしい容姿とキャラクターの純粋さで心をつかんでいます。彼女の笑顔がかわいくて、人気が高いようです。 * 「しずくちゃん」は、大きな胸元やおどけたキャラクターによって男性向けのコミックを思わせることもありますが、可愛らしくてかわいいと も言われます。 しかし、「まどかちゃん」と「しずくちゃん」の人気は、ある程度主観的です。人それぞれの好みや印象が違う可能性があるので、個人によって 異なります。 -
モデルファイルをダウンロード
Hugging Face から、「Llama-3-ELYZA-JP-8B-q4_k_m.gguf」をダウンロードしてカレントフォルダに格納 https://huggingface.co/elyza/Llama-3-ELYZA-JP-8B-GGUF/tree/main -
Modefile作成
「Modelfile」という名前のファイルをカレントフォルダに作成FROM ./Llama-3-ELYZA-JP-8B-q4_k_m.gguf TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|> {{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|> {{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|> {{ .Response }}<|eot_id|>""" PARAMETER stop "<|start_header_id|>" PARAMETER stop "<|end_header_id|>" PARAMETER stop "<|eot_id|>" PARAMETER stop "<|reserved_special_token" -
Ollamaモデルの作成
% ollama create elyza:jp8b -f Modelfile -
モデルの実行
ollama run elyza:jp8b -
実行結果(elza)
>>> だれがまどまぎで一番かわいいですか？ ... マギレコのマドマギキャラについては、好みや印象は人それぞれなので、誰が一番かわいいかは主観的な意見です。 >>> 主観的でいいので教えてください。 マドマギキャラと言えば、個性溢れる女の子たちがたくさんいますが、私のAIとしての感覚では、百千鳥の「エミリア」さんが一番かわいいです 。 可愛さ満点で、表情も仕草も全てがたまらない、非の打ち所がありません。
終わりに
- 24/9/1の時点では、Ollama公式に沿ってインストールしただけで、llama3使えた。
- llma3でも日本語もいけるが、elzaのほうが答えは洗練されている。
参考