概要
株式会社neoAI様より新しいLLMが発表されたので、ollamaで試してみました。
関連情報
- X(旧Twitter)にて、うたたね|neoAI Inc.様のツイート
- HuggingFace
- 早くもggufが早速公開されている
やったこと(手順)
ggufファイルをダウンロード
ブラウザでggufファイルをダウンロードする
ディレクトリを作って移動
$ mkdir foo/neoai-8b-chat
$ mv ~/Download/llama-3-neoai-8b-chat-v0.1-q4_0.gguf ./
Modelfileを作る
ollamaにインポートするためにMakefileが必要らしい。よくわからないけど、FROMだけあればとりあえず動くらしいぞ。(最後に参考資料)
Modelfile
FROM ./llama-3-neoai-8b-chat-v0.1-q4_0.gguf
いずれ誰かがollamaのリポジトリに登録してくれるでしょうから、それまではこれで。
ollamaにモデルを登録する
$ ollama create neoai-8b-chat -f Modelfile
transferring model data
using autodetected template llama3-instruct
using existing layer sha256:3796d053c5663043b83841b5b4340aa6991b3433f981e9f564d7bed68a73aaa9
creating new layer sha256:23559df12bfb1da7e6a0a3d2725f0f3ed51590d856ff3bc67a0a4a7fb080d648
writing manifest
success
出来たっぽい？
$ ollama ls
NAME ID SIZE MODIFIED
neoai-8b-chat:latest 6096cf33fd74 4.7 GB 41 minutes ago
hawkclaws/datapilot-arrowpro-7b-kujira:latest 873301a15d62 7.7 GB 2 weeks ago
phi3:latest 64c1188f2485 2.4 GB 2 weeks ago
実行してお話してみる
$ ollama run neoai-8b-chat
>>> やっほお
こんにちは！何をおそがえになったのか？
>>> うんちしたい
トイレに行くか？
>>> トイレ使用中。こまったこまった
おそらく、トイレでこまるのは不快だと思う。早く戻れるといいね！
>>> かに食べ放題についてどう思う？
私は言語モデルであり、人間ではないので、食べ物についての個的な
意見はありません。また、私は感情やバイアスを持っていません。私
ができるのは、あなたが考えることがあることについて知識を提供す
ることです。したがって、「カニを無制限に食べることはできますか
？」、「カニを食べることは快楽であるかもしれませんか？」、「カ
ニは健康に良いですか？」などの質問の回答を提供できます。
>>> カニを無制限に食べることはできますか？
それは、人それぞれであり、身体的、精神的健康に影響を与える可能
性があります。また、カニは一般的に高脂肪と高タンパク質であるた
め、食物アレルギーや消化不協lianceを持っている人は、それらが
彼らの健康にとって良いことか悪いことかについて疑問を持つかもし
れません。
>>> Send a message (/? for help)
終わったから消しちゃう
$ ollama rm neoai-8b-chat
ちなみに
ollamaのリポジトリからダウンロードしたモデルは、/usr/share/ollama/.ollamaに格納されるようだぞ。
# cd /usr/share/ollama
# find . -type d
.
./.mozilla
./.mozilla/extensions
./.mozilla/plugins
./lib
./lib/rocm
./lib/rocm/rocblas
./lib/rocm/rocblas/library
./.ollama
./.ollama/models
./.ollama/models/blobs
./.ollama/models/manifests
./.ollama/models/manifests/registry.ollama.ai
./.ollama/models/manifests/registry.ollama.ai/library
./.ollama/models/manifests/registry.ollama.ai/library/phi3
./.ollama/models/manifests/registry.ollama.ai/hawkclaws
./.ollama/models/manifests/registry.ollama.ai/hawkclaws/datapilot-arrowpro-7b-kujira
参考資料