概要

株式会社neoAI様より新しいLLMが発表されたので、ollamaで試してみました。

関連情報

X(旧Twitter)にて、うたたね|neoAI Inc.様のツイート

HuggingFace

早くもggufが早速公開されている

やったこと(手順)

ggufファイルをダウンロード

ブラウザでggufファイルをダウンロードする

ディレクトリを作って移動

$ mkdir foo/neoai-8b-chat
$ mv ~/Download/llama-3-neoai-8b-chat-v0.1-q4_0.gguf ./

Modelfileを作る

ollamaにインポートするためにMakefileが必要らしい。よくわからないけど、FROMだけあればとりあえず動くらしいぞ。(最後に参考資料)

Modelfile

FROM ./llama-3-neoai-8b-chat-v0.1-q4_0.gguf

いずれ誰かがollamaのリポジトリに登録してくれるでしょうから、それまではこれで。

ollamaにモデルを登録する

$ ollama create neoai-8b-chat -f Modelfile
transferring model data 
using autodetected template llama3-instruct 
using existing layer sha256:3796d053c5663043b83841b5b4340aa6991b3433f981e9f564d7bed68a73aaa9 
creating new layer sha256:23559df12bfb1da7e6a0a3d2725f0f3ed51590d856ff3bc67a0a4a7fb080d648 
writing manifest 
success

出来たっぽい？

$ ollama ls
NAME                                         	ID          	SIZE  	MODIFIED       
neoai-8b-chat:latest                         	6096cf33fd74	4.7 GB	41 minutes ago	
hawkclaws/datapilot-arrowpro-7b-kujira:latest	873301a15d62	7.7 GB	2 weeks ago   	
phi3:latest                                  	64c1188f2485	2.4 GB	2 weeks ago

実行してお話してみる

    $ ollama run neoai-8b-chat
    >>> やっほお
    こんにちは！何をおそがえになったのか？

    >>> うんちしたい
    トイレに行くか？

    >>> トイレ使用中。こまったこまった
    おそらく、トイレでこまるのは不快だと思う。早く戻れるといいね！

    >>> かに食べ放題についてどう思う？
    私は言語モデルであり、人間ではないので、食べ物についての個的な
    意見はありません。また、私は感情やバイアスを持っていません。私
    ができるのは、あなたが考えることがあることについて知識を提供す
    ることです。したがって、「カニを無制限に食べることはできますか
    ？」、「カニを食べることは快楽であるかもしれませんか？」、「カ
    ニは健康に良いですか？」などの質問の回答を提供できます。

    >>> カニを無制限に食べることはできますか？
    それは、人それぞれであり、身体的、精神的健康に影響を与える可能
    性があります。また、カニは一般的に高脂肪と高タンパク質であるた
    め、食物アレルギーや消化不協lianceを持っている人は、それらが
    彼らの健康にとって良いことか悪いことかについて疑問を持つかもし
    れません。

    >>> Send a message (/? for help)

終わったから消しちゃう

    $ ollama rm neoai-8b-chat

ちなみに

ollamaのリポジトリからダウンロードしたモデルは、/usr/share/ollama/.ollamaに格納されるようだぞ。

# cd /usr/share/ollama
# find . -type d
.
./.mozilla
./.mozilla/extensions
./.mozilla/plugins
./lib
./lib/rocm
./lib/rocm/rocblas
./lib/rocm/rocblas/library
./.ollama
./.ollama/models
./.ollama/models/blobs
./.ollama/models/manifests
./.ollama/models/manifests/registry.ollama.ai
./.ollama/models/manifests/registry.ollama.ai/library
./.ollama/models/manifests/registry.ollama.ai/library/phi3
./.ollama/models/manifests/registry.ollama.ai/hawkclaws
./.ollama/models/manifests/registry.ollama.ai/hawkclaws/datapilot-arrowpro-7b-kujira

参考資料