目的
gpt4all を m1 mac で実行して試す.
gpt4all とは
local かつ cpu で実行できる軽量LLM
表面的に使った限りでは, それほど性能は高くない
公式
how to
公式の readme 通りで実行可
-
clone
git clone https://github.com/nomic-ai/gpt4all.git cd gpt4all/chat/ -
download binary
公式の link から確認する事をおすすめしますwget https://the-eye.eu/public/AI/models/nomic-ai/gpt4all/gpt4all-lora-quantized.bin -
run
./gpt4all-lora-quantized-OSX-m1
実行状態
画像生成 prompt を作成してもらう
普通の説明文っぽいが, これを入力するとちゃんとブラックホールっぽい画像が生成された.
所管
英語ならばある程度動作する.
日本語は無理がある.
動作速度
以下で動作させたが, m1 の方が早かった.
- m1 mac. mem 16G
- ryzen 1700. mem 64G
だいぶ古いCPUと環境のためか 