やりたいこと
Meta 社から Llama3.2 が発表されました。軽量なモデルである Llama 3.2 1B および 3B とマルチモーダルモデルである Llama 3.2 11B および 90B です。
先日、OSS なモデルをローカルで動かす方法 (以下の記事) を試したので、今回の Llama3.2 も試してみようと思います。
どんなモデル？
以下の記事によると、1B・3B はエッジやモバイルデバイス向けテキストモデル、11B・90B は小中規模のビジョンモデルだそう。
- 1B・3B
- 128K トークンのコンテキスト長をサポート
- 多言語テキスト生成とツール呼び出し機能に非常に優れている (らしい)
- 11B・90B
- マルチモーダルモデル
- Claude 3 Haiku などと比較して画像理解タスクで優れている (らしい)
動かす
Ollama のコンテナは立ち上がっているものとします
立ち上げ方はこの記事を参照: https://qiita.com/coitate/items/d9035acd3cfcdae96e8b
以下コマンドでモデルを実行。タグを指定しない場合デフォルトで 3B になる。モデルサイズは2GBと軽め。
docker exec -it ollama ollama run llama3.2
後は、他モデルと同様にプロンプトを入力する。
>>> Hello
Hello! How can I assist you today?
非常に簡単ですね。
ということで
Llama3.2 をローカルで実行してみました。1B・3B は Ollama の Library に登録されていたので簡単に実行することができました。11B・90B については Library にないものの Hugging Face には登録されているので、そちらから実行できると思います。性能面については検証できてはいませんが、いろいろと使ってみて確認してみます。
いろんな発表がされて目まぐるしいですが、できるだけキャッチアップしていきたいですね！