初めに
M4 MacBook AirをGetしたので、搭載されているNPUを活用したいと思います。
今回は、ollamaをインストールし、ローカル（MacBook Air上）でLLMを実行したので、その方法について説明します。
環境について
HomeBrewを使いollamaをインストールするため、HomeBrewを確認します。
Macのターミナルを開き、次のコマンドを実行する事でHomeBrewがインストールされているか、検証することができます。
$ brew -v
Homebrew 4.4.31
ollamaについて
そもそも、ollamaとは何かについて少し触れておきたいと思います。
- 大規模言語モデル（LLM）を実行することができるアプリケーション
- 公式で対応しているLLMの種類数はHuggingFaceに劣るものの、HuggingFaceのllmをコンバージョンし使用可能
- ローカルのLLMを使用するためのライブラリLangChain(今回は触れない)のAPIに対応
特徴をいくつか列挙しましたが、要するにローカル(MacBook Air)で色々なLLM（gemini, ollama,deepseek, phi）を実行できるアプリケーションです。
ollamaのインストール方法
brewを使うことで、簡単にインストールすることができます。
$ brew install llama.cpp
インストールが完了すると、brewお馴染みの🍺(ビール)の絵文字が表示されます。
念の為、PATHが通っているか確認しましょう。
$ ollama -v
ollama version is 0.6.5
バージョンが出力されれば、ollamaのインストールは完了です。
実際にOllamaでLLMを実行してみる。
ollamaを使ったLLMの実行方法は大まかに３工程で表すことができます。
- リモートにあるLLMのモデルを選択
- ローカルへpull
- 実行
それぞれの工程について説明していきます。
1.LLMモデルを選択
ollamaで使用できるモデルは、以下のリンクから確認することができます。
それぞれのモデルの開発元と必要なリソースについて記載されています。
今回は、llama3.1を使用したいと思います。下記リンクで、llama3.1については述べられているため、紹介は省略します。
2.ローカルへpull
使ってみたいモデルを選択後はollamaを使ってLLMのパラメータやアーキテクチャを取得します。
$ ollama pull llama3.1:latest
インストールができているか、確認をします。
$ ollama list
NAME ID SIZE MODIFIED
llama3.1:latest 46e0c10c039e 4.9 GB 2 weeks ago
のように表示されればローカルでLLMを実行直前です。
3.実行
ローカルへダウンロードしたLLMを使用するために、下記コマンドを実行します。
$ ollama run llama3.1
待機状態になり、LLMと会話することができます。（MacBook Airと会話していると言っても過言ではない！！？！）
まとめ
ollamaを使ってローカル環境でLLMを実行しました。
ollamaの使い方は、使いたいLLMをpullしてrunするだけ！