はじめに
こんにちは、ひよこです！
今回は、ローカル環境で大規模言語モデル（LLM）を動作させるためのツール ollama の最新情報をまとめました。ollama は最新の LLM 群（Llama 3、Llama 3.2、DeepSeek-R1、Phi 4、Mistral など）に対応しており、各種モデルをダウンロード後、ローカル環境でそのまま実行できます。最新バージョンでは、並列処理機能や REST API 統合が強化され、研究・プロトタイピングのみならず、モバイル環境など多様なユースケースに柔軟に対応できるようになりました。話題の LLM の性能をちょっと試したいといった用途には最適です！
🐣 次の記事で ollama を使おうと思っていたので、ついでに入門書いちゃいました
ollama とは？
ollama は、ローカル環境で LLM のモデルを管理・実行するためのソフトウェアです。GPU がなくても CPU だけで動作するモデルが多数用意されており、特に以下の点で優れています。
- 並列処理機能：複数のチャットセッションやエージェントを同時に実行可能
- REST API 統合：外部ツールやアプリケーションとの連携が容易
- 豊富なモデル対応：Llama 系をはじめ、DeepSeek-R1、Phi 4、Mistral など、用途に合わせたモデルが選択可能
- ローカル実行可能：最初のモデルダウンロード以外はネットワーク接続が不要
インストール方法
- 公式サイトからインストーラをダウンロード：Ollama Download
- インストール後、ターミナルで以下のコマンドを実行し、バージョン情報が表示されれば完了です。
ollama --version
ollama version 0.5.12
現在の最新バージョンは 0.5.12 です。
モデルのダウンロードと実行
1. モデルのダウンロード
たとえば、Meta 社の最新モデル Llama 3 をダウンロードする場合、次のコマンドを実行します。
ollama pull llama3
ダウンロードが完了すると、モデルはデフォルトで以下のディレクトリに保存されます。
C:\Users\[ユーザ名]\.ollama
環境変数 OLLAMA_MODELS を変更することで、保存先をカスタマイズできます。
🐣 Linux なら ~/.ollama 以下です
2. モデルの実行
ダウンロード済みのモデルを実行するには、次のコマンドを使用します。
ollama run llama3
実行後、対話型プロンプトが表示され、モデルとのやり取りが可能になります。
対話を終了する場合は、/bye を入力してください。
すぐに試したい場合、pull を省略してはじめから run を実行することも可能です。
🐣 モデルがまだダウンロードされていない場合はダウンロード後に対話が開始します！
ollama run llama3.2:1b
モデルによっては複数のパラメータサイズが存在します。たとえば llama3.2 には 1B と 3B のバージョンがあります。デフォルトのサイズを確認するには、次のコマンドを実行します。
ollama show llama3.2
🐣 予想外にモデルサイズが大きい場合もあるのでご注意を！
また、その LLM ファミリーでダウンロード済みモデルの確認は、次のコマンドを実行します。
ollama list llama3.2
使用可能なモデルの例
| Model | Parameters | Size | コマンド例 |
|---|---|---|---|
| Llama 3 | 8B | 4.2GB | ollama run llama3 |
| Llama 3.2 | 3B | 2.0GB | ollama run llama3.2 |
| Llama 3.2 | 1B | 1.3GB | ollama run llama3.2:1b |
| Llama 3.2 Vision | 11B | 7.9GB | ollama run llama3.2-vision |
| Phi 4 | 14B | 9.1GB | ollama run phi4 |
| DeepSeek-R1 | 6.7B | 4.2GB | ollama run deepseek-r1 |
| DeepSeek-R1 Turbo | 13B | 8.4GB | ollama run deepseek-r1-turbo |
| Gemma 2 | 2B | 1.6GB | ollama run gemma2:2b |
| Mistral | 7B | 4.1GB | ollama run mistral |
| Moondream 2 | 1.4B | 829MB | ollama run moondream |
利用可能なモデルは、公式サイトのモデル一覧ページで確認できます。
Ollama Models
🐣 Let's note i7 メモリ32G では qwen2.5-coder(7B) はぎりぎり動きました。
REST API の利用
ollama は HTTP API を提供しており、以下のようにリクエストを送信できます。
-
ollama serveコマンドでサーバーを起動
ollama serve
- 別のターミナルで API を呼び出し
curl -X POST http://localhost:11434/api/generate -d '{"model": "llama3", "prompt": "こんにちは"}'
これを実行すると llama3 によって生成されたテキストがストリーミング形式で返ってきます。
返答だけを見たい場合は、例えば次のような Python プログラムで実行可能です。
import requests
import json
# ollama API へリクエストを送信
response = requests.post(
"http://localhost:11434/api/generate",
json={
"model": "llama3",
"prompt": "こんにちは"
},
stream=True # ストリーミングレスポンスを受け取る
)
# 生成されたテキストを格納する変数
generated_text = ""
# ストリーミングレスポンスを処理
for line in response.iter_lines():
if line:
# バイト列を文字列にデコード
line_str = line.decode('utf-8')
# JSON 形式の文字列をパース
data = json.loads(line_str)
# 返答テキストの部分を取得して追加
if "response" in data:
generated_text += data["response"]
# リアルタイム表示する場合は以下を使用
print(data["response"], end="", flush=True)
🐣 Javascript でちょこちょこっと書けばブラウザ上で動く ChatBot が簡単に作れそうですね
おわりに
ollama を使えば、最新の LLM をローカル環境で簡単に実行できます。並列処理や REST API の統合により、開発や研究の幅が広がるため、ぜひ試してみてください！