ローカルLLM利用方法 Ollama

ローカルLLM利用方法

Ollama

• Ollamaは、LLMをローカル環境で手軽に動作させられるソフトウェア

Ollamaダウンロード

• Ollamaをインストールする
• 起動するとタスクトレイに常駐します

Ollamaで利用可能なLLM

LLMダウンロード

• コマンドプロンプトで以下のコマンドを実行する
• 例 Gemma 3 1bの場合

ollama pull gemma3:1b 

LLM起動

• コマンドプロンプトで以下のコマンドを実行する
• 例 Gemma 3 1bの場合

ollama run gemma3:1b

• プロンプト(>>>)が表示されたら、AIへ指示を入力する

ローカルLLMをPythonコードから利用する方法

sample.py

# pip install openai
from openai import OpenAI

client = OpenAI(
    # Ollamaを起動するとサーバーとしても動作している。 ポート番号 11434
    base_url="http://localhost:11434/v1",
    # api_keyの値は、ダミーで良い
    api_key="dummy",
)

response = client.chat.completions.create(
    model="gemma3:1b",
    messages=[
        {"role": "system", "content": "あなたはAIアシスタントです"},
        {
            "role": "user",
            "content": "PythonでHello, World!を出力するコードを教えてください",
        },
    ],
)

# レスポンスの内容を表示
print(response.choices[0].message.content)

参考url
https://ollama.com/blog/openai-compatibility

ローカルLLMをブラウザで利用する方法

Ollamaはコマンドラインのソフトウェアのため使い勝手が悪いです。
そこでブラウザで利用できるようにします。

Open WebUIをインストールする

pip install open-webui
pip install hf_xet

Open WebUIを起動する

open-webui serve

ブラウザで以下urlにアクセスする
http://localhost:8080/

初めてアクセスすると、アカウント登録画面が表示される