Ollamaをオフライン環境のwindowsで利用するため、大規模言語モデル（LLM）を設定する

はじめに

Ollamaをオフライン環境のwindowsで利用するための情報は、既にネット上に幾つかあります。ここでは、私が使いやすいようにまとめました。

用語の説明

• オフラインPC: インターネット接続のないPC
• オンラインPC: インターネット接続のあるPC

環境

• WIndows Pro 11

大まかな流れ

オンラインPCでデータを整え、オフラインPCに持ち込み設定する、 というのが大きな流れです。

1. オンラインとオフラインとの両PCでの作業： Ollamaインストーラのダウンロードとインストール
2. オンラインPCでの作業： modelfileとGGUFファイルの準備
3. オフラインPCでの作業： GGUFファイルの導入

1. オンラインとオフラインとの両PCでの作業： Ollamaインストーラのダウンロード

• Ollama の ダウンロードサイト から、OllamaSetup.exeをダウンロードします。
• ウィザードに従って、インストールします。

2. オンラインPCでの作業： ModelfileとGGUFファイルの準備

• Modelfile: LLMをOllamaに導入するための設定ファイル。

AIにModelfileについて聞いたら、"ベースとなるLLMやプロンプト、各種パラメータを記述して、自分好みのカスタムモデルを定義・再利用するための設定ファイル"とのことです。

Modelfileの書き出し

# 導入したいモデルをpull
ollama pull gemma3:4b

# pullできたかを確認
ollama list

# modelfileの書き出し
# ollama show <model_name> --modelfile > <model_file>
ollama show gemma3:4b --modelfile > gemma3-4b--modelfile.md

modelfileの名前は、gemma3-4b--modelfile.mdとしましたが、ファイル名はご自由に。

GGUFファイルのコピー

上記の gemma3-4b--modelfile.md を開きます。

# Modelfile generated by "ollama show"
# To build a new Modelfile based on this, replace FROM with:
# FROM gemma3:4b

FROM /Users/username/.ollama/models/blobs/sha256-aeda25e63ebd698fab8638ffb778e68bed908b960d39d0becc650fa981609d25
TEMPLATE """{{- range $i, $_ := .Messages }}
以下、略

上記の FROM /Users/username/.ollama/models/blobs/sha256-aeda25e<途中略>81609d25 がGGUFファイルのため、それをコピーします。

cp /Users/username/.ollama/models/blobs/sha256-aeda25e<途中略>81609d25 gemma3-4b.gguf

コピーしたモデル名をgemma3-4b.ggufとしましたが、このファイル名もご自由に。

オフラインPCに持ち込むファイル

下記のファイルをオフラインPCに持ち込みます。

• gemma3-4b--modelfile.md
• gemma3-4b.gguf

3. オフラインPCでの作業： Modelfileの調整

gemma3-4b--modelfile.mdとgemma3-4b.ggufが同じフォルダ内にある場合の書き方を示します。
その他の項目についてもお好みで調整できます。

<元のファイル>

# Modelfile generated by "ollama show"
# To build a new Modelfile based on this, replace FROM with:
# FROM gemma3:4b

FROM /Users/username/.ollama/models/blobs/sha256-aeda25e63ebd698fab8638ffb778e68bed908b960d39d0becc650fa981609d25
TEMPLATE """{{- range $i, $_ := .Messages }}
以下、略

<編集後>

FROM ./gemma3-4b.gguf
TEMPLATE """{{- range $i, $_ := .Messages }}
以下、略

先頭の#で始まる行は削除しました。FROM行に、GGUFファイルのパスを指定します。

4. オフラインPCでの作業： GGUFファイルの導入

下記の通りです。

# インストールされているかを確認します
ollama --version

# 言語モデルの導入
# ollama create <model_name> -f <model_file_path>
ollama create gemma3:4b -f gemma3-4b--modelfile.md

# モデルの確認
ollama list

# モデルの実行
ollama run gemma3:4b

以上で、オフラインPCにOllamaを導入する手順はおしまいです。