この記事ではDify、ollamaを使用し、LLM環境をご自身のwindows環境で作る手順を説明します。
AI自身、関連アプリも含めてローカル上に構築できるため、データ量、従量課金を気にせずAIを試すことができます。今回の手順もWindows環境があればすべて無料で実現できます。また、機密性の高い情報を外部に送信せずAIを利用可能です。
(それでも利用対象であるデータのポリシーは必ず確認してください)
今回の手順ではローカル上で使用するLLMとして、Granite 4.0を使用します。
2025年10月 IBMよりリリースされた大規模言語モデルです。(ライセンス: Apache 2.0)
IBM公式サイトの英語説明を今回の手順でインストールしたGranite 4.0自身に翻訳してもらいました。
「私たちは、IBMの言語モデルの次世代であるGranite4を発表します。Granite4.0は、新しいハイブリッドMamba/トランスフォーマーアーキテクチャを備えており、パフォーマンスの犠牲なくメモリ要件が大幅に削減されます。これらは従来のLLMよりもはるかに安価なGPUで実行可能であり、かつコスト削減が顕著です。」
(IBM公式サイトより和訳)
また、Difyを使用することにより、メール送付、スライド生成などの機能を有したAIエージェントを作成することも可能です。(今回の手順ではDify上でGranite 4.0を使えるようにする手順までを記載)
Dify... LLMアプリ開発プラットフォーム。大規模言語モデルを用いて、AI機能を持ったアプリをプログラミング不要で開発することができる。
https://dify.ai/
0 全体概要
Ollama経由でLLM(granite 4.0)をインストール。
Ollama上でGraniteを実行状態にし、OllamaとDocker for desktop上でインストールしたDifyを接続することでDify上でGranite 4.0を使用できるようします。
Ollama..LLMを個人のPCやサーバーで手軽に実行・管理できるオープンソースツール
1 Ollamaをインストール
上記URLにアクセスし、ダウンロードを選択します。
Windowsを選択し、ダウンロードします。
ダウンロードしたOllamaSetup.exeを実行し、インストール作業を進めます。
Windowsのスタートメニューからwindows powershellを起動します。
正常にインストールができているか確認するために、Powershellにてversion情報を確認します。
ollama --version
Ollamaのバージョン情報が出てくれば、正常にインストールができています。
PS C:\Users\tonyb> ollama --version
ollama version is 0.12.3
PS C:\Users\tonyb>
2 OllamaでLLM(Granite 4.0)をインストール
OllamaからLLM(Granite 4.0)をダウンロードします。
ダウンロードするモデルの情報を確認しましょう。
Ollamaでダウンロード可能なモデルはこちらから検索ができます。
https://ollama.com/library
今回はGraite 4.0を使用するので、モデルの説明を確認してみましょう。
https://ollama.com/library/granite4
今回は軽量なgranite4:microを使用してみます。
上記ページに記載のある granite4:micro の実行(インストール)コマンドをpowershellで実行すると、ダウンロードが開始します。success表記がでくれば成功です。何かチャットを入力して試してみましょう。
LLMの実行を停止したい場合は「Ctrl＋D」を入力します。もう一度モデルを起動したい場合は再度「ollama run granite4:micro」を入力します。
(後述するDify上でLLMを使用する間はLLMを実行状態にしておく必要があります)
ollama run granite4:micro
3 GitからDifyをクローン
DifyはGitHubリポジトリから持ってくる(クローンする)必要があるため、まずGitをインストールします。
上記URLにアクセスし、「Download for Windows」を選択します。
「Click here to download the latest」 を選択し、Widowsのインストーラをダウンロードします。
ダウンロードしたGitのexeファイルを実行し、インストール作業を進めます。
表示されるオプションは全てデフォルトで問題ありません。
Powershellで下記を実行し、DifyのGitHubリポジトリをクローンします。
git clone https://github.com/langgenius/dify.git
Difyライブラリが上記コマンドを実行したディレクトリ配下にクローンされます。lsコマンドなどで確認してみましょう。
4 Docker Desktop for Windowsのインストール
Difyの実行環境として、Docker Desktop for Windowsをインストールします。
上記URLにアクセスし、Download Docker for Desktopからご自身の環境に合ったWindows版インストーラをダウンロードします。
ダウンロードしたDockerのexeファイルを実行し、インストール作業を進めます。
インストール時のオプションは全てデフォルトで問題ありません。
インストールが完了すると再起動を促されるので、そのまま従って再起動を行なってください。
再起動後、Docker用のアカウントを作成し、サインインを行なってください。
サインイン後、下記の初期画面が出ていれば完了です。
補足
Windows側の windows subsytem for linux(WSL)のバージョンが古いと下記メッセージが表示され、セットアップができない状態になります。その場合は下記表示に従い、Powershellでwslのupdateコマンドを実行してください。
5 Dify起動 初期セットアップ
クローンしたDifyリポジトリのdockerフォルダに移動します。(先ほどpower shellでクローンコマンド打った場所と同じディレクトリで下記を実行)
cd dify/docker
下記を実行し、環境変数ファイルのexampleから環境変数ファイルを作成します。
copy .env.example .env
Dockerコンテナを起動
docker compose up -d
Docker desktop アプリでコンテナが起動状態になっていればOKです。
ブラウザで http://localhost/install にアクセスし、立ち上げたDifyの初期設定を行います。
管理者アカウントの設定を行なってください。
管理者アカウントの作成が完了し、メイン画面がアクセスできていれば成功です。
6 Difyに Granite 4.0(Ollama)を登録
DifyにGranite 4.0(Ollama)の接続情報を登録し、Dify経由でLLMを利用できるようにします。
先ほどの手順2 「OllamaでLLM(Granite 4.0)をインストール」で起動したGranite 4.0を「Ctrl + D」で停止している場合は、
再度Powershellでモデルを起動し、チャットできる状態にしておきましょう。
ollama run granite4:micro
Dify画面右上のアカウントアイコンをクリックし、「設定」を選択してください。
モデルプロパイダータブから Ollamaを選択し、インストールを選択してください。
インストールが完了し、設定に下記が表示されればOKです。
インストールにある程度時間がかかりますが、なかなか表示されない場合は画面移動、再読み込み等を行ってください。
設定中項目にあるOllamaの「モデルを追加」を選択してください。
OllamaにインストールしたGraniteの情報を入力してください。本手順に従い、DesktopのOllamaでダウンロードしていればURLも含めて下記画像と同じ情報を入力で問題ないです。
granite4:micro
http://host.docker.internal:11434
以上で設定作業は完了です。
7 DifyでAIモデルGranite 4.0の動作を確認してみる。
Dify上で AIモデルの動作を確認してみましょう。
今回はAIモデルを使用した簡単な翻訳チャットを作ってみます。
Dify上で最初から作成するを選択してください。
初心者向けの基本的なアプリタイプ のタブを広げ、チャットボットを選択。
好きなアプリ名を入力し、作成するを選択してください。
プロンプト欄に翻訳をしてもらうためのプロンプトを設定してください。
あなたは翻訳者です。
質問者が入力する内容が英語なら日本語、
日本語なら英語に翻訳してください。
画面右上の公開するを選択し、更新を公開をクリック。
その後、アプリを実行するを選択してください。
チャット画面が立ち上がるので、プロンプト通りの翻訳ができているか試してみてください!!
まとめ
以上、Dify、Granite 4.0(ollama)を使用し、LLM環境をご自身のwindows環境で作る手順を解説しました。
Difyのチャットフローおよびツール機能を使うことでドキュメントを使用した回答(RAG)、入力に応じたメールの送付など様々AIアプリを作成することができますので、ぜひ色々調べて試してみてください。
私が以前書いた記事でもDifyを活用しておりますので、よければご参照ください。