背景

業務でDifyの話が出たので、ローカルでDifyを触ってみようと思って試したかったが、なぜかGeminiの無料枠がDifyで使えなかった
どうせならローカルでLLMサーバー作ったろ！って思った
で、やってみると意外に簡単にできたので記事にしてみた

目的

ローカルでのLLMサーバーを構築
Dify(ローカル)でローカルLLMサーバーを呼び出し

対象者

完全にローカルに閉じた環境でLLMを使ったワークフローを構築してみたい人
無料でLLM込みのDifyのワークフローの作成を試しに作ってみたい人

環境

Windows 11
- CPU：13th Gen Intel(R) Core(TM) i7-13620H(10コア)
- GPU：NVIDIA GeForce RTX 4060 Laptop GPU(専用GPUメモリ(VRAMとも呼ばれている) : 8GB)
- 動作したモデル：deepseek-r1:8b
- 動作したモデル：gemma3:4b

また、本記事では触れていないが、以下のスペックでも動作確認済み
暇があったら追記するかも

Windows 11
- AMD Ryzen 5 3500X 6-Core Processor(6コア)
- NVIDIA GeForce GTX 1660 SUPER (専用GPUメモリ：6GB)
- 動作したモデル：gemma3:4b

利用ツール

Git(2.49.0.windows.1)
Docker(4.41.2)
Ollama(0.9.0)
- ローカルLLM構築用のOSS
- CUIベースなので、GUIが使いたい人はLM StadioとかJanとか使ってください
Dify(v1.4.2)

事前準備

gitのインストール

dockerのインストール

作業内容

先に両方(OllamaとDify)の環境構築を書いているが、こんがらがる人は以下の読み方がおすすめ
- Ollamaの環境構築
- OllamaでのローカルLLMサーバー起動
- Difyの環境構築
- Difyでのローカルワークフローの作成

Ollamaの環境構築

以下のサイトでOSに合ったインストーラーをダウンロード

ダウンロードしたインストーラーを起動

インストールを選択

画面右下に以下のような表示が出るのでクリック

以下のようにコマンドプロンプトが起動する

試しに、以下のようにコマンドを打ってみる

コマンドプロンプト

PS C:\Windows\System32> ollama help

Ollamaで使えるコマンドの説明をしてくれる

以上
ちなみに、OSSなのでGitHubに公開されています。困ったときは見てみてください(※日本語翻訳推奨)

Difyの環境構築

コマンドプロンプトを起動(Ollamaのインストール時のコマンドプロンプトでも可)
Difyのローカル環境はOllamaと異なりgitコマンドでインストール
Githubのリンクは以下。コマンド自体は後述しているので手順上は参照不要

以下のコマンドをコマンドプロンプトで実行

コマンドプロンプト

C:\Users\[User]\dev\git-app> git clone https://github.com/langgenius/dify.git

次に、ディレクトリを移動

コマンドプロンプト

C:\Users\[User]\dev\git-app> cd dify\docker

Dify用のDockerコンテナを起動(※先にDocker Desktopを起動しておいてください)

コマンドプロンプト

C:\Users\[User]\dev\git-app\dify\docker>docker compose up -d

Dockerでこんな感じにコンテナが立ち上がってたらOK
以下のパスで、ローカルのDifyにアクセス

ログインのための情報を入力してセットアップを選択
問題なければログイン画面に遷移するので、先ほど入力した情報を再度入力してログイン

ログインできればこんな感じの画面になる

以上

OllamaでのローカルLLM起動

Ollamaをインストールしただけでは、モデルが入っていないのでそちらもダウンロードする必要あり
Ollamaの公式ページで、いろんなモデルが公開されている

選択の観点

基本的に、マシンスペック(特に専用GPU)を見た上で、それに適したモデルを選ぶのがよい
LLMの目安であるモデルサイズは｢xxB(Billionなので10億単位)｣という表記であらわされている
以下、Geminiに雑に聞いてみた結果
私の場合は、個人的に気になっていたDeepSeekの8Bを選択
逆に、DeepSeekのほかの低いバージョン(7Bや1.5B)を選ぶと途端に中国語になるので、ほかのモデルを選んだほうがいいかも(モデルの大きさを減らすために一番初めに言語を削っているから？？？)

LLMをサーバーとして起動

LLMを起動するコマンドを実行した際、ローカルにない場合は自動でダウンロードしてくれるので、モデルのダウンロードを意識する必要がない
ほしいモデルのページ右上のコピーボタンをクリック

コマンドプロンプトにペーストして実行

コマンドプロンプト

C:\Users\[User]\dev\>ollama run deepseek-r1:8b

指定したモデルに対して指示が可能になるので、試しに何か言ってみる

> ollama run deepseek-r1:8b
>>> こんにちは！
Thinking...
あ、初対面の挨拶か。ユーザーが日本語で「こんにちは」って送ってきたんだな。今日は何の特別事情もないだろうけど、ただ気
軽にお互いに認識したかっただけかもしれない。

この挨拶はとてもシンプルだから、ユーザーが今どんなことをしているのかあまり分かっていない可能性が高いね。仕事終わりに
リラックスしたい人？ 学生で家にいる人？ それとも海外在住の日本人？

返信も優しく気さくな感じがいいかも。「こんにちは」と同じくらい気軽なトーンで返そう。挨拶を忘れないように「お会いでき
て嬉しいです」って入れて、もしもっと話をしたければオープンに誘導するよ。

日本語しか使ってないけど、多分日本語話者だろうね。でも海外から来た可能性もあるから、「日本語で話す」とはっきり伝えな
いと困る。「わからないことがあれば気軽に聞いてください」と言ったら、日本語以外の質問も受け付けることを示せるし、親し
みやすくなるかな。
...done thinking.

こんにちは！ 😊
お会いできてとても嬉しいです。今日は何についてお手伝いしたいですか？
何か質問があれば、いつでも気軽にどうぞ！

>>> Send a message (/? for help)

これでローカルのLLMサーバーの起動が完了
セッションを終了したい場合は「/bye」と入力してEnter

Difyでの作業

LLM選択

Difyの画面右上のプロフィールアイコン経由で設定ボタンを選択

モデルプロバイダーを選択
Ollamaを検索し、インストールを選択

DL自体に結構時間がかかる。進捗はここから確認できる

以下のようにOllamaが表示されればインストール完了

もう一度、モデルプロバイダーの画面に戻り、Ollamaの「モデルを追加」をクリック
以下の内容を入力

項目名	入力内容	説明
Model Type	LLM	モデルを利用する種別。テキストとLLMがあるらしいがよくわからないので無難にLLMを選択
Model Name	deepseek-r1:8b	モデル名を入力。自分の選択したモデルをここでは入力すること
Base URL	`http://host.docker.internal:11434`	Difyがdockerコンテナ内からホストマシンのエンドポイントにアクセスするために「host.docker.internal」という記述が必要。「11434」はollamaのポート番号

上記で未記載のものはデフォルトのままで保存をクリック~~個人利用なので、細かい内容を調べるのが面倒だった~~

成功すれば、以下のように利用可能なモデルとして追加される

最後に、システムモデル設定で先ほど追加できたモデルを選択

[システムモデルがまだ完全に設定されておらず～～～]という表記がなくなれば完了

アプリ作成

最初の画面（スタジオ)で「最初から作成」を選択

簡単に作って動作確認をしたいだけなので、チャットボットを選択し、アプリ名を入力して作成するをクリック

こんな感じの画面に遷移する

一応Difyの機能が適用されていることの確認用にプロンプトと変数だけ入れておく(本題ではないので割愛)

試しに、右側のプレビュー画面で何かメッセージを送ってみる

なんかよくわからん回答をしてきたが、まあ大丈夫だろう。。。

ちなみに、後で試してみるとgemma3:4bの方が早くて良い回答をしてくれた。。。もっと複雑な依頼をしたときには変わるのかもしれない。。。

アプリ公開

とは言いつつもローカルなのでパブリックに公開されることはない
画面右上の「公開する」を選択し、その中の「更新を公開(?)」を選択
公開済みのステータスになった後、同じ場所にある「アプリを実行」を選択
ローカルに閉じたチャットボットの完成！！

最後に

これで(電気代以外は)完全無料でLLMを利用したローコードツールの開発ができます
業務で利用する場合は話が変わってくるかもしれませんが、実例があるだけで偉い方の承認は通りやすいと思うので、導入したい方はぜひ個人でやってみましょう！

また、Difyについては、詳しい人がいろいろやってくれていると思うので、複雑なワークフローを作りたい方はそちらを検索してください！

参考元