DifyとOllamaで完全ローカルLLM環境セットアップ手順

想定環境 Mac ( Apple silicon )

Ollamaのインストール

1. Ollamaのサイト から、インストーラをダウンロードして実行する。
2. 起動するとコマンドラインプログラムをインストーするウインドウが表示されるので、インストールする。
3. ターミナルを開き、gemma2 9Bをインストールする

ollama run gemma2:9b-instruct-fp16

※18GBのモデルなので時間がかかります。

インストールがおわり、プロンプトが表示されれば、正しくインストールされています。

Difyのインストール

公式ドキュメントを参考にしてください

1. リポジトリをclone
2. .env をコピー
3. docker composeで起動
4. http://localhost/ にアクセス

git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env
docker compose up -d

Difyのユーザーを登録

http://localhost/ にアクセスすると、最初はユーザー登録画面になるので、ユーザー登録する

モデルにOllamaを登録

• 右上のユーザー名をクリックしてメニューを開き「設定」を選ぶ
• 「モデルプロバイダー」を選択し、「ADD MORE MODEL PROVIDER」から「Ollama」を選択
• Model Type: LLM
• Model Name: gemma2:9b-instruct-fp16
• Base URL: http://host.docker.internal:11434/
• Completion Mode: Chat

で保存して、しばらくすると追加完了（時間がかかる）

これであとは、アプリを作るだけ