Dify(ローカル)とOllama(ローカル)でllmアプリを構築してみた

Dify(ローカル)と Ollama(ローカル)をつないでみた

概要

流行りの Dify をローカルで管理し、Ollama を利用してローカルで llm を動かし完全ローカルで llm アプリを構築してみた。

事前準備

下記はインストール済みなのを前提にしています。

• Docker
• Docker-compose
• Git

手順

Dify をローカルで動かす手順

dify リポジトリをクローンします。

git clone https://github.com/langgenius/dify.git

作業ディレクトリを移動します。

cd dify

環境設定ファイルを準備

cp .env.example .env

コンテナを立ち上げる

cd docker
docker compose up -d --build

ローカル Dify にアクセスする

http://localhost:3000

2. Ollama をローカルで動かす

docker で用意されてる Ollama イメージを pull する

docker pull ollama/ollama

docker-compose.yml ファイルを作成する

touch docker-compose.yml

使用する Ollama イメージを指定して docker-compose.yml を編集する

version: "3"

services:
  ollama:
    image: ollama/ollama
    container_name: ollama
    environment:
      - OLLAMA_HOST=0.0.0.0
    ports:
      - "11434:11434"
    volumes:
      - ollama:/root/.ollama

volumes:
  ollama:

コンテナを立ち上げる

docker compose up -d --build

ローカル Ollama にアクセスする

http://localhost:11434

下記のように出ると問題なく起動してます。

Dify でのモデル設定

Dify の設定　 → 　モデルプロバイダー　 → 　 Ollama を選択

すると下記の設定画面が出てきます。

ここに下記のように入力する

そして保存を押すと登録完了

すると llm 選択の際に

と追加したモデルが表示されます。

まとめ

このようにすべてローカルで Dify と Ollama を起動させ、llm アプリを構築することができました。
Ollama には様々なモデルがあるので色々試してみるのも面白いと思います。

注意

ローカルで動かす場合、かなり遅いので実用性は皆無です。