概要
ローカル環境上でgpt-oss-20bを使用してDifyを動かし方について説明します。
目次
１．前提条件
２．LM Studioダウンロード
３．LM Studioセットアップ
４．Dify環境構築(windows版)
５．Dify環境設定
６．参考
【前提条件】
CPU
- 最低: Intel Core i7（第10世代以降）または AMD Ryzen 7（Zen 3以降）
- 推奨: Intel Core i9（第12世代以降）または AMD Ryzen 9（Zen 4以降）
- LLMの推論には並列処理が重要なため、マルチスレッド性能が高いCPUが望ましい
GPU
- 最低: NVIDIA RTX 3060（12GB VRAM）
- 推奨: NVIDIA RTX 4080（16GB VRAM）以上
- LLMの推論にはVRAM容量が必要
- 7Bモデルなら8GB、13Bモデルなら16GB以上のVRAM推奨
RAM
- 最低: 16GB DDR4以上
- 推奨: 32GB～64GB DDR5
- DifyはDockerコンテナを複数起動するため、メモリが多いほど快適
ストレージ
- 最低: 500GB SSD（NVMe推奨）
- 推奨: 1TB以上（M.2 NVMe SSD）
- LLMのモデルデータ（gguf形式など）やDockerのコンテナが容量を消費す
その他のポイント
- OS: Ubuntu 22.04 / Windows 11（WSL2推奨） / macOS（M1/M2以上）
- Dockerの動作環境: DifyはDockerコンテナを使うため、Docker Desktopが快適に動作する環境が必要
- 電源: 高性能GPUを搭載するなら850W以上の電源ユニット推奨（デスクトップの場合）
【LM Studioダウンロード】
上記[LM Studio]のダウンロードページにてPC環境に応じてダウンロードします。
【LM Studioセットアップ】
[LM Studio]を実行します。
下記の手順で環境設定や「gpt-oss-20b」のダウンロードを行います。
環境設定
- [Get Started]をクリック
- choose your level: [Developer]をクリック
- モデルをダウンロードする画面に遷移するが、 とりあえず右上の「Skip」ボタンをクリック
- 右下の「設定」(歯車)ボタンをクリック
- 言語の変更が可能
- 左側のDiscover(虫眼鏡)ボタンをクリック
- gpt-ossで検索
- Downloadをクリックしてダウンロード
- 左側のChat（吹き出し）ボタンをクリック
- Chat形式で利用可能
- 左側のDeveloper（パソコン）ボタンをクリック
- Select a model to load...でgpt-oss-20bを選択
- status Runningをクリック
- 緑になれば動いている状態
【Dify環境構築(windows版)】
- windows11であること
- Python、Node.jsがインストールされている事
- Dockerがインストールされている事
- WSL2が使用できる状態であること
WSL2を使用するLinuxディストリビューションの作成
power shell
## 利用可能なLinuxディストリビューションを確認
wsl --list --online
## Ubuntuをインストール
wsl --install -d Ubuntu
## WSLのバージョンを確認
wsl --list --verbose
Dockerの設定の確認
- 「Setting」>「Resources」>「WSL integratio」にて「Ubuntu」がonの状態にする
Dockerでの環境構築
作成したLinuxディストリビューション：Ubuntu内にて実施
Ubuntu
# Difyのソースを置くディレクトリの作成
mkdir [任意]
cd [作成したディレクトリのパス]
# Difyのソースコードの取得
git clone https://github.com/langgenius/dify.git
# docker ディレクトリへの移動
cd dify/docker
# 環境変数の設定（そのままコピーするだけ）
cp .env.example .env
# Difyコンポーネント初回起動
docker compose up
=========================
# 以下：コマンドについて
# Docker の起動
cd /[作成したディレクトリのパス]/dify/docker
docker compose up -d
# 停止
cd /[作成したディレクトリのパス]/dify/docker
docker compose down
# ソースが更新されるので起動前に実施（DifyはUI変更など更新が多い）
cd /[作成したディレクトリのパス]/dify/docker
git pull origin main
docker compose down
docker compose pull
docker compose up -d
【Dify環境設定】
アカウント作成
- 上記の「docker compose up 」を実行後、設定のログが流れるので、ある程度ログの動きが落ち着いたら、「 http://localhost/install 」にアクセス。下記の画面が表示されたら、Difyの環境構築は成功
- 「メールアドレス」・「ユーザー名」・「パスワード」を設定し、セットアップを押下
ログイン
- http://localhost/signin にアクセス
- 設定した「メールアドレス」と「パスワード」でログイン
- 下記の画面が表示されればログイン成功
Dify「モデルプロバイダー」を設定
- アカウント > 設定 > モデルプロバイダー に移動
- モデルプロバイダーで[OpenAI-API-compatible]をダウンロード
モデルを設定
- 以下のようにモデル設定を行う
承認名： gpt-oss-20b (任意)
Model Type : LLM
Model Name : lm-gpt-oss-20b （任意）
Base URL : http://host.docker.internal:1234/v1
Completion model : Chat
Moel context size : 4096
Upper bround for max tokens : 4096
- 設定後、緑のチェックマークが表示されたらOK（赤のマークはNG、設定を確認してください）
[例]オーケストレーションにて会話を開始
- プロンプト（手順）を設定します
- 例）あなたは優秀なアシスタントです。ユーザーの質問に答えてください。
- 設定後、chatGPTのように会話が実行できます
【参考】
【後記】
- 最後まで読んで頂きありがとうございます。
- Olama(phi3)のモデルで動かした環境より違和感がない日本語で返答してくれました。（下記の記事）