VMware Workstation上に、Ubuntu/Digy with OllamaでAI開発環境つくってみた（その３）

目的

生成AIアプリケーションのノーコード開発環境を作ってみる
個人PC（Windows11）に、たまたま、VMware Workstation Proが入っていたので、そこにつくろうと思います。

その2の続きです。
https://qiita.com/kimtetsu/items/77414947dd38510f284d

流れ

Ubuntuサーバーのインストール　（その１）
Docker Composeのインストール　（その２）
Difyのインストール 　< ここから
Ollamaのインストール
LLMのダウンロード、確認 < ここまで
Difyの初期設定、動作確認　（その４）

その４はこちら
https://qiita.com/kimtetsu/items/cd11f29bfe941fb25425

Dify 取得

Dify を取得し、Ollama も同じ Compose で起動してきます。

$ git clone https://github.com/langgenius/dify.git

こんな感じです。

Cloning into 'dify'...
remote: Enumerating objects: 198801, done.
remote: Counting objects: 100% (100/100), done.
remote: Compressing objects: 100% (38/38), done.
remote: Total 198801 (delta 78), reused 62 (delta 62), pack-reused 198701 (from 3)
Receiving objects: 100% (198801/198801), 107.54 MiB | 15.37 MiB/s, done.
Resolving deltas: 100% (146132/146132), done.}$

環境ファイルの作成

（デフォルトでOK）

$ cd dify/docker
$ cp .env.example .env

Ollamaサービスを同梱するymlを作成：

OllamaもDockerで一緒に起動するため。
docker-compose.override.yml を作成

$ cat > docker-compose.override.yml << 'EOF'
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"   # ホストからも使いたいので公開
    volumes:
      - ollama:/root/.ollama
volumes:
  ollama:
EOF

起動

$ docker compose pull
$ docker compose up -d

確認もしておきましょう

$ docker compose ps 

nginx/web/api/ollama等が "Up" ならOK

LLMモデルを コンテナ内のOllamaにpull

例：軽量モデル

$ docker exec -it ollama ollama pull phi3:mini

こんな感じ、phi3のminiで、2.2GBくらい
空き容量に注意を

pulling manifest
pulling 633fc5be925f: 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 2.2 GB
pulling fa8235e5b48f: 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.1 KB
pulling 542b217f179c: 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  148 B
pulling 8dde1baf1db0: 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   78 B
pulling 23291dc44752: 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  483 B
verifying sha256 digest
writing manifest
success

インストール済みのLLMの確認

$ docker exec -it ollama ollama list

ollama で先ほどダウンロードしてLLMを使ってみよう。

$ docker exec -it ollama ollama run phi3:mini

が出てきたら、Helloなど、プロンプトをいれてみよう。

NAME         ID              SIZE      MODIFIED
phi3:mini    4f2222927938    2.2 GB    2 minutes ago
piperai@ubu3s:~/dify/docker$ docker exec -it ollama ollama run phi3:mini
>>>
Use Ctrl + d or /bye to exit.
>>> Hello
Hello! How can I help you today?
>>> Send a message (/? for help)

/bye で抜けれます。

Difyのアクセス確認

ホストPCのWin11のWebブラウザーから、下記のURLでアクセス

http://IPアドレス/install

管理者アカウントの設定画面が出てきたらOKです。

全体を通して

※会社から、もしくは会社のVPNが接続されているとエラーになる事があります。

Difyの初期設定と動作確認

その４はこちら