ローカルのDifyでOllamaを動かす手順

環境

Ubuntu20.4　(Windows10 + Vagrant)

はじめに

ローカルのDifyでOllamaを動かす手順になります。LLMの容量はCPUで動かすために軽量化されているといえ、結構なストレージの容量が必要です。動作させるにも割と結構なメモリ容量が必要になります。

日本語に特化した国産LLMを動かしたい、リリースしたばかりの、今話題のあのLLMを動かしたい、といった場合はローカル環境でLLMを動かすことができます。

環境を整備するのはローカルのゲストOSのUbuntuですが、DifyはWindowsでブラウザを使って動作させることになります。

参考記事
https://zenn.dev/shintaroamaike/articles/8a63bdb7dad992

手順

環境を構築するのは結構大変です。大きく下記の４手順を踏みます。

1. Dockerをインストール

Dockerのインストール手順
https://qiita.com/pyon_kiti_jp/items/04737fed9c108a6e4573

2. Difyのローカルインストール

Difyのローカルインストール手順
https://qiita.com/pyon_kiti_jp/items/0652a81333591ddd28ee

3. Ollamaのインストール

Ollamaのインストール手順
https://qiita.com/pyon_kiti_jp/items/adb522b1363c82d99c8f

4. DifyにOllamaを追加する

DifyにOllamaを追加する手順
https://qiita.com/pyon_kiti_jp/items/8f7b88c937769a30b0d9