ノーコードLLM統合アプリのdifyでollamaと連携してみた

はじめに

• 革新的な連携: ノーコードプラットフォームDifyとAIツールOllamaの連携により、開発プロセスが劇的に変革されます。
• 探求: この記事では、両ツールの統合手順と開発者にとっての利点を詳しく探ります。Difyの直感的なインターフェースを通じて、OllamaのAIモデルを効果的に活用する方法を紹介します。

Ollamaとは

Ollamaは、LLama3やLLava、vicunaやPhiなどのオープンに公開されているモデルを手元のPCやサーバーで動かすことの出来るツールです。

difyとは

DifyはオープンソースのLLMアプリ開発プラットフォームです。 RAGエンジンを使用して、エージェントから複雑なAIワークフローまでLLMアプリを編成します。

前提の環境の説明

• OS: Windows 11
• ollamaはWinodowsのインストーラを使用する
• difyはDocker Desktopを使用して環境を構築する

導入のプロセス

olllamaのインストール

• ollamaはWinodowsのインストーラで導入する。ollamaのWindows版のインストールに関する情報は、以下のリンクから入手できます。
  https://ollama.com/download/windows

• 次のモデルをollama pull コマンドであらかじめダウンロードしておく。

このデモで使用したのは、mxbai-embed-largeですが、nomic-embed-textのほうがパラメータ数などは大きいようなので、そちらもチェックしてみてください。
https://ollama.com/library/nomic-embed-text

difyのDockerのインストール

• 公式サイトの手順にそってDocker Composeを使用してインストールします。

• こんな感じで複数のコンテナが起動します。

ollmaとdifyの連携のプロセス

• difyのWebサイト(http://localhost/apps)にアクセスする。初回は管理者アカウントの登録してログインする。
• difyの設定でolllamをモデルプロパイダーに追加する。
  

追加したあとの設定になっているが、+ADD MORE MODEL PROVIDERからOllamaを選択して、次に２つのモデルを追加した。

モデルプロパイダーとしては、その他にOpenAI, ANTHROPIC, Bedrock, Cohereなど選択できる。

この環境ではollamaはWindows版でインストールしているので、Base URLを次のように定義した。

RAGするときに必要なので、この設定も定義した。

モデルの説明を確認したところ、以下のようになっていたので、

Modelのコンテキストサイズは、4096ではなく、512以下のほうが良かったかもしれない・・・。(未確認
)

lamma3の設定

text embedingのための設定

モデルプロパイダーの設定でシステムモデルをクリックする。

チャットボットを作成する

スタジオをクリックして移動する。

次を選択してシンプルなアプリを作成する。

アプリのアイコンと名前を定義して、作成するをクリックする。

次のような画面でアプリの定義をする。右上でまずは、モデルを選択する。

モデルのPARAMETERSを設定したい場合には、上記の項目も確認して調整する。GPUを有効にして1に設定した。

手順を追記する。

コンテキストを定義するまえに、ナレッジのページをもう一つのブラウザで開いてRAGしたいドキュメントを登録する。

知識を作成をクリックする。

Aさんの経歴はこんなファイル

登録したいいテキストファイルをドラッグして登録する。次へをクリックする。

保存して処理をクリックして、ドキュメントが登録されるのを待つ。

ナレッジを登録したあとにコンテキストの追加ボタンをクリックする。

登録したい知識を選択して、追加ボタンをクリックする。

画面したの機能追加で次の機能も追加する。

引用と帰属をチェックする。

右側でデバッグでチャットして確認することができる。

右上の公開するをクリックして、更新をクリックする。設定が保存される。
アプリを実行をクリックすると、チャットボットの画面が開く。

チャットボットを検証する

Start Chatをクリックして、チャットを開始する。

回答のソースもとも示してくれた。

まとめ

• Difyの利用: 数時間でノーコード開発により、Ollamaと連携するRAGチャットボットを構築できました。
• モデルの柔軟性: ローカルLLMおよびクラウド環境ともに連携可能で、多様なモデルプロバイダーに対応しています。
• ワークフローの拡張性: 複雑なワークフローを設計することで、処理を柔軟に拡張し、回答の精度を向上させることが可能です。
• APIの公開: 構築したボットはAPIを公開できるため、他のプログラムや自律AIアプリケーションからの呼び出しが可能です。

参考文献

• difyの公式サイト
• Tips on how to use Dify
• How to use RAG (Retrieval Augmented Generation) - Short Tutorials
• Dify（独自AIサービスをローカル環境で簡単につくれる）を非エンジニアが試してみた
  いつもチャンネルみてます、ありがとうございます。
• OpenAIのGPTsより凄い！無料で使えるDifyを徹底解説してみた
  いつもチャンネルみてます、ありがとうございます。
• Dify の ワークフロー の概要
• Dify で RAG を試す
  npakaさんまとめ
• Dify公式: Ollamaが配置したローカルモデルを統合

その他

テンプレートからチャットボットを開発することもできる

拡張ツールとして、このようなものがある。カスタムツールも定義できる。

difyのwebサイトで登録してためせるので、大規模LLMのAPIを試すだけだったら、ローカルに環境構築しなくても試せます。