3
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

DifyとollamaでGraniteモデルをWebアプリ化してみた

Posted at

初めに

以下の投稿にて、ollamaでGraniteモデルをローカルで動かしてみた記事(※1)を投稿しましたが、そのままではユーザーに公開できないため、Dify(※2)でWebアプリ化してみたので、紹介します。

参考
※1:「Graniteモデルをローカルで動かしてみた」

※2:Dify
LLMアプリ開発プラットフォーム。ローコード/ノーコードでLLMアプリを作成可能

前提条件

・dockerおよびdocker-composeが導入済みであること
・ollamaでgraniteモデルを実行済みであること

手順

1.以下のコマンドを入力し、GitHubからソースコードをクローン

git clone https://github.com/langgenius/dify.git

2.以下のコマンドを入力し、ディレクトリを移動

cd dify/docker

3.以下のコマンドを入力し、環境設定ファイルを配置

cp .env.example .env

4.以下のコマンドを入力し、コンテナを起動

docker compose up -d

5.WEBブラウザを開き、下記URLにアクセス

http://172.16.185.32/install

6.管理者アカウントを設定します。

image.png

7.上記で作成した管理者アカウントでログインします。

image.png

8.画面右上のユーザーアイコンから、「設定」を選択します。

image.png

9.設定画面にて、「モデルプロバイダー」を選び、出てきたリストから、「Ollama」を選択し、「モデル追加」をクリックします。

image.png

10.以下のように、各項目を入力し、「保存」をクリックします。

Model Type: LLM
Model Name: granite3.1-dense:2b
Base URL: http://:11434
Completion Mode: Completion
Model context size: 任意の数値(初期値:4096)
Upper bound for max tokens: 任意の数値(初期値:4096)
Vision Support: No
Function call Support: No
image.png

11.モデルが追加されたことを確認し、設定画面を閉じます。

image.png

12.「アプリを作成」の中から「最初から作成」をクリックします。

image.png

13.以下のように、各項目を入力し、「作成」するをクリックします。

アプリの種類: チャットボット
アプリのアイコンと名前:任意の文字列とアイコン
image.png

14.画面右上の「公開する」をクリックし、「アプリを実行」を選択します。

image.png

15.チャットボットのWEBアプリのページが表示されるので、チャットを始めることができます。

image.png

※チャット実行例
image.png

最後に

上記の手順で見てきた通り、Difyを使用すると、ノーコードでLLMアプリを作成することが可能です。
Difyにはいろいろな機能がありRAGを使用したアプリを作成することも可能です。

3
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
3
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?