Bedrock+Difyでお手軽にLLMアプリを作ってみる

DifyはオープンソースのLLMアプリ開発プラットフォームです。

Difyを使うことでアプリ開発の専門知識がなくても簡単にLLMアプリを作ることができます。

今回はEC2インスタンス上にDifyをインストールし、
EC2からAmazon Bedrockの基盤モデルを呼び出すことでLLMアプリを作ってみました。

システム構成

構築するシステムの構成は以下の通り。

ALBでクライアントからのHTTPSリクエストを受け付け、
後段のEC2インスタンスにHTTPでリクエストを転送します。
(DifyにはNginxが内蔵されているのでALBは必ずしも必要ではないです。証明書周りの設定を簡単にするためにALBを立てています。)

EC2インスタンスにはDifyと、Difyの実行に必要なDockerとDocker Composeをインストールしておきます。

EC2インスタンスからBedrockのAPIを叩けるように、
EC2にはbedrock:InvokeModel*を許可ポリシーに加えたIAMロールをアタッチします。

公式のガイドによると、Difyのインストールには

CPU >= 2 Core
RAM >= 4 GiB

が必要になるので、EC2のインスタンスタイプはt3.mediumとします。

構築手順

AWSリソースのデプロイ

構築するリソースは全てCloudformationで作成しました。
以下のテンプレートを用いて各種スタックを作成していきます。

DifyについてはEC2インスタンスを起動する際に
以下のユーザデータを実行してインストールするようにしています。

#!/bin/bash

# Install Docker
yum install docker git -y
usermod -a -G docker ec2-user
systemctl enable docker
systemctl start docker

# Install docker-compose
mkdir -p /usr/local/lib/docker/cli-plugins
curl -SL https://github.com/docker/compose/releases/download/v2.4.1/docker-compose-linux-x86_64 -o /usr/local/lib/docker/cli-plugins/docker-compose
chmod +x /usr/local/lib/docker/cli-plugins/docker-compose

# Install Dify
cd /usr/local
git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env
docker compose up -d

インストール手順は以下を参照しました。

一点、注意点として、上記コマンドを実行すると

Nginx
PostgreSQL
Redis
Webaviate

といった複数のサービスがコンテナ上で起動します。

各種サービスの起動に用いられる環境変数はdify/docker/.envに記載されています。
実際にアプリケーションを公開・運用する際はdify/docker/.envに記載された変数を適宜チューニングする必要がありそうです。

Bedrockでの基盤モデルの有効化

AWSのマネジメントコンソールからBedrockの基盤モデルを有効化します。

Bedrockのコンソール画面から
Bedrock configurations > モデルアクセス
を選択します。

モデルアクセスをリクエストしたのち、アクセスのステータスが
「アクセスが付与されました」の表示になるまで数分待ちます。

コンソールの左ペインの
基盤モデル > ベースモデル
を選択すると、ベースモデルの詳細が表示されます。

各モデルについてModel IDが表示されています。利用したいモデルのModel IDをコピーしておきます。

Difyでのモデルプロバイダーの設定

ALBのエンドポイントにアクセスしてDifyの管理者コンソールを開きます。

「設定」画面から「モデルプロバイダー」を選択し、
「Bedrock」を追加します。

セットアップ画面が開くので

AWS Region: Asia Pacific (Tokyo)
Available Model Name: マネジメントコンソール上で確認したModel ID
を入力して保存します。

今回はEC2インスタンスにIAMロールを設定しているため、Access KeyおよびSecret Access Keyは空欄でOKです。

LLMアプリの作成＆公開

Difyのコンソールからお好きなアプリを作成して公開します。

まとめ

AWSのリソースの作成から初めてわずか数時間でLLMアプリを作成することができました。

さらに作り込むなら

DB周りのサービスをAWSのマネージドサービスに置き換える
- PostgreSQL: Amazon Aurora PostgreSQL
- Redis: ElastiCache for Redis
- Webaviate: Amazon Aurora PostgreSQL + pg_vector
DifyのサーバをPrivate Subnetに配置し、BedrockにはVPCエンドポイント経由でアクセスする
Knowledge base for Amazon Bedrockを使ってRAGぽいものを作ってみる

などができそうです。また、Webサーバ(nginx)やベクターDB(Webaviate)は外部サービスを利用するならDify内蔵のものは止めた方が良さそうです。