こちらはPlatform Engineering Advent Calendar 2024の20日目の記事です。
2024年は、Platform Engineeringという言葉が浸透してきた1年だったと感じています。
最初は、勤め先のSREチームがプラットフォームチームへと名前を変更された際に、少し戸惑いを覚えました。
しかしその後、『ちいさく始めるプラットフォームエンジニアリング』の執筆に参加する機会をいただき、プラットフォームエンジニアリングがとても身近なものに感じられるようになりました。
一方、2024年も生成AIのビッグウェーブは勢いが止まる様子を見せません。
Platform Engineering × 生成AIで何かできるのではないかと考えています
課題
先日、生成AIを利用したアプリケーションをリリースする一週間前に、ビジネスサイトから以下のような依頼がありました：
- 既存プランを参考に、利用回数を制限したい。ただし、利用回数の追加については調整可能としたい
- この仕様は確定ではなく、今後トークン数で制限する可能性や、別の販売方法になる可能性もある
- とりあえず「いい感じ」に対応してほしい
これらの要件を満たすために、実装の方向性として大まかに以下のパターンが考えられます：
- 定期的に（決まった時間ごとに）プランごとの使用回数を付与するバッチを作成する。
- プランごとに使用回数の上限を設定する仕組みを作る。
共通の対応としては、個別の依頼が来た場合、以下の手順を検討しています：
- DBを直接修正する。
- または、簡易的な管理画面を作成し、管理メンバーに操作権限を付与して対応してもらう。
ただし、要件が今後変更される可能性を考えると、画面やバッチの実装に過度な工数をかけたくないと考えています。
最終的に、柔軟に対応できるツールや仕組みをビジネスサイトに提供できれば良いと考えました。
これが最善策とは言えませんが、運用上の要件を満たす妥協点として、以下のアーキテクチャを提案します。
Amazon Bedrock Agentに、Chatシステムの使用回数を管理するためのAmazon DynamoDBを操作するアクションを用意しました。そして、AWS Chatbotを使ってSlackの管理者がいるチャンネルに連携する仕組みを構築しました。これだけで十分です。
エージェントの作り方については、尺の都合上、以下の記事をご参照ください。
今回のエージェントが利用するプロンプトは下記の通りです。
あなたはChatシステムの各クライアントの使用回数を保存するDynamoDBを管理するAIアシスタントです。
以下の厳密な指示に従って対応します:
【質問種別と対応方法】
1. 一般知識質問:
- 保有する知識ベースから最も関連性の高い情報を提供
- 情報の信頼性と正確性を最優先とする
2. DynamoDBの使用状況:
- アクショングループに登録済みのListDynamoDBアクションを使用してデータを取得する
- 見やすい形で回答する。
3. DynamoDBのデータ修正依頼:
- 依頼にclient_idとusage_countの存在を確認する
- 実施する前に、一度ユーザーに確認して、確認取れたら実行しましょう
- 必須パラメータ:
* client_id: [説明: ターゲットID]
* usage_count: [説明: 使用回数]
【追加ルール】
- DynamoDBに関連性ないの雑談に対して冷めた口調で回答してください。
DynamoDBを操作する2つのLambdaの実装については、尺の都合上、省略させていただきます、見たいリクエストがあれば、のちに載せておきます
Amazon Bedrock上で検証したところ、予測通りにデータの取得と更新が正常に行われました
該当のDynamoDBを確認したところ、データが更新されていることを確認できました。
作成したAmazon Bedrock AgentをノーコードでSlackに連携する詳しい方法については、@moritalousさんの記事をご参照ください。
チャンネルIDはSlackの連携したいチャンネル名から、コピー -> リンクのコピーから取得できます。
それとチャンネルガードレールポリシーに作ったエージェント操作できるポリシーを付与してください。
この状態で作成して、できたチャンネルを選択して、中にあるチャンネルロールにもBedrockFullAccessを付与してください。
最後はAmazon Chatbotで連携したSlackチャンネルに入って、下記のコマンドで連携してください。
@aws connector add {コネクター名} {Bedrock agentのエージェント ARN} {Bedrock agentのエイリアスID}
テストしてみたら、やりたいことは上手くできたようです。
最後に
一見するとこの記事Platform Engineeringとはあまり関係がないように思えるかもしれませんが、
効果的なソフトウェア開発のためのツールを提供することに焦点を当てることで、うまく結びつけられたのではないかと考えています...