はじめに

Amazon Bedrock 基盤モデルの利用状況を知る方法、2つ目の記事です。
前回はBedrock基盤モデルの過去の利用実績をログから分析する方法を紹介しました。
以下の記事で紹介しているのでよければご参考ください。

今回は、リアルタイムの監視を行う方法として、CloudWatchを使ってリアルタイムの利用を監視し、大量リクエストがあった場合にEメールに通知する手順を確認します。手順は非常に単純なので、CloudWatchを使ったことがある人は読む必要がないかもしれません。

手順

メトリクスの確認

マネジメントコンソールからCloudWatchのページを開きます。
左メニューの「すべてのメトリクス」をクリック。

AWS名前空間の中から「Bedrock」を見つけクリックします。

Bedrockのメトリクスには「モデル別」のものと「全体」のものがあります。
今回は「すべてのモデルID全体」を選択します。

現在筆者の環境で確認可能なメトリクスは以下の7種類でした。利用している基盤モデルによっては数が異なるかもしれません。
大量の異常リクエストを検知したい場合などに使えそうなのは、Invocationsリクエスト数とInputTokenCount,OutputTokenCountあたりでしょうか。

今回は単位時間あたりのリクエスト量の増加を検知してみましょう。
Invocationsを選択します。

グラフの表示がデフォルトでは5分間の平均になっているので、変更します。
タブの「グラフ化したメトリクス」から、統計を合計、期間を1分に変更すると、1分毎の基盤モデルへのリクエスト数の時系列グラフになりました。
以下画像ではリクエスト数が少なすぎて離散的ですが、エンタープライズで使っている環境であればもっと見ごたえのあるグラフになっていると思います。

以下のようにInputTokenCountとOutputTokenCountを見比べてみても面白いかもしれません。

アラームの設定

異常利用が発生したときに検知する設定を行います。

Invocationsを選択し「アラームの作成」をクリック。

メトリクスの値と期間を設定します。
今回のInvocationsはカウント値のため、統計には合計、期間は1分とします。
期間は適宜、監視したい期間に応じて入れるとよいでしょう。

次に条件を設定します。しきい値の種類は「静的」と「異常検出」があります。
大量リクエストの発生検知などには異常検出が適しています。前後のトレンドから大きく外れた数値があれば検出してくれます。

今回はアラートをテストしたいので、「静的」かつ分かりやすい固定値としたいので以下の設定とし、閾値は4と低めにしておきました。
データポイントは1/1なので、ある1分間で５回以上のリクエストがあったらすぐにアラートが発砲します。

通知設定を行います。
今回はクエリ数が急増し閾値を超えたときに通知が欲しいので、アラーム状態をトリガーにします。
新規に通知先のトピックを作る場合は、「新しいトピックの作成」を選択肢、トピック名とEメールを入力してから「トピックの作成」をクリックします。その後、追加したメールアドレスに届く認証メール内のサブスクリプション承認をクリックしてください。