0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

CloudWatch Metrics編

0
Posted at

はじめに

AWSのMonitoringにおいてCloudWatch Metricsは中心的な役割を担います。本記事では、CloudWatchのStandard Metrics、Custom Metrics及びHigh-Resolution Custom Metrics設定の違いと使い分けを、BedrockのInvocationLatencyを例に整理します。

機能 最小粒度 用途
Standard Metrics 1分 AWSserviceの定常監視
Custom Metrics 1分(標準) / 1秒(高解像度) アプリ独自の指標監視
High-Resolution Custom Metrics 1秒 スパイクの詳細分析

Standard Metrics

CloudWatchのMetrics画面から、各AWS ServiceのStandard Metricsを選択・確認できます。

表示されるのは実行したことのあるserviceのみです(一度も起動していないserviceのMetricsは表示されません)。
主要serviceのMetrics一覧は以下で確認できます。

https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/aws-services-cloudwatch-metrics.html

image.png

NamespaceとDimension

CloudWatch MetricsはデータをNamespaceという単位で管理します。例えばEC2は AWS/EC2、Bedrockは AWS/Bedrock というNamespaceに分類されます。
Namespace内の各Metricsは、さらにDimension(リソースIDやモデル名などの属性)で絞り込むことができます。

画面ではservice名やMetric名で検索できます。以下は AWS/Bedrock ModelID DimensionのInvocationLatencyの例です。
image.png

選択したMetricに対し、Graphed Metrics panelでは、以下の設定が可能です。

  • Statistic(統計方法): Average、Maximum、Minimum、Sum、Percentile(p99など)
  • Period(集計期間): 1分・5分・1時間など
    image.png

Custom Metrics

Standard Metricsと同じ画面・同じ操作感で、Custom Metricsを確認できます。
cloudwatch.put_metric_data() を使用することで、Application独自のMetric Dataを自由に送信できます。Namespaceを独自名(例: MyApp/Bedrock)にすることで、AWSのStandard MetricsとCustom Metricsを画面上で並べて比較することも可能です。

以下のSample Codeでは、vector data作成用のChroma.from_texts() の実行時間を計測してCustom Metricとして送信しています。

厳密にはBedrock modelのInvocation Latencyではなく、Embedding処理全体(Chroma.from_texts())の実行時間です。Standard MetricsとCustom Metricsを同じ軸で比較する便宜上、同一のMetric名(InvocationLatency)を使用しています。

from langchain.embeddings import init_embeddings
from langchain_chroma import Chroma
import boto3
import time

from dotenv import load_dotenv
load_dotenv()

embedding = init_embeddings(
    model="amazon.titan-embed-text-v2:0",
    provider="bedrock",
)

cloudwatch = boto3.client('cloudwatch')

for e in texts:
    texts_split = [e]
    s = time.time()
    db = Chroma.from_texts(
        texts=texts_split,
        embedding=embedding,
        collection_name="service_information",
        persist_directory="./db/chroma_langchain_db"
    )
    e = time.time()
    latency = (e - s)*1000

    cloudwatch.put_metric_data(
        Namespace='MyApp/Bedrock',
        MetricData=[{
            'MetricName': 'InvocationLatency',
            'Value': latency,
            'Unit': 'Milliseconds',
            'StorageResolution': 1  #  60=標準(1分粒度)、1=高解像度(1秒粒度)
        }]
    )
    time.sleep(1.2)

Standard Metricsと同じ画面で、Custom Metricsを確認できます。
image.png

High-Resolution Custom Metrics

Standard Metricsでは、集計期間の最小粒度が1分です。そのため、数秒間だけ発生した事象の詳細確認が困難になります。
例えば、1分間に10回のModel Invocationが発生したことはInvocation Count Metricsで確認できます。
image.png

しかし、対応するLatency Metricsを見ると、1分間のデータが1ポイントに集約されてしまうため、各呼び出しのLatencyの分布や発生タイミングは確認できません。集計期間を変更しても変わらないです。

  • 集計期間: 1分
    image.png

  • 集計期間: 1秒
    image.png

その一方で、
StorageResolution: 1 を指定してCustom Metricsを送信すると、集計期間を最小1秒に設定できます。これにより、数秒間に集中したリクエストのLatencyを個別に把握することが可能になります。

Sample Codeは上記Custom Metricsに記載したcodeを参照

image.png

そう言っても、High-Resolutionの利用costが高いです。
Metricsの保存料金が変わらないが、cloudwatch.put_metric_data()の実行回数が増えたため、costが高くなります。
https://aws.amazon.com/cloudwatch/faqs/
image.png

https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/cloudwatch_concepts.html
image.png

そのため、Standard Metricsの統計方法Maximumやp99などを活用することで、Spikeなどの検出も可能ですので、状況によっては使い分けが必要です。

観点 推奨統計 解像度
全体の傾向把握 Average 標準(1分)で十分
最悪ケースの確認 Maximum 標準(1分)で十分
上位1%の遅延把握 p99 データ量が多い場合に有効
Spikeの発生時刻・継続時間の特定 Maximum / p99 High-Resolution必須

Spikeの「いつ・何秒間続いたか」を確認する必要がある場合は、High-Resolution Custom Metricsの利用が適しています。一方、定常的な傾向監視であればStandard Metricsで十分なため、コストとのバランスを意識して使い分けることを推奨します。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?