はじめに
AWSのMonitoringにおいてCloudWatch Metricsは中心的な役割を担います。本記事では、CloudWatchのStandard Metrics、Custom Metrics及びHigh-Resolution Custom Metrics設定の違いと使い分けを、BedrockのInvocationLatencyを例に整理します。
| 機能 | 最小粒度 | 用途 |
|---|---|---|
| Standard Metrics | 1分 | AWSserviceの定常監視 |
| Custom Metrics | 1分(標準) / 1秒(高解像度) | アプリ独自の指標監視 |
| High-Resolution Custom Metrics | 1秒 | スパイクの詳細分析 |
Standard Metrics
CloudWatchのMetrics画面から、各AWS ServiceのStandard Metricsを選択・確認できます。
表示されるのは実行したことのあるserviceのみです(一度も起動していないserviceのMetricsは表示されません)。
主要serviceのMetrics一覧は以下で確認できます。
https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/aws-services-cloudwatch-metrics.html
NamespaceとDimension
CloudWatch MetricsはデータをNamespaceという単位で管理します。例えばEC2は AWS/EC2、Bedrockは AWS/Bedrock というNamespaceに分類されます。
Namespace内の各Metricsは、さらにDimension(リソースIDやモデル名などの属性)で絞り込むことができます。
画面ではservice名やMetric名で検索できます。以下は AWS/Bedrock ModelID DimensionのInvocationLatencyの例です。

選択したMetricに対し、Graphed Metrics panelでは、以下の設定が可能です。
Custom Metrics
Standard Metricsと同じ画面・同じ操作感で、Custom Metricsを確認できます。
cloudwatch.put_metric_data() を使用することで、Application独自のMetric Dataを自由に送信できます。Namespaceを独自名(例: MyApp/Bedrock)にすることで、AWSのStandard MetricsとCustom Metricsを画面上で並べて比較することも可能です。
以下のSample Codeでは、vector data作成用のChroma.from_texts() の実行時間を計測してCustom Metricとして送信しています。
厳密にはBedrock modelのInvocation Latencyではなく、Embedding処理全体(Chroma.from_texts())の実行時間です。Standard MetricsとCustom Metricsを同じ軸で比較する便宜上、同一のMetric名(InvocationLatency)を使用しています。
from langchain.embeddings import init_embeddings
from langchain_chroma import Chroma
import boto3
import time
from dotenv import load_dotenv
load_dotenv()
embedding = init_embeddings(
model="amazon.titan-embed-text-v2:0",
provider="bedrock",
)
cloudwatch = boto3.client('cloudwatch')
for e in texts:
texts_split = [e]
s = time.time()
db = Chroma.from_texts(
texts=texts_split,
embedding=embedding,
collection_name="service_information",
persist_directory="./db/chroma_langchain_db"
)
e = time.time()
latency = (e - s)*1000
cloudwatch.put_metric_data(
Namespace='MyApp/Bedrock',
MetricData=[{
'MetricName': 'InvocationLatency',
'Value': latency,
'Unit': 'Milliseconds',
'StorageResolution': 1 # 60=標準(1分粒度)、1=高解像度(1秒粒度)
}]
)
time.sleep(1.2)
Standard Metricsと同じ画面で、Custom Metricsを確認できます。

High-Resolution Custom Metrics
Standard Metricsでは、集計期間の最小粒度が1分です。そのため、数秒間だけ発生した事象の詳細確認が困難になります。
例えば、1分間に10回のModel Invocationが発生したことはInvocation Count Metricsで確認できます。

しかし、対応するLatency Metricsを見ると、1分間のデータが1ポイントに集約されてしまうため、各呼び出しのLatencyの分布や発生タイミングは確認できません。集計期間を変更しても変わらないです。
その一方で、
StorageResolution: 1 を指定してCustom Metricsを送信すると、集計期間を最小1秒に設定できます。これにより、数秒間に集中したリクエストのLatencyを個別に把握することが可能になります。
Sample Codeは上記Custom Metricsに記載したcodeを参照
そう言っても、High-Resolutionの利用costが高いです。
Metricsの保存料金が変わらないが、cloudwatch.put_metric_data()の実行回数が増えたため、costが高くなります。
https://aws.amazon.com/cloudwatch/faqs/

https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/cloudwatch_concepts.html

そのため、Standard Metricsの統計方法Maximumやp99などを活用することで、Spikeなどの検出も可能ですので、状況によっては使い分けが必要です。
| 観点 | 推奨統計 | 解像度 |
|---|---|---|
| 全体の傾向把握 | Average | 標準(1分)で十分 |
| 最悪ケースの確認 | Maximum | 標準(1分)で十分 |
| 上位1%の遅延把握 | p99 | データ量が多い場合に有効 |
| Spikeの発生時刻・継続時間の特定 | Maximum / p99 | High-Resolution必須 |
Spikeの「いつ・何秒間続いたか」を確認する必要がある場合は、High-Resolution Custom Metricsの利用が適しています。一方、定常的な傾向監視であればStandard Metricsで十分なため、コストとのバランスを意識して使い分けることを推奨します。




