#はじめに
Amazon Managed Service for Prometheus(以下AMP) を設定してみたのでそのメモ。
#設定の流れ
##1. AMPのworkspaceを作成する
AWSマネージドコンソールからサクっと作成可能。
workspace名を選択するぐらいで、悩むポイントは無かった。
##2. AMP用のIAMロールやServiceAccountとの紐付け設定
以下のAWSドキュメントに記載されている手順を実施した。
###2-1. メトリクス収集用IAMロールを作成
上述のAWSドキュメントに記載されている内容をcreateIRSA-AMPIngest.sh に保存して実行した。
CLUSTER_NAME と SERVICE_ACCOUNT_NAMESPACE をそれぞれEKSクラスタ名、PrometheusのNamespaceに記載変更する必要あり。
ec2-user:~/environment $ chmod a+x createIRSA-AMPIngest.sh
ec2-user:~/environment $ ./createIRSA-AMPIngest.sh
arn:aws:iam::XXXXXXXXXXXX:role/amp-iamproxy-ingest-role
2021-12-28 10:15:05 [?] eksctl version 0.62.0
2021-12-28 10:15:05 [?] using region ap-northeast-1
2021-12-28 10:15:06 [?] will create IAM Open ID Connect provider for cluster "eks-work-cluster" in "ap-northeast-1"
2021-12-28 10:15:06 [?] created IAM Open ID Connect provider for cluster "eks-work-cluster" in "ap-northeast-1"
これでAMPがメトリクスを取得するためのIAMロールが作成される。
-
ロール名: amp-iamproxy-ingest-role
-
ポリシー名: AMPIngestPolicy
-
ポリシーの中身:
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"aps:RemoteWrite",
"aps:GetSeries",
"aps:GetLabels",
"aps:GetMetricMetadata"
],
"Resource": "*"
}
]
}
###2-2. クエリ用IAMロールを作成
上述のAWSドキュメントに記載されている内容をcreateIRSA-AMPQuery.shに保存して実行した。
CLUSTER_NAME と SERVICE_ACCOUNT_NAMESPACE をそれぞれEKSクラスタ名、PrometheusのNamespaceに記載変更する必要あり。
ec2-user:~/environment $ ./createIRSA-AMPQuery.sh
arn:aws:iam::XXXXXXXXXXXX:role/amp-iamproxy-query-role
2021-12-28 10:38:20 [?] eksctl version 0.62.0
2021-12-28 10:38:20 [?] using region ap-northeast-1
2021-12-28 10:38:21 [?] IAM Open ID Connect provider is already associated with cluster "eks-work-cluster" in "ap-northeast-1"
-
ロール名: amp-iamproxy-query-role
-
ポリシー名: AMPQueryPolicy
-
ポリシーの中身:
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"aps:QueryMetrics",
"aps:GetSeries",
"aps:GetLabels",
"aps:GetMetricMetadata"
],
"Resource": "*"
}
]
}
##3. Prometheusのインストール & AMP向けの設定変更
###3-1. Prometheusのインストール
まずは、Helmを利用してPrometheusをインストールする。
ec2-user:~ $ helm install prometheus -n prometheus --create-namespace prometheus-community/prometheus
NAME: prometheus
LAST DEPLOYED: Wed Dec 29 05:44:17 2021
NAMESPACE: prometheus
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
The Prometheus server can be accessed via port 80 on the following DNS name from within your cluster:
prometheus-server.prometheus.svc.cluster.local
Get the Prometheus server URL by running these commands in the same shell:
export POD_NAME=$(kubectl get pods --namespace prometheus -l "app=prometheus,component=server" -o jsonpath="{.items[0].metadata.name}")
kubectl --namespace prometheus port-forward $POD_NAME 9090
The Prometheus alertmanager can be accessed via port 80 on the following DNS name from within your cluster:
prometheus-alertmanager.prometheus.svc.cluster.local
Get the Alertmanager URL by running these commands in the same shell:
export POD_NAME=$(kubectl get pods --namespace prometheus -l "app=prometheus,component=alertmanager" -o jsonpath="{.items[0].metadata.name}")
kubectl --namespace prometheus port-forward $POD_NAME 9093
#################################################################################
###### WARNING: Pod Security Policy has been moved to a global property. #####
###### use .Values.podSecurityPolicy.enabled with pod-based #####
###### annotations #####
###### (e.g. .Values.nodeExporter.podSecurityPolicy.annotations) #####
#################################################################################
The Prometheus PushGateway can be accessed via port 9091 on the following DNS name from within your cluster:
prometheus-pushgateway.prometheus.svc.cluster.local
Get the PushGateway URL by running these commands in the same shell:
export POD_NAME=$(kubectl get pods --namespace prometheus -l "app=prometheus,component=pushgateway" -o jsonpath="{.items[0].metadata.name}")
kubectl --namespace prometheus port-forward $POD_NAME 9091
For more information on running Prometheus, visit:
https://prometheus.io/
###3-2. PrometheusのHelm chartダウンロード
AMP向けの設定を追加するためHelm chartをダウンロードする。
ec2-user:~ $ helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
"prometheus-community" already exists with the same configuration, skipping
ec2-user:~ $ helm pull prometheus-community/prometheus --untar
ec2-user:~ $ ll | grep prometheus
drwxr-xr-x 4 ec2-user ec2-user 128 Dec 29 05:22 prometheus
ec2-user:~ $ ll prometheus/
total 80
-rw-r--r-- 1 ec2-user ec2-user 247 Dec 29 05:22 Chart.lock
drwxr-xr-x 3 ec2-user ec2-user 32 Dec 29 05:22 charts
-rw-r--r-- 1 ec2-user ec2-user 956 Dec 29 05:22 Chart.yaml
-rw-r--r-- 1 ec2-user ec2-user 9348 Dec 29 05:22 README.md
drwxr-xr-x 6 ec2-user ec2-user 117 Dec 29 05:22 templates
-rw-r--r-- 1 ec2-user ec2-user 57644 Dec 29 05:22 values.yaml
###3-3. Helm設定ファイルにAMP用設定追加
prometheus/values.yaml 末尾に以下の設定を追加した。
serviceAccounts:
server:
name: "amp-iamproxy-ingest-service-account"
annotations:
eks.amazonaws.com/role-arn: "arn:aws:iam::XXXXXXXXXXXX:role/amp-iamproxy-ingest-role"
server:
remoteWrite:
- url: https://aps-workspaces.ap-northeast-1.amazonaws.com/workspaces/#{AMPのworkspace ID}/api/v1/remote_write
sigv4:
region: ap-northeast-1
queue_config:
max_samples_per_send: 1000
max_shards: 200
capacity: 2500
###3-3. AMP用設定の反映
helm upgradeコマンドでPrometheus k8sリソースにAMP用設定を反映させる。
ec2-user:~ $helm upgrade prometheus prometheus-community/prometheus -n prometheus -f ./prometheus/values.yaml --version 15.0.1
Release "prometheus" has been upgraded. Happy Helming!
NAME: prometheus
LAST DEPLOYED: Wed Dec 29 06:25:44 2021
NAMESPACE: prometheus
STATUS: deployed
REVISION: 2
TEST SUITE: None
NOTES:
The Prometheus server can be accessed via port 80 on the following DNS name from within your cluster:
prometheus-server.prometheus.svc.cluster.local
Get the Prometheus server URL by running these commands in the same shell:
export POD_NAME=$(kubectl get pods --namespace prometheus -l "app=prometheus,component=server" -o jsonpath="{.items[0].metadata.name}")
kubectl --namespace prometheus port-forward $POD_NAME 9090
The Prometheus alertmanager can be accessed via port 80 on the following DNS name from within your cluster:
prometheus-alertmanager.prometheus.svc.cluster.local
Get the Alertmanager URL by running these commands in the same shell:
export POD_NAME=$(kubectl get pods --namespace prometheus -l "app=prometheus,component=alertmanager" -o jsonpath="{.items[0].metadata.name}")
kubectl --namespace prometheus port-forward $POD_NAME 9093
#################################################################################
###### WARNING: Pod Security Policy has been moved to a global property. #####
###### use .Values.podSecurityPolicy.enabled with pod-based #####
###### annotations #####
###### (e.g. .Values.nodeExporter.podSecurityPolicy.annotations) #####
#################################################################################
The Prometheus PushGateway can be accessed via port 9091 on the following DNS name from within your cluster:
prometheus-pushgateway.prometheus.svc.cluster.local
Get the PushGateway URL by running these commands in the same shell:
export POD_NAME=$(kubectl get pods --namespace prometheus -l "app=prometheus,component=pushgateway" -o jsonpath="{.items[0].metadata.name}")
kubectl --namespace prometheus port-forward $POD_NAME 9091
For more information on running Prometheus, visit:
https://prometheus.io/
##4. Amazon Managed Grafana(以下AMG)のworkspaceを作成する
認証方法としてAWS Single Sign-On (SSO) かSAML認証のどちらかを選択する必要あり。
SSOを使用する場合、関連付けるユーザの1つは管理者に設定あり!
でないと後述のDatasouceとしてAMPを登録するとこでPermission Deniedで弾かれてしまった。
データソースとしてAmazon Managed Service for Prometheus を選択する。
##5. AMGにログイン
Workspaceを作成すると Grafana ワークスペース URL が払出されるのでそれにブラウザから接続。
##6. AMGの設定画面でAMPのworkspaceを選択
これでAMPのメトリクスをAMGで参照できるようになる！
