はじめに
以下の記事で記載した手順をボタン一つで実行してくれるRundeckのJobを作成した。
せっかくなのでそのJobを新しくEC2に構築したRundeckでインポートするところまで記事にする。
また、検証時にpluginがGUI上からインストールできるようになっていたのがわかったので併せて紹介する。
記事
EC2 環境にprometheusとthanosを構築する(CentOS8)
エージェントレスでオートスケーリングなAWS監視(Centos8)
Rundeckインストール
まずJobをインポートするためのRundeckを構築する。
インストール
rundeckインストール
yum install java-1.8.0
curl -s https://packagecloud.io/install/repositories/pagerduty/rundeck/script.rpm.sh | sudo bash
yum install rundeck-3.3.10.20210301-1.noarch
ここまでで画面は出るが画面の遷移がうまくいかないので以下コンフィグのgrails.serverURLにグローバルIPを記述する。
/etc/rundeck/rundeck-config.properties
#loglevel.default is the default log level for jobs: ERROR,WARN,INFO,VERBOSE,DEBUG
loglevel.default=INFO
rdeck.base=/var/lib/rundeck
#rss.enabled if set to true enables RSS feeds that are public (non-authenticated)
rss.enabled=false
# change hostname here
grails.serverURL=http://[グローバルIP]:4440 ## ←ここ ##
dataSource.dbCreate = update
dataSource.url = jdbc:h2:file:/var/lib/rundeck/data/rundeckdb;MVCC=true
# Encryption for key storage
rundeck.storage.provider.1.type=db
rundeck.storage.provider.1.path=keys
rundeck.storage.converter.1.type=jasypt-encryption
rundeck.storage.converter.1.path=keys
rundeck.storage.converter.1.config.encryptorType=custom
rundeck.storage.converter.1.config.password=d6e9804ecce8647a
rundeck.storage.converter.1.config.algorithm=PBEWITHSHA256AND128BITAES-CBC-BC
rundeck.storage.converter.1.config.provider=BC
# Encryption for project config storage
rundeck.projectsStorageType=db
rundeck.config.storage.converter.1.type=jasypt-encryption
rundeck.config.storage.converter.1.path=projects
rundeck.config.storage.converter.1.config.password=d6e9804ecce8647a
rundeck.config.storage.converter.1.config.encryptorType=custom
rundeck.config.storage.converter.1.config.algorithm=PBEWITHSHA256AND128BITAES-CBC-BC
rundeck.config.storage.converter.1.config.provider=BC
rundeck.feature.repository.enabled=true
準備ができたのでサービスを起動する。
rundeckインストール
service runeckd start
※コマンドが通ってから起動までにすこし時間がかかるので注意
ec2プラグイン追加
「http://[グローバルIP]:4440」で画面がでるのでデフォルト管理者のadmin/adminでログインする。
次にログイン後の画面右上の歯車マーク？から「plugins」→「Find Plugins」を選択する。
「AWS EC2 Node」を探し「Install」をクリックする
しばらくするとインストールが完了する。
プロジェクト作成
まずJobをインポートするためのプロジェクトを作成する。
基本的に「Project Name」だけ入力して作成すれば大丈夫だが、環境によりちゃんとEC2にアクセスできる鍵とユーザを指定すること。
次に、先ほどインストールしたEC2pluginの設定を行うため「Add a new Node Source」を選択する。
「AWS EC2 Resources」を選択する。
最低限「Access Key」「Secret Key」「Endpoint」を入力し、saveする。
※公式に記述がみられなかったのでこの際のポリシーは「AmazonEC2ReadOnlyAccess」を使用している。
Jobインポート
以下のJobをコピーして任意のファイル名で保存する。
※拡張子の縛りとかもないので本当に好きなファイル名でOK
1.prometheusインストール
- defaultTab: nodes
description: |
<説明>
# Prometheusのインストールを行います。
executionEnabled: true
id: 6fae508b-2883-4910-a4a2-710507fdfbb9
loglevel: INFO
name: 1.Prometheusインストール
nodeFilterEditable: false
nodefilters:
dispatch:
excludePrecedence: true
keepgoing: false
rankOrder: ascending
successOnEmptyNodeFilter: false
threadcount: '1'
filter: .*
nodesSelectedByDefault: true
plugins:
ExecutionLifecycle: null
scheduleEnabled: true
sequence:
commands:
- description: packagecloudリポジトリ追加
exec: curl -s https://packagecloud.io/install/repositories/prometheus-rpm/release/script.rpm.sh
| sudo bash
- description: prometheusインストール
exec: sudo yum install -y prometheus2-2.25.2-1.el8.x86_64
- description: node_exporterインストール
exec: ' sudo yum install -y node_exporter-1.1.2-1.el8.x86_64'
- description: prometheus.yml作成
script: "sudo tee /etc/prometheus/prometheus.yml << 'EOF' > /dev/null \n# my\
\ global config\nglobal:\n scrape_interval: 60s # Set the scrape interval\
\ to every 15 seconds. Default is every 1 minute.\n evaluation_interval:\
\ 60s # Evaluate rules every 15 seconds. The default is every 1 minute.\n\
\ # scrape_timeout is set to the global default (10s).\n\n external_labels:\n\
\ cluster: prometheus\n\n# Alertmanager configuration\nalerting:\n alertmanagers:\n\
\ - static_configs:\n - targets:\n # - alertmanager:9093\n\n# Load\
\ rules once and periodically evaluate them according to the global 'evaluation_interval'.\n\
rule_files:\n # - \"first_rules.yml\"\n # - \"second_rules.yml\"\n\n# A\
\ scrape configuration containing exactly one endpoint to scrape:\n# Here\
\ it's Prometheus itself.\nscrape_configs:\n # The job name is added as a\
\ label `job=<job_name>` to any timeseries scraped from this config.\n -\
\ job_name: 'prometheus'\n\n # metrics_path defaults to '/metrics'\n \
\ # scheme defaults to 'http'.\n\n static_configs:\n - targets: ['localhost:9090']\n\
\n - job_name: node\n static_configs:\n - targets: ['localhost:9100']\n\
EOF"
- description: node_exporterサービス登録
exec: sudo systemctl enable node_exporter
- description: prometheusサービス登録
exec: sudo systemctl enable prometheus
- description: node_exporterサービス起動
exec: sudo systemctl start node_exporter
- description: prometheusサービス起動
exec: sudo systemctl start prometheus
keepgoing: false
strategy: node-first
uuid: 6fae508b-2883-4910-a4a2-710507fdfbb9
2.thanosインストール
- defaultTab: nodes
description: |
<説明>
# thanosのインストールを行います。
### アクセスキー/シークレットキーの設定に必要なS3のアクセス権限は以下のポリシーになります。
```
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "Statement",
"Effect": "Allow",
"Action": [
"s3:ListBucket",
"s3:GetObject",
"s3:DeleteObject",
"s3:PutObject"
],
"Resource": [
"arn:aws:s3:::[バケット名]/*",
"arn:aws:s3:::[バケット名]"
]
}
]
}
```
executionEnabled: true
id: 7840b836-8c04-423f-9480-dece53d75e96
loglevel: INFO
name: 2.thanosインストール
nodeFilterEditable: false
nodefilters:
dispatch:
excludePrecedence: true
keepgoing: false
rankOrder: ascending
successOnEmptyNodeFilter: false
threadcount: '1'
filter: .*
nodesSelectedByDefault: true
options:
- description: thanosが利用するS3のバケット名を指定してください。
name: S3bucketname
required: true
- description: thanosが利用するIAMユーザのaccesskeyを設定してください。
name: thanos_accesskey
required: true
secure: true
value: XXXXXXXXXXXXXXXXXXXX
valueExposed: true
- description: thanosが利用するIAMユーザのsecretkeyを指定してください。
name: thanos_secretkey
required: true
secure: true
value: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
valueExposed: true
plugins:
ExecutionLifecycle: null
scheduleEnabled: true
sequence:
commands:
- description: thanosインストール
exec: sudo yum install -y thanos-0.18.0-1.el8.x86_64
- description: S3コンフィグ作成
script: |-
sudo tee /etc/prometheus/s3.conf << 'EOF'
type: S3
config:
bucket: "@option.S3bucketname@"
endpoint: "s3.amazonaws.com"
region: "ap-northeast-1"
access_key: "@option.thanos_accesskey@"
insecure: false
signature_version2: false
secret_key: "@option.thanos_secretkey@"
put_user_metadata: {}
http_config:
response_header_timeout: 2m
insecure_skip_verify: false
trace:
enable: false
list_objects_version: ""
part_size: 67108864
sse_config:
type: ""
kms_key_id: ""
kms_encryption_context: {}
encryption_key: ""
EOF
- description: thanos-sidecar起動ファイル作成
exec: echo "THANOS_SIDECAR_OPTS=\'--tsdb.path=/var/lib/prometheus/data --prometheus.url=http://localhost:9090
--objstore.config-file /etc/prometheus/s3.conf\'" | sudo tee /etc/default/thanos-sidecar
- description: thanos-query起動ファイル作成
exec: echo "THANOS_QUERY_OPTS=\'--http-address=0.0.0.0:10904 --grpc-address=0.0.0.0:10903
--store=localhost:10901\'" | sudo tee /etc/default/thanos-query
- description: thanos-store起動ファイル作成
exec: echo "THANOS_STORE_OPTS=\'--data-dir=/var/lib/thanos/store --http-address=0.0.0.0:10906
--grpc-address=0.0.0.0:10905 --objstore.config-file /etc/prometheus/s3.conf\'"
| sudo tee /etc/default/thanos-store
- description: thanos-compact起動ファイル作成
exec: echo "THANOS_COMPACT_OPTS=\'--data-dir=/var/lib/thanos/compact --http-address=0.0.0.0:10912
--objstore.config-file /etc/prometheus/s3.conf\'" |sudo tee /etc/default/thanos-compact
- description: prometheus起動ファイル変更
exec: echo "PROMETHEUS_OPTS=\'--config.file=/etc/prometheus/prometheus.yml --storage.tsdb.path=/var/lib/prometheus/data
--storage.tsdb.min-block-duration=1d --storage.tsdb.max-block-duration=1d\'"
| sudo tee /etc/default/prometheus
- description: prometheusサービス再起動
exec: sudo systemctl restart prometheus
- description: thanos-sidecarサービス登録
exec: sudo systemctl enable thanos-sidecar
- description: thanos-queryサービス登録
exec: sudo systemctl enable thanos-query
- description: thanos-storeサービス登録
exec: sudo systemctl enable thanos-store
- description: thanos-compactサービス登録
exec: sudo systemctl enable thanos-compact
- description: thanos-sidecarサービス起動
exec: sudo systemctl start thanos-sidecar
- description: thanos-queryサービス起動
exec: sudo systemctl start thanos-query
- description: thanos-storeサービス起動
exec: sudo systemctl start thanos-store
- description: thanos-compactサービス起動
exec: sudo systemctl start thanos-compact
keepgoing: false
strategy: node-first
uuid: 7840b836-8c04-423f-9480-dece53d75e96
3.yaceインストール
- defaultTab: nodes
description: |
＜説明＞
# yaceインストールを行います。
### アクセスキー/シークレットキーの設定に必要なyaceのアクセス権限は以下のポリシーになります。
```
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "VisualEditor0",
"Effect": "Allow",
"Action": [
"tag:GetResources",
"cloudwatch:GetMetricData",
"cloudwatch:GetMetricStatistics",
"cloudwatch:ListMetrics"
],
"Resource": "*"
}
]
}
```
executionEnabled: true
id: f6dfdffb-d809-4ff5-8dd7-0b780f67dc39
loglevel: INFO
name: 3.yaceインストール
nodeFilterEditable: false
nodefilters:
dispatch:
excludePrecedence: true
keepgoing: false
rankOrder: ascending
successOnEmptyNodeFilter: false
threadcount: '1'
filter: .*
nodesSelectedByDefault: true
options:
- description: yaceが利用するIAMユーザのAccesskeyを指定してください。
name: yace_accesskey
required: true
secure: true
value: XXXXXXXXXXXXXXXXXXXX
valueExposed: true
- description: yaceが利用するIAMユーザのSecretkeyを指定してください。
name: yace_secretkey
required: true
secure: true
value: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
valueExposed: true
plugins:
ExecutionLifecycle: null
scheduleEnabled: true
sequence:
commands:
- description: selinux無効化
exec: sudo sed -i "s/SELINUX=enforcing/SELINUX=disabled/" /etc/selinux/config
- configuration:
command: ssh ${node.username}@${node.hostname} 'sudo reboot & exit 0'
description: インスタンス再起動
nodeStep: true
type: localexec
- configuration:
cycles: '1'
interval: 3s
progress: 'true'
description: 再起動待ち
nodeStep: true
type: nixy-waitfor-sleep-workflow-node-step
- configuration:
host: ${node.hostname}
interval: '60'
maxtry: '10'
port: '22'
description: 再起動完了待機
nodeStep: true
type: nixy-waitfor-local-port-open
- description: pipインストール
exec: sudo yum install -y python3-pip
- description: awscliインストール
exec: sudo pip3 install awscli
- description: awsコンフィグ作成
script: |-
sudo su - root -c"aws configure set aws_access_key_id @option.yace_accesskey@"
sudo su - root -c"aws configure set aws_secret_access_key @option.yace_secretkey@"
sudo su - root -c"aws configure set default.region ap-northeast-1"
- description: wgetインストール
exec: sudo yum install -y wget
- description: yace取得
exec: wget https://github.com/ivx/yet-another-cloudwatch-exporter/releases/download/v0.26.3-alpha/yet-another-cloudwatch-exporter_0.26.3-alpha_Linux_x86_64.tar.gz
- description: yace解凍
exec: tar -zxf yet-another-cloudwatch-exporter_0.26.3-alpha_Linux_x86_64.tar.gz
- description: yace移設
script: |-
sudo mv yace /usr/local/
sudo chown root:root /usr/local/yace
- description: yaceコンフィグ作成
script: |-
sudo tee /etc/prometheus/yace.conf << 'EOF' > /dev/null
discovery:
exportedTagsOnMetrics:
ec2:
- Name
jobs:
- type: ec2
regions:
- ap-northeast-1
period: 60
length: 300
delay: 60
nilToZero: true
searchTags:
- key: Name
value: .*
metrics:
- name: CPUUtilization
statistics:
- Maximum
- name: DiskReadBytes
statistics:
- Maximum
- name: DiskWriteBytes
statistics:
- Maximum
- name: NetworkIn
statistics:
- Sum
- name: NetworkOut
statistics:
- Sum
EOF
- description: yaceサービス化
script: |-
sudo tee /usr/lib/systemd/system/yace.service << 'EOF' > /dev/null
[Unit]
Description=yace
After=network.target
[Service]
Type=simple
User=root
ExecStart=/usr/local/yace -config.file /etc/prometheus/yace.conf
[Install]
WantedBy=multi-user.target
EOF
- description: yaceサービス登録
exec: sudo systemctl enable yace
- description: yaceサービス起動
exec: sudo systemctl start yace
- description: prometheus.yml追記
script: |-
sudo tee -a /etc/prometheus/prometheus.yml << 'EOF' > /dev/null
- job_name: cloudwatch
static_configs:
- targets: ['localhost:5000']
EOF
- description: prometheus再起動
exec: sudo systemctl restart prometheus
keepgoing: false
strategy: node-first
uuid: f6dfdffb-d809-4ff5-8dd7-0b780f67dc39
作成したプロジェクトのJob画面から「ジョブ定義のアップロード」を選択する。
先ほど保存したファイルを指定しYAML formatを選択の上、「Upload」する。
※まっさらな環境であれば他のオプションは無視でOK
「1 ジョブ was successfully created/modified」が表示されればUpload完了。
Jobサンプル
インポート後のJobサンプルを載せておく。
あとがき
今回初めてDescriptionなどフル活用してJobを作成したのだけど出来上がりの見易さがすごい。
(現場だとそういうところに時間かけられないので)
もっとユーザライクに寄せようとすると足りない部分はあるけど脳死でDescription書くだけでもこの仕上がり。
これならインフラ嫌いの人や一般職の人も中身見てくれそうだし、引継ぎというか教材的な方面の可能性を感じた。
なお、今回の環境では「3.yaceインストール」は実行できない為、後日別記事にて紹介します。