1 はじめに
下記条件で、Prometheusを起動したい。
- 常に同じ版数のprometheus,node-exporterイメージを使いたい。
- そのイメージを制御の効く組織内のサーバに保存する。（保存したイメージを勝手に削除されることがない）
- ただし、プライベートなDockerレジストリは使わない。（というか使えない）
- 仮想マシンの環境構築時にPrometheusをインストールしたい。
2 検証環境
- 仮想マシンは2台
- 仮想マシン名は、master1,master2
- 各仮想マシンのOSはCentOS7.2
+---- master1 ----+ +---- master2 ----+
| (CentOS7.2) | | (CentOS7.2) |
| | | |
| prometheus | | |
| node-exporter | | node-exporter |
| | | |
+----- eth0 ------+ +----- eth0 ------+
| |
+------------------------------------------+
| VMWare Workstation |
+------------------------------------------+
3 検証のための準備
検証で使うイメージをあらかじめダウンロードする。master1だけでよい。
[root@master1 prometheus]# docker pull quay.io/coreos/prometheus:0.19.2
[root@master1 prometheus]# docker pull docker.io/prom/node-exporter
dockerイメージを確認する。
[root@master1 prometheus]# docker images |grep prom
docker.io/prom/node-exporter latest 7faa2f21a307 8 weeks ago 14.56 MB
quay.io/coreos/prometheus 0.19.2 1adebd6630d9 7 months ago 43.17 MB
dockerイメージをtarファイルに変換する。
[root@master1 ansible]# docker save quay.io/coreos/prometheus:0.19.2 > prometheus.tar
[root@master1 ansible]# ls prometheus.tar
prometheus.tar
dockerイメージをtarファイルに変換する。
[root@master1 ansible]# docker save docker.io/prom/node-exporter > node-exporter.tar
[root@master1 ansible]# ls node-exporter.tar
node-exporter.tar
tarファイルに変換したあと、イメージを削除する。（テストのため）
この時点で、master1でprometheusとnode-exporterイメージは存在しないことになる。
[root@master1 prometheus]# docker rmi quay.io/coreos/prometheus:0.19.2
[root@master1 prometheus]# docker rmi docker.io/prom/node-exporter
[root@master1 prometheus]# docker images |grep prom
[root@master1 prometheus]#
ファイルを確認する。作成したtarファイルが確認できる。yamlファイルの中身は、あとに記載。
[root@master1 prometheus]# ls
node-exporter.tar node-exporter.yaml prometheus-configmap-1.yaml prometheus-deployment.yaml prometheus.tar
[root@master1 prometheus]#
4 playbookの作成
話を簡単にするため、playbookは、サーバからtarファイルをダウンロードするのではなく、
master1にあるtarファイルを使うという内容になっている。
インベントリファイルを作成する。
[root@master1 ansible]# vi hosts
[root@master1 ansible]# cat hosts
[master]
master1
master2
playbookファイルを作成する。
[root@master1 ansible]# vi test.yml
[root@master1 ansible]# cat test.yml
- hosts: master1
tasks:
- name: copying prometheus.tar
copy: src=/root/prometheus/prometheus.tar dest=/tmp/
- name: copying node-exporter.tar
copy: src=/root/prometheus/node-exporter.tar dest=/tmp/
- name: unarchiving prometheus.tar
shell: docker load -i /tmp/prometheus.tar
- name: unarchiving node-exporter.tar
shell: docker load -i /tmp/node-exporter.tar
- name: removing files
file: path=/tmp/prometheus.tar state=absent
- name: removing files
file: path=/tmp/node-exporter.tar state=absent
- hosts: master2
tasks:
- name: copying node-exporter.tar
copy: src=/root/prometheus/node-exporter.tar dest=/tmp/
- name: unarchiving node-exporter.tar
shell: docker load -i /tmp/node-exporter.tar
- name: removing files
file: path=/tmp/node-exporter.tar state=absent
- hosts: master1
tasks:
- name: copying
copy: src=/root/prometheus/node-exporter.yaml dest=/tmp/
- name: copying
copy: src=/root/prometheus/prometheus-configmap-1.yaml dest=/tmp/
- name: copying
copy: src=/root/prometheus/prometheus-deployment.yaml dest=/tmp/
- name:
shell: kubectl create -f /tmp/prometheus-configmap-1.yaml
- name:
shell: kubectl create -f /tmp/prometheus-deployment.yaml
- name:
shell: kubectl create -f /tmp/node-exporter.yaml
- name: removing files
file: path=/tmp/node-exporter.yaml state=absent
- name: removing files
file: path=/tmp/prometheus-configmap-1.yaml state=absent
- name: removing files
file: path=/tmp/prometheus-deployment.yaml state=absent
[root@master1 ansible]#
作成したファイルを確認する。
[root@master1 ansible]# ls
hosts test.yml
5 playbookの実行
playbookを実行する。
[root@master1 ansible]# ansible-playbook -i hosts test.yml
PLAY [master1] *****************************************************************
TASK [setup] *******************************************************************
ok: [master1]
TASK [copying prometheus.tar] **************************************************
changed: [master1]
TASK [copying node-exporter.tar] ***********************************************
changed: [master1]
TASK [unarchiving prometheus.tar] **********************************************
changed: [master1]
TASK [unarchiving node-exporter.tar] *******************************************
changed: [master1]
TASK [removing files] **********************************************************
changed: [master1]
TASK [removing files] **********************************************************
changed: [master1]
PLAY [master2] *****************************************************************
TASK [setup] *******************************************************************
ok: [master2]
TASK [copying node-exporter.tar] ***********************************************
changed: [master2]
TASK [unarchiving node-exporter.tar] *******************************************
changed: [master2]
TASK [removing files] **********************************************************
changed: [master2]
PLAY [master1] *****************************************************************
TASK [setup] *******************************************************************
ok: [master1]
TASK [copying] *****************************************************************
changed: [master1]
TASK [copying] *****************************************************************
changed: [master1]
TASK [copying] *****************************************************************
changed: [master1]
TASK [command] *****************************************************************
changed: [master1]
TASK [command] *****************************************************************
changed: [master1]
TASK [command] *****************************************************************
changed: [master1]
TASK [removing files] **********************************************************
changed: [master1]
TASK [removing files] **********************************************************
changed: [master1]
TASK [removing files] **********************************************************
changed: [master1]
PLAY RECAP *********************************************************************
master1 : ok=17 changed=15 unreachable=0 failed=0
master2 : ok=4 changed=3 unreachable=0 failed=0
[root@master1 ansible]#
6 playbookの実行結果確認
Podの状態を確認する。prometheus,node-exporterが起動できたことがわかる。
[root@master1 ansible]# kubectl get pod -o wide
NAME READY STATUS RESTARTS AGE NODE
node-exporter-qfsp3 1/1 Running 0 1m master1
node-exporter-xe044 1/1 Running 0 1m master2
prometheus-1402422302-nicfk 1/1 Running 0 1m master1
[root@master1 ansible]#
master1でイメージを確認する。ansible-playbook実行により、イメージがインストールされていることがわかる。
[root@master1 ansible]# docker images |grep prom
docker.io/prom/node-exporter latest 7faa2f21a307 8 weeks ago 14.56 MB
quay.io/coreos/prometheus 0.19.2 1adebd6630d9 7 months ago 43.17 MB
[root@master1 ansible]#
master2でイメージを確認する。ansible-playbook実行により、イメージがインストールされていることがわかる。
[root@master2 ~]# docker images |grep prom
docker.io/prom/node-exporter latest 7faa2f21a307 8 weeks ago 14.56 MB
[root@master2 ~]#
7 prometheusにアクセスする。
8 検証で使うyamlファイル
全部で3つ。
--------------------------
1. node-exporter.yaml
--------------------------
[root@master1 prometheus]# cat node-exporter.yaml
apiVersion: v1
kind: Service
metadata:
annotations:
prometheus.io/scrape: 'true'
labels:
app: node-exporter
name: node-exporter
name: node-exporter
spec:
clusterIP: None
ports:
- name: scrape
port: 9100
protocol: TCP
selector:
app: node-exporter
type: ClusterIP
----
apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
name: node-exporter
spec:
template:
metadata:
labels:
app: node-exporter
name: node-exporter
spec:
containers:
- image: prom/node-exporter
name: node-exporter
ports:
- containerPort: 9100
hostPort: 9100
name: scrape
hostNetwork: true
hostPID: true
--------------------------------
2. prometheus-configmap-1.yaml
--------------------------------
[root@master1 prometheus]# cat prometheus-configmap-1.yaml
apiVersion: v1
kind: ConfigMap
metadata:
name: prometheus
data:
prometheus.yml: |-
global:
scrape_interval: 15s
scrape_configs:
# etcd is living outside of our cluster and we configure
# it directly.
- job_name: 'etcd'
target_groups:
- targets:
- 192.168.0.10:2379 # mod (172.17.4.51:2379 => 192.168.0.10:2379)
- job_name: 'node_exporter' # new add
target_groups: # new add
- targets: # new add
- 192.168.0.10:9100 # master1=192.168.0.10
- 192.168.0.20:9100 # master2=192.168.0.20
- job_name: 'kubernetes_components'
kubernetes_sd_configs:
- api_servers:
- 'https://kubernetes'
in_cluster: true
# This configures Prometheus to identify itself when scraping
# metrics from Kubernetes cluster components.
tls_config:
ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
# Prometheus provides meta labels for each monitoring targets. We use
# these to select targets we want to monitor and to modify labels attached
# to scraped metrics.
relabel_configs:
# Only scrape apiserver and kubelets.
- source_labels: [__meta_kubernetes_role]
action: keep
regex: (?:apiserver|node)
# Redefine the Prometheus job based on the monitored Kubernetes component.
- source_labels: [__meta_kubernetes_role]
target_label: job
replacement: kubernetes_$1
# Attach all node labels to the metrics scraped from the components running
# on that node.
- action: labelmap
regex: __meta_kubernetes_node_label_(.+)
[root@master1 prometheus]#
--------------------------------
3. prometheus-deployment.yaml
--------------------------------
[root@master1 prometheus]# cat prometheus-deployment.yaml
apiVersion: v1
kind: Service
metadata:
annotations:
prometheus.io/scrape: 'true'
labels:
name: prometheus
name: prometheus
spec:
selector:
app: prometheus
type: NodePort
ports:
- name: prometheus
protocol: TCP
port: 9090
nodePort: 30900
----
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: prometheus
spec:
replicas: 1
selector:
matchLabels:
app: prometheus
template:
metadata:
name: prometheus
labels:
app: prometheus
spec:
containers:
- name: prometheus
image: quay.io/coreos/prometheus:0.19.2
args:
- '-storage.local.retention=6h'
- '-storage.local.memory-chunks=500000'
- '-config.file=/etc/prometheus/prometheus.yml'
ports:
- name: web
containerPort: 9090
volumeMounts:
- name: config-volume
mountPath: /etc/prometheus
nodeSelector: # new add
kubernetes.io/hostname: master1 # new add
volumes:
- name: config-volume
configMap:
name: prometheus
[root@master1 prometheus]#
9 skydns起動時に必要なイメージ
gcr.io/google_containers/exechealthz 1.0 82a141f5d06d 10 months ago 7.116 MB
gcr.io/google_containers/kube2sky 1.14 a4892326f8cf 10 months ago 27.8 MB
gcr.io/google_containers/etcd-amd64 2.2.1 3ae398308ded 12 months ago 28.19 MB
gcr.io/google_containers/skydns 2015-10-13-8c72f8c 718809956625 15 months ago 40.55 MB
gcr.io/google_containers/pause 2.0 2b58359142b0 15 months ago 350.2 kB