Posted at

一晩で押さえるKubernetes監視の世界 - cndjp第7回勉強会

More than 1 year has passed since last update.

https://cnd.connpass.com/event/93986/


基礎編:「k8s basic ‪monitoring‬」by nnao45

https://speakerdeck.com/nnao45/k8s-basic-monitoring

LivenessProbe

replicaSet: 起動するPODの数

initialDisplayPort: 起動を遅らせる設定値

kubectl logsのpods のstdout/in

Nodeレベルでみたい場合、DaemonSet使ってForwerder

Clousterレベルでみたい場合、ノードロギングイベント方式

Sidecarコンテナ、ストリーミングサイドカー方式

ポッドインエージェント方式

metrics-serverによるリソース監視になった


発展編 1:「Datadogを使ってメトリクス監視とログ監視を一元管理」by @amsy810

https://speakerdeck.com/masayaaoyama/datadogwoshi-tute-metorikusujian-shi-torokujian-shi-wo-yuan-guan-li-at-cloud-native-developers-jp-number-7


  • Pluggable Architecture

  • Sophisticated Tag

  • Dashboard


    • k8sのダッシュボードが用意されている





  • Alert
     未来を予知してアラート
    * いつもとの違いを検知してアラート
    * グループの違いを検知してアラート
    * monitoringを自動化機能が追加された模様
    * 
    * k8sのdeployment
      
     Podを複数束ねたもの
    * k8sのService
    * 特定のPodに対してデータを流すもの
    * Datadogのタグはk8sのラベルと相性が良い

  • ライブコンテナモニタリング

  • コンテナの監視 on Docker


    • コンテナホスト上でdatadog-agentプロセスを起動する

    • コンテナホスト上にdatadog/docker-dd-agentコンテナを起動する


      • Daemonsetで起動 オススメ。



    • agentはhelmで入れるのが楽。



  • auto_confを使ったServiceDiscovery


    • %%host%% とか %%port%%みたいなやつ



  • モニタリング


    • ReadinessProbe

    • LivenessProbe

    • Datadog側ではコンテナのステータスだけを確認している



  • k8sのメトリクス


    • kubernetes.*

    • kubernetes_state.*



  • LogMoniteringも付いた。


発展編 2:「『Prometheus+Grafana』でのk8s監視」by yosshi_

https://speakerdeck.com/yosshi_/prometheus-grafana-tefalsek8sjian-shi

Prometeusはk8sを意識した作り

APIServerの監視に、k8s内にPrometeusプロセスを起動させて、外部NodeにあるPrometeusに送信している

kubernetes-apiserver

kubernetes-nodes

kubernetes-service-endpoints

kubernetes-pods

やっぱりnode-exporterは欲しい

DeamonSetで配置

    kubernetes-podsがannotateみて自動で監視してくれる

Blackbox-Exporter


LT 1:「Prometheus Operator」

https://github.com/coreos/prometheus-operator

https://github.com/giantswarm/kubernetes-prometheus


LT 2:「Mackerel on k8s」

https://www.slideshare.net/koooge/mackerel-on-k8s-107695015/1