この記事はTUT CDSL Advent Calendar 2019 - Adventarの18日目です．

はじめに

研究室内にあるESXi上にElasticsearchのクラスタを構築しました．
先生から冗長化を考慮した構築を提案されたので，SPOFの排除を目標としました．

設定ファイルは以下においてあります．

VMのスペック

ドキュメントを調べたところ以下のスペックが最小限でした．

メモリ: 8GB以上(快適に使うなら16GB)
CPU: 2-8コア
ストレージ: SSDのような早いやつを使う(15k RPM)

上記を参考に以下を割り当てました．

ロードバランサ: 2台
- CPU: 2 [core]
- RAM: 2 [GB]
- Storage: 50[GB]
Elasticsearchノード: 4台
- CPU: 4 [core]
- RAM: 12 [GB]
- Storage: 120[GB]

ロードバランサVM

HAProxy

ロードバランサにはHAProxyを使用しました．HAProxyはヘルスチェックの条件を細かく設定可能であり，インターネット上に情報が多くあるため採用しました．また，MetricbeatによりHAProxyの統計を収集して，Elasticsearchへ送信しました．

以下はHAProxyのElasticsearch向け設定です．

##
# Elasticsearch
##

defaults
    timeout connect  5000
    timeout client  10000
    timeout server  10000

frontend elastic
    bind :9200
    mode http
    acl is_delete method DELETE
    http-request deny if is_delete
    default_backend elastic

backend elastic
    mode http
    option forwardfor
    balance roundrobin
    option httpclose
    server elasticsearch-j1 elasticsearch-j1.a910.tak-cslab.org:9200 weight 1 check inter 1000 rise 5 fall 1
    server elasticsearch-j2 elasticsearch-j2.a910.tak-cslab.org:9200 weight 1 check inter 1000 rise 5 fall 1
    server elasticsearch-m1 elasticsearch-m1.a910.tak-cslab.org:9200 weight 1 check inter 1000 rise 5 fall 1
    server elasticsearch-m2 elasticsearch-m2.a910.tak-cslab.org:9200 weight 1 check inter 1000 rise 5 fall 1

keepalived

ロードバランサの冗長化のためにkeepalivedを導入しました．ホットスタンバイであるとリソース効率が悪いため，常に2台を稼働させています．以下の記事を参考にしました．

keepalivedによるサーバ冗長化について | GMOアドパートナーズグループ TECH BLOG byGMO

! Configuration File for keepalived
vrrp_script chk_haproxy {
    script "systemctl is-active haproxy"
}

vrrp_instance VI_1 {
    state MASTER
    ! もう1台では以下を50に設定
    priority 100
    interface ens160
    garp_master_delay 10
    virtual_router_id 31
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass XXXXXXXXXX
    }
    virtual_ipaddress {
        192.168.100.10
    }
}

vrrp_instance VI_2 {
    state BACKUP
    ! もう1台では以下を100に設定
    priority 50
    interface ens160
    virtual_router_id 32
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass XXXXXXXXXX
    }
    virtual_ipaddress {
        192.168.100.11
    }
    track_script {
        chk_haproxy
    }
}

さらに，単一のFQDNで複数のリソースを参照可能なようDNSラウンドロビンを導入しました．

$ nslookup elasticsearch-edge
192.168.100.11
$ nslookup elasticsearch-edge
192.168.100.10

ElasticsearchノードVM

各ノードごとにKibana, Elasticsearch, Logstashを導入しました．Logstashでは*BeatsからのデータとSyslogからのデータを許可しています．

Elasticsearch

各ノードはMaster Eligible NodeとData Nodeを兼ねています．

cluster.name: logging-main
node.name: ${HOSTNAME}
node.master: true
node.data: true
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts:
- elasticsearch-m1.a910.tak-cslab.org
- elasticsearch-m2.a910.tak-cslab.org
- elasticsearch-j1.a910.tak-cslab.org
- elasticsearch-j2.a910.tak-cslab.org
cluster.initial_master_nodes:
- elasticsearch-m1
- elasticsearch-m2
- elasticsearch-j1
- elasticsearch-j2

http.cors.enabled: true
http.cors.allow-origin: "*"

Logstash

SyslogをLogstashで受けるよう以下のConfig(抜粋)を作成しました．

input {
  tcp {
    port => 5000
    type => syslog
  }
  udp {
    port => 5000
    type => syslog
  }
}

filter {
  if [type] == "syslog" {
    grok {
      patterns_dir => ["/etc/logstash/pattern.d"]
      match => { "message" => "%{MYSYSLOG}" }
      add_field => [ "received_at", "%{@timestamp}" ]
      add_field => [ "received_from", "%{host}" ]
    }
    date {
      match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
    }
  }
}

output {
  if [type] == "syslog" {
    elasticsearch {
      hosts => ["localhost:9200"]
      index => "syslog-%{+YYYY.MM.dd}"
    }
  }
}

grokパターンは以下です．

MYSYSLOG %{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}

HAProxyでHA化したElasticsearchクラスタを構築