第21回Elasticsearch勉強­会 #elasticsearchjp

とりあえずざっと書いたものなので、あとでスライド含め整理する。

イベントページ

6.0 is coming

Jun Ohtani(@johtani)

• Elatic Pioneer Program
  • バグ出ししてGithub issueを。

Elasticsearch 6.0

• アップグレード
  • 6系になってクラスタをローリングアップデートできるようになったので簡単になった
    • 5.5以下の場合は5.6に一度あげる必要はあるが。
  • Upgrade Assistant(UI & API)
• 内部のLuceneが7にアップデート、
  • 空要素が多い項目もつかいやすくなった。
  • ディスク容量も少なく。
  • 全体的に性能も上がる。
• sort条件をindexのタイミングで設定できる。
  • index速度は落ちるが、検索速度は上げれる。
• Replicationの速度が速くなった。
  • 内部のシーケンシャルナンバーを採用した。
  • 他の処理にも利用するように今実装中
• Breaking Change
  • Upgrade Assistantで確認を！
  • とは言ってもテストもすること！
• _typeが無くなった。
  • 6では_typeは1つしか使えない、5系はのは複数利用出来る。
  • 7ではほぼ一部しか使えないようになり、8では完全に消す
  • parent-childの書き方が変わる。(ドキュメント見ながらやって・・・
• RenameTemplate to index_patterns in _template
• curlとかで投げる時にContent-Typeはrequest headerにつける。
• _allが無くなる。
  • 暗黙的に使ってたので、消す。
  • Kibanaで使っていたが、基本的にフィールド指定するようになるから大丈夫。
• 2系で作られたindexは6.0では使えない。
  • 2系からは5.6とかでre-indexしてから6にする。
• plainlessの採用
  • Groovy, Python Javascript plugin Deprecate.
• Java High Level Rest Client (at.5.6.0)
  • select系のみ対応している。

X-pack

Kibana

• UIの色が変わります
  • コンストラストベース
  • キーボードショートカットが増えた
• CSVダウンロードができるようになる。(Basic, free)
• Dashbord Only Mode(Gold)
  • 間違って触ってダッシュボード壊れることがなくなった。
• Full Screen Mode
• Kuery
  • JavaScriptぽい感じ。
  • Lucene Queryの代わり。
• Cluster Alearts(Gold)
  • Clusterに問題が出た時にKibanaに通知が出て、emailに飛ばせるようになる。
• thresholdを画面で設定できるようになった。(Basic)
• Logstash pipelines(Gold)

Logstash

• Multiple Pipelines, One Logstash
  • 設定が分けれるようになった。
  • 実際の設定はEsの中に入るのでバックアップできる。

Beats

• コンテナサポート
  • Kubernetes
  • Docker

Elastic Stackで何を可視化すれば性能改善が捗るのか

北野 勝久さん（株式会社スタディスト）

スライド

性能監視の話

• SRE サイトリライアビリティエンジニアリング
  • サイト信頼性
• モニタリング大事
• The Four Golden Signals
  • lateny
  • traffic
  • errors
  • saturations
• NewRelicを使う
  • エージェント入れる。以上。
  • いい感じのグラフがすぐ出る。
  • 欠点
    • 無料だとログの保管期間短い。
    • 高い。

Elasticsearch

• なぜ？
  • 自分たちでみたいものを決めれる。
  • 検索分野でも使いたい。
• Elastic Stackを利用
  • Nginxアクセスログ
  • SlowQueryログ
• ボトルネックの洗い出し
  • レスポンス時間を見る。
    • カウント数小さいところはsaturation改善効果が出にくい
• HTTPステータスコードの可視化
  • 500がどのくらい出てる？
• アクセス元の可視化
  • 攻撃対象の把握などできるだろうと
• レスポンス時間*カウント数が多いところから改善

導入の詳細

• 導入は3日くらいで終わった。
• AWS Es Serviceを利用。
  • AWSを使ってる場合はすぐできる。
  • Esのバージョンアップの追従がつらい。
• SlowQueryログ
  • fluentdのpluginで
• geoip <> IPアドレス変換

今後の活用

• useragentを分類して、どっから来たか見る。
• Kibanaの運用を強化
• 検索エンジンとして使う

AWS環境に合わせてElastic Stackをログ分析基盤として構築した話

日比野 恒さん （フューチャーアーキテクト株式会社）

スライド

ElasticsearchをVPS内で構築するときのポイント

• EC2 Discovery Plugin
• Repository S3 Plugin
• AMI作るときはJava8,Curator5のみいれて、AMI作った後でAnsblieであとから入れる。

LogstashをコンテナかしてAWS各種ログを取り込みときのコツ

• logstashをECSでコンテナサービス化
• ログの形式毎にフォルダ切ってS3にログ収集
• S3で難しいものは、泣く泣くCloudWatchLogs
  • cloudwatch-logs-plugin

AWSの課題

• 東京リージョンでAZが二つしかない。。。つらい。