とりあえずざっと書いたものなので、あとでスライド含め整理する。

イベントページ

https://www.meetup.com/ja-JP/Tokyo-Elastic-Fantastics/events/243671140/

6.0 is coming

Jun Ohtani(@johtani)

  • Elatic Pioneer Program
    • バグ出ししてGithub issueを。

Elasticsearch 6.0

  • アップグレード
    • 6系になってクラスタをローリングアップデートできるようになったので簡単になった
      • 5.5以下の場合は5.6に一度あげる必要はあるが。
    • Upgrade Assistant(UI & API)
  • 内部のLuceneが7にアップデート、
    • 空要素が多い項目もつかいやすくなった。
    • ディスク容量も少なく。
    • 全体的に性能も上がる。
  • sort条件をindexのタイミングで設定できる。
    • index速度は落ちるが、検索速度は上げれる。
  • Replicationの速度が速くなった。
    • 内部のシーケンシャルナンバーを採用した。
    • 他の処理にも利用するように今実装中
  • Breaking Change
    • Upgrade Assistantで確認を!
    • とは言ってもテストもすること!
  • _typeが無くなった。
    • 6では_typeは1つしか使えない、5系はのは複数利用出来る。
    • 7ではほぼ一部しか使えないようになり、8では完全に消す
    • parent-childの書き方が変わる。(ドキュメント見ながらやって・・・
  • RenameTemplate to index_patterns in _template
  • curlとかで投げる時にContent-Typeはrequest headerにつける。
  • _allが無くなる。
    • 暗黙的に使ってたので、消す。
    • Kibanaで使っていたが、基本的にフィールド指定するようになるから大丈夫。
  • 2系で作られたindexは6.0では使えない。
    • 2系からは5.6とかでre-indexしてから6にする。
  • plainlessの採用
    • Groovy, Python Javascript plugin Deprecate.
  • Java High Level Rest Client (at.5.6.0)
    • select系のみ対応している。

X-pack

Kibana

  • UIの色が変わります
    • コンストラストベース
    • キーボードショートカットが増えた
  • CSVダウンロードができるようになる。(Basic, free)
  • Dashbord Only Mode(Gold)
    • 間違って触ってダッシュボード壊れることがなくなった。
  • Full Screen Mode
  • Kuery
    • JavaScriptぽい感じ。
    • Lucene Queryの代わり。
  • Cluster Alearts(Gold)
    • Clusterに問題が出た時にKibanaに通知が出て、emailに飛ばせるようになる。
  • thresholdを画面で設定できるようになった。(Basic)
  • Logstash pipelines(Gold)

Logstash

  • Multiple Pipelines, One Logstash
    • 設定が分けれるようになった。
    • 実際の設定はEsの中に入るのでバックアップできる。

Beats

  • コンテナサポート
    • Kubernetes
    • Docker

Elastic Stackで何を可視化すれば性能改善が捗るのか

北野 勝久さん(株式会社スタディスト)

スライド

https://speakerdeck.com/katsuhisa91/elastic-stack-de-he-woke-shi-hua-surebaxing-neng-gai-shan-gabu-rufalseka

性能監視の話

  • SRE サイトリライアビリティエンジニアリング
    • サイト信頼性
  • モニタリング大事
  • The Four Golden Signals
    • lateny
    • traffic
    • errors
    • saturations
  • NewRelicを使う
    • エージェント入れる。以上。
    • いい感じのグラフがすぐ出る。
    • 欠点
      • 無料だとログの保管期間短い。
      • 高い。

Elasticsearch

  • なぜ?
    • 自分たちでみたいものを決めれる。
    • 検索分野でも使いたい。
  • Elastic Stackを利用
    • Nginxアクセスログ
    • SlowQueryログ
  • ボトルネックの洗い出し
    • レスポンス時間を見る。
      • カウント数小さいところはsaturation改善効果が出にくい
  • HTTPステータスコードの可視化
    • 500がどのくらい出てる?
  • アクセス元の可視化
    • 攻撃対象の把握などできるだろうと
  • レスポンス時間*カウント数が多いところから改善

導入の詳細

  • 導入は3日くらいで終わった。
  • AWS Es Serviceを利用。
    • AWSを使ってる場合はすぐできる。
    • Esのバージョンアップの追従がつらい。
  • SlowQueryログ
    • fluentdのpluginで
  • geoip <> IPアドレス変換

今後の活用

  • useragentを分類して、どっから来たか見る。
  • Kibanaの運用を強化
  • 検索エンジンとして使う

AWS環境に合わせてElastic Stackをログ分析基盤として構築した話

日比野 恒さん (フューチャーアーキテクト株式会社)

スライド

https://www.slideshare.net/hibinohisashi/elasticsearchawselastic-stack/

ElasticsearchをVPS内で構築するときのポイント

  • EC2 Discovery Plugin
  • Repository S3 Plugin
  • AMI作るときはJava8,Curator5のみいれて、AMI作った後でAnsblieであとから入れる。

LogstashをコンテナかしてAWS各種ログを取り込みときのコツ

  • logstashをECSでコンテナサービス化
  • ログの形式毎にフォルダ切ってS3にログ収集
  • S3で難しいものは、泣く泣くCloudWatchLogs
    • cloudwatch-logs-plugin

AWSの課題

  • 東京リージョンでAZが二つしかない。。。つらい。