とりあえずざっと書いたものなので、あとでスライド含め整理する。
イベントページ
6.0 is coming
Jun Ohtani(@johtani)
- Elatic Pioneer Program
- バグ出ししてGithub issueを。
Elasticsearch 6.0
- アップグレード
- 6系になってクラスタをローリングアップデートできるようになったので簡単になった
- 5.5以下の場合は5.6に一度あげる必要はあるが。
- Upgrade Assistant(UI & API)
- 6系になってクラスタをローリングアップデートできるようになったので簡単になった
- 内部のLuceneが7にアップデート、
- 空要素が多い項目もつかいやすくなった。
- ディスク容量も少なく。
- 全体的に性能も上がる。
- sort条件をindexのタイミングで設定できる。
- index速度は落ちるが、検索速度は上げれる。
- Replicationの速度が速くなった。
- 内部のシーケンシャルナンバーを採用した。
- 他の処理にも利用するように今実装中
- Breaking Change
- Upgrade Assistantで確認を!
- とは言ってもテストもすること!
- _typeが無くなった。
- 6では_typeは1つしか使えない、5系はのは複数利用出来る。
- 7ではほぼ一部しか使えないようになり、8では完全に消す
- parent-childの書き方が変わる。(ドキュメント見ながらやって・・・
- RenameTemplate to index_patterns in _template
- curlとかで投げる時にContent-Typeはrequest headerにつける。
- _allが無くなる。
- 暗黙的に使ってたので、消す。
- Kibanaで使っていたが、基本的にフィールド指定するようになるから大丈夫。
- 2系で作られたindexは6.0では使えない。
- 2系からは5.6とかでre-indexしてから6にする。
- plainlessの採用
- Groovy, Python Javascript plugin Deprecate.
- Java High Level Rest Client (at.5.6.0)
- select系のみ対応している。
X-pack
Kibana
- UIの色が変わります
- コンストラストベース
- キーボードショートカットが増えた
- CSVダウンロードができるようになる。(Basic, free)
- Dashbord Only Mode(Gold)
- 間違って触ってダッシュボード壊れることがなくなった。
- Full Screen Mode
- Kuery
- JavaScriptぽい感じ。
- Lucene Queryの代わり。
- Cluster Alearts(Gold)
- Clusterに問題が出た時にKibanaに通知が出て、emailに飛ばせるようになる。
- thresholdを画面で設定できるようになった。(Basic)
- Logstash pipelines(Gold)
Logstash
- Multiple Pipelines, One Logstash
- 設定が分けれるようになった。
- 実際の設定はEsの中に入るのでバックアップできる。
Beats
- コンテナサポート
- Kubernetes
- Docker
Elastic Stackで何を可視化すれば性能改善が捗るのか
北野 勝久さん(株式会社スタディスト)
スライド
性能監視の話
- SRE サイトリライアビリティエンジニアリング
- サイト信頼性
- モニタリング大事
- The Four Golden Signals
- lateny
- traffic
- errors
- saturations
- NewRelicを使う
- エージェント入れる。以上。
- いい感じのグラフがすぐ出る。
- 欠点
- 無料だとログの保管期間短い。
- 高い。
Elasticsearch
- なぜ?
- 自分たちでみたいものを決めれる。
- 検索分野でも使いたい。
- Elastic Stackを利用
- Nginxアクセスログ
- SlowQueryログ
- ボトルネックの洗い出し
- レスポンス時間を見る。
- カウント数小さいところはsaturation改善効果が出にくい
- レスポンス時間を見る。
- HTTPステータスコードの可視化
- 500がどのくらい出てる?
- アクセス元の可視化
- 攻撃対象の把握などできるだろうと
- レスポンス時間*カウント数が多いところから改善
導入の詳細
- 導入は3日くらいで終わった。
- AWS Es Serviceを利用。
- AWSを使ってる場合はすぐできる。
- Esのバージョンアップの追従がつらい。
- SlowQueryログ
- fluentdのpluginで
- geoip <> IPアドレス変換
今後の活用
- useragentを分類して、どっから来たか見る。
- Kibanaの運用を強化
- 検索エンジンとして使う
AWS環境に合わせてElastic Stackをログ分析基盤として構築した話
日比野 恒さん (フューチャーアーキテクト株式会社)
スライド
ElasticsearchをVPS内で構築するときのポイント
- EC2 Discovery Plugin
- Repository S3 Plugin
- AMI作るときはJava8,Curator5のみいれて、AMI作った後でAnsblieであとから入れる。
LogstashをコンテナかしてAWS各種ログを取り込みときのコツ
- logstashをECSでコンテナサービス化
- ログの形式毎にフォルダ切ってS3にログ収集
- S3で難しいものは、泣く泣くCloudWatchLogs
- cloudwatch-logs-plugin
AWSの課題
- 東京リージョンでAZが二つしかない。。。つらい。