第12回elasticsearch勉強会の個人的な議事メモ

概要

• 勉強会の情報はこちら
• すでにいろんな人がブログで概要書いています。
  • 第12回elasticsearch勉強会に参加してきました
  • 第12回 Elasticsearch 勉強会で Makuake の事例を発表してきた
• この記事より、上のブログ読んだほうがちゃんとまとまっています…。

Elasticsearch 2.0.0 の紹介

Jun Ohtani

• lucene-gosen コミッター
• 日本語版の翻訳
• OSS: Elasticsearch, Logstash, Kibana, Beats
• Commercial プラグイン
  • Marvel：クラスタを監視
  • Sheild：セキュリティ製品、HTTPの制限
  • Watcher：Notification用の製品

ざっくり

• Lucent 5ベース
• 2500以上のPull Request
  • 850 以上が新規
• 496コミッター

Simplifiation

廃止された機能

• River
  • Logstash などの利用を。プロセスを外に出そうという思想
• Facet
  • aggregation
• _shutdown API
  • プラットホームの機構を
• Thrift / Memcached protocol
• Bulk UDP
  • 通常のbulk APIか、LogstashにUDPで経由で

プラグインになった機能

• Delete by query
• murmur3
• size
• multicast discovery
  • ./bin/plugin install discovery-multicast
  • クラスタ組むのが簡単なものも、便利なような便利じゃないような

プラグインのインストール

同梱プラグインのインストールが簡易化。クロモジとか。

$ bin/plugin install [plugin-name]
$ bin/plugin install analysis-icu

Mappingの変更

• Conflicting field mappings
• short nameでのフィールド指定の禁止
• Type name prefixの廃止
• フィールド名にドットが使用不可
• ドットで始まるタイプ名も禁止
• 255文字以上のタイプ名を禁止
• タイプの削除を禁止
• index_analyzerの廃止

結構変わってるので悩みそう

QueryDSL

Security

• デフォルトの変更
  • unicast
    • multicastはプラグインに
  • localhostにバインド
    • IPv4 / IPv6
    • よりセキュアに
  • transport.tcp.portの最初の5ポートがデフォルトに
    • これまで通り手元で起動した場合に簡単にクラスタ構成可能
• Security Managerの導入
  • Elasticsearchのプロセス起動にJavaのSecurityManagerが起動

データ

• index操作をより冗長に
  • ファイルに吐かれるのがより柔軟に
• 複数data.pathによるストライピング
  • パスごとにそれぞれのシャードを配置

その他

• Cluster stateの差分更新
• doc values がデフォルト
  • 2.0でインデックスを作成した場合
  • not analyzedなフィールド
  • メモリの負担が減る

Pipelien Aggregations

• Derivatives
• Moving average
• Holt

Index Compression

• インデックスサイズが10〜30％小さく
• インデキシングやマージの処理に影響あり
• 環境に合わせたデータ圧縮を選択
• 時系列インデックスに最適化したもの

2.0.0へのUpgrade

• ローリングアップグレードは不可
  • Clusterの停止が必要
  • 先に2.0.0のクラスタを先に作ったほうがいい
• ダウングレードは不可
• バックアップを取りましょう
  • まずはテスト
• 移行が結構大変（作りなおした方がいいかも）なのでご注意をとのこと
  • 本番環境の人は大変そう

Migration プラグイン

• 1.X 系のプラグインとしてインストールして問題点チェック
• あくまで移行できるかのチェックツール
• 便利そう。

Elastic ユーザカンファレンス

• 詳細はこちら
  • よさそう
• 12/16(水)
• ElasticのCTO、Kibanaのエンジニアとかが来ます。

リファレンス

• Discussはこちら
  • 日本語の質問もできる

質問

• Solrからの移行
  • xmlが嫌だ
  • 内部実装があんまりいけてないらしい

Elasticsearch を使った位置情報検索について

内藤雄介 @Yu_7110

• ホリデー株式会社（クックパッド株式会社より出向）
• 2014年度新卒入社
• Holidayの開発・運営

今日話すこと

• 基本編
  • 中心点からの距離で絞り込む
  • 距離順に並べる
• ちょっとだけ応用編
  • より柔軟な応用編
    • 全文検索と組み合わせる

中心点からの距離で絞り込む

距離順に並べる

• Geo Distance filter

複数拠点

• より柔軟な位置情報検索

Elasticsearch at Makuake

株式会社サイバーエージェント・クラウドファンディング 吉田慶章 @kakakakakku

• elasticsearch-hands-on
• Makuake

スライドはアップされている