概要

勉強会の情報はこちら
すでにいろんな人がブログで概要書いています。
- 第12回elasticsearch勉強会に参加してきました
- 第12回 Elasticsearch 勉強会で Makuake の事例を発表してきた
この記事より、上のブログ読んだほうがちゃんとまとまっています…。

Elasticsearch 2.0.0 の紹介

Jun Ohtani

lucene-gosen コミッター
日本語版の翻訳
OSS: Elasticsearch, Logstash, Kibana, Beats
Commercial プラグイン
- Marvel：クラスタを監視
- Sheild：セキュリティ製品、HTTPの制限
- Watcher：Notification用の製品

ざっくり

Lucent 5ベース
2500以上のPull Request
- 850 以上が新規
496コミッター

Simplifiation

廃止された機能

River
- Logstash などの利用を。プロセスを外に出そうという思想
Facet
- aggregation
_shutdown API
- プラットホームの機構を
Thrift / Memcached protocol
Bulk UDP
- 通常のbulk APIか、LogstashにUDPで経由で

プラグインになった機能

Delete by query
murmur3
size
multicast discovery
- ./bin/plugin install discovery-multicast
- クラスタ組むのが簡単なものも、便利なような便利じゃないような

プラグインのインストール

同梱プラグインのインストールが簡易化。クロモジとか。

$ bin/plugin install [plugin-name]
$ bin/plugin install analysis-icu

Mappingの変更

Conflicting field mappings
short nameでのフィールド指定の禁止
Type name prefixの廃止
フィールド名にドットが使用不可
ドットで始まるタイプ名も禁止
255文字以上のタイプ名を禁止
タイプの削除を禁止
index_analyzerの廃止

結構変わってるので悩みそう

QueryDSL

Security

デフォルトの変更
- unicast
  - multicastはプラグインに
- localhostにバインド
  - IPv4 / IPv6
  - よりセキュアに
- transport.tcp.portの最初の5ポートがデフォルトに
  - これまで通り手元で起動した場合に簡単にクラスタ構成可能
Security Managerの導入
- Elasticsearchのプロセス起動にJavaのSecurityManagerが起動

データ

index操作をより冗長に
- ファイルに吐かれるのがより柔軟に
複数data.pathによるストライピング
- パスごとにそれぞれのシャードを配置

その他

Cluster stateの差分更新
doc values がデフォルト
- 2.0でインデックスを作成した場合
- not analyzedなフィールド
- メモリの負担が減る

Pipelien Aggregations

Derivatives
Moving average
Holt

Index Compression

インデックスサイズが10〜30％小さく
インデキシングやマージの処理に影響あり
環境に合わせたデータ圧縮を選択
時系列インデックスに最適化したもの

2.0.0へのUpgrade

ローリングアップグレードは不可
- Clusterの停止が必要
- 先に2.0.0のクラスタを先に作ったほうがいい
ダウングレードは不可
バックアップを取りましょう
- まずはテスト
移行が結構大変（作りなおした方がいいかも）なのでご注意をとのこと
- 本番環境の人は大変そう

Migration プラグイン

1.X 系のプラグインとしてインストールして問題点チェック
あくまで移行できるかのチェックツール
便利そう。

Elastic ユーザカンファレンス

詳細はこちら
- よさそう
12/16(水)
ElasticのCTO、Kibanaのエンジニアとかが来ます。

リファレンス

Discussはこちら
- 日本語の質問もできる

質問

Solrからの移行
- xmlが嫌だ
- 内部実装があんまりいけてないらしい

Elasticsearch を使った位置情報検索について

内藤雄介 @Yu_7110

ホリデー株式会社（クックパッド株式会社より出向）
2014年度新卒入社
Holidayの開発・運営

今日話すこと

基本編
- 中心点からの距離で絞り込む
- 距離順に並べる
ちょっとだけ応用編
- より柔軟な応用編
  - 全文検索と組み合わせる

中心点からの距離で絞り込む

距離順に並べる

Geo Distance filter

複数拠点

より柔軟な位置情報検索

Elasticsearch at Makuake

株式会社サイバーエージェント・クラウドファンディング吉田慶章 @kakakakakku

elasticsearch-hands-on
Makuake

スライドはアップされている