Help us understand the problem. What is going on with this article?

第12回elasticsearch勉強会の個人的な議事メモ

More than 5 years have passed since last update.

概要

Elasticsearch 2.0.0 の紹介

Jun Ohtani

  • lucene-gosen コミッター
  • 日本語版の翻訳
  • OSS: Elasticsearch, Logstash, Kibana, Beats
  • Commercial プラグイン
    • Marvel:クラスタを監視
    • Sheild:セキュリティ製品、HTTPの制限
    • Watcher:Notification用の製品

ざっくり

  • Lucent 5ベース
  • 2500以上のPull Request
    • 850 以上が新規
  • 496コミッター

Simplifiation

廃止された機能

  • River
    • Logstash などの利用を。プロセスを外に出そうという思想
  • Facet
    • aggregation
  • _shutdown API
    • プラットホームの機構を
  • Thrift / Memcached protocol
  • Bulk UDP
    • 通常のbulk APIか、LogstashにUDPで経由で

プラグインになった機能

  • Delete by query
  • murmur3
  • size
  • multicast discovery
    • ./bin/plugin install discovery-multicast
    • クラスタ組むのが簡単なものも、便利なような便利じゃないような

プラグインのインストール

同梱プラグインのインストールが簡易化。クロモジとか。

$ bin/plugin install [plugin-name]
$ bin/plugin install analysis-icu

Mappingの変更

  • Conflicting field mappings
  • short nameでのフィールド指定の禁止
  • Type name prefixの廃止
  • フィールド名にドットが使用不可
  • ドットで始まるタイプ名も禁止
  • 255文字以上のタイプ名を禁止
  • タイプの削除を禁止
  • index_analyzerの廃止

結構変わってるので悩みそう

QueryDSL

Security

  • デフォルトの変更
    • unicast
      • multicastはプラグインに
    • localhostにバインド
      • IPv4 / IPv6
      • よりセキュアに
    • transport.tcp.portの最初の5ポートがデフォルトに
      • これまで通り手元で起動した場合に簡単にクラスタ構成可能
  • Security Managerの導入
    • Elasticsearchのプロセス起動にJavaのSecurityManagerが起動

データ

  • index操作をより冗長に
    • ファイルに吐かれるのがより柔軟に
  • 複数data.pathによるストライピング
    • パスごとにそれぞれのシャードを配置

その他

  • Cluster stateの差分更新
  • doc values がデフォルト
    • 2.0でインデックスを作成した場合
    • not analyzedなフィールド
    • メモリの負担が減る

Pipelien Aggregations

  • Derivatives
  • Moving average
  • Holt

Index Compression

  • インデックスサイズが10〜30%小さく
  • インデキシングやマージの処理に影響あり
  • 環境に合わせたデータ圧縮を選択
  • 時系列インデックスに最適化したもの

2.0.0へのUpgrade

  • ローリングアップグレードは不可
    • Clusterの停止が必要
    • 先に2.0.0のクラスタを先に作ったほうがいい
  • ダウングレードは不可
  • バックアップを取りましょう
    • まずはテスト
  • 移行が結構大変(作りなおした方がいいかも)なのでご注意をとのこと
    • 本番環境の人は大変そう

Migration プラグイン

  • 1.X 系のプラグインとしてインストールして問題点チェック
  • あくまで移行できるかのチェックツール
  • 便利そう。

Elastic ユーザカンファレンス

  • 詳細はこちら
    • よさそう
  • 12/16(水)
  • ElasticのCTO、Kibanaのエンジニアとかが来ます。

リファレンス

  • Discussはこちら
    • 日本語の質問もできる

質問

  • Solrからの移行
    • xmlが嫌だ
    • 内部実装があんまりいけてないらしい

Elasticsearch を使った位置情報検索について

内藤雄介 @Yu_7110

  • ホリデー株式会社(クックパッド株式会社より出向)
  • 2014年度新卒入社
  • Holidayの開発・運営

今日話すこと

  • 基本編
    • 中心点からの距離で絞り込む
    • 距離順に並べる
  • ちょっとだけ応用編
    • より柔軟な応用編
      • 全文検索と組み合わせる

中心点からの距離で絞り込む

距離順に並べる

  • Geo Distance filter

複数拠点

  • より柔軟な位置情報検索

Elasticsearch at Makuake

株式会社サイバーエージェント・クラウドファンディング 吉田慶章 @kakakakakku

  • elasticsearch-hands-on
  • Makuake

スライドはアップされている

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away