Qiita Teams that are logged in
You are not logged in to any team

Log in to Qiita Team
Community
OrganizationAdvent CalendarQiitadon (β)
Service
Qiita JobsQiita ZineQiita Blog
Help us understand the problem. What is going on with this article?

第8回elasticsearch勉強会 #elasticsearch #elasticsearchjp

More than 5 years have passed since last update.

Official

Elasticsearch導入チェックリスト? Elasticsearch株式会社 Jun Ohtani @johtani

  • 起動後に何を設定したらいいのかというお話
  • ダウンロードから起動まで簡単
  • Javaも含め最新版のバージョンを使用するべし
  • OS関連
    • ファイルディスクリプタを多めに設定(32000,64000を推薦)。ログとAPI(_nodes/process?pretty)で確認出来る。
    • ヒープサイズは、物理メモリの半分以下。32GB以上。MAXとMINを同じ値に=RS_HEAP_SIZEで指定。
    • スワップを無効にする。(1: swapオフ。2: swapiness。3: mlockall。)
  • Elasticsearch関連
    • cluster.nameを指定する。(elasticsearch.ymlに設定するのと起動時に設定出来る。)
    • node.nameを指定する。(elasticsearch.ymlに設定するのと起動時に設定出来る。)
    • network.hostを指定する。
    • discovery.zen.pingをunicastに設定し、multicastをOffにする。
    • minimum_master_nodesを(n/2)+1台以上で設定する。
    • ディレクトリのパスを設定。(path.log, path.data, path.plugins)
  • Reference
  • おまけ: elasticsearch-extended-analyze

Elasticsearch クエリとスキーマ定義のすごい細かい話 株式会社ドワンゴ 藤堂淳也 さん

  • SpeakerDeck
  • 運用の話。
  • フィールドの追加はrolling restartで実行している。
  • refresh_intervalは15秒に設定している。
  • 利用しているクエリは基本的なものだけ。(query, filter, sort, aggregations...)
  • ノイズを減らしたい時はphrase queryを使用するが、termみたいにboolean検索より負荷が高くなる。
  • elasticsearch-analysis-icuを使用して表記ゆれを防止する。
  • ディープページングは重たくなる。
  • キャッシュにはfilterの時のfilter cacheと、色々な場面で使用されるfielddataというキャッシュがある。
  • キャッシュはセグメント単位で成り立ってるので、更新が発生しても全てのキャッシュを作り直す必要がない。

ElasticsearchとKibanaで実現する、30億req/dayのリアルタイム分析 株式会社サイバーエージェント 山田直行さん @satully

  • SlideShare
  • 前回のSlideShare
  • smalgo(DSP)の紹介とElasticsearchインフラの立ち位置の紹介。
  • ElasticsearchはKibanaを使用してログ可視化で利用。
  • リアルタイムな調査・モニタリングに役割に特化して使用している。

はてなのメディア面を支えるElasticsearch 株式会社はてな 山家雄介さん @yanbe

  • Slide
  • 参考記事
  • 自動カテゴリ編成機能についての利用事例
    • 管理画面から、タグ、キーワード、URLを入力、選択して、そのままElasticsearhのクエリを作成して記事を一括で一覧生成している。
  • その日の話題の見出し自動作成についての利用事例
    • Significant Terms Aggregationを使用して遊んでいたら、その日の話題ぽいのが抽出出来た。それをまた、Significant Terms Aggregationを適用したら単語の抽出が出来た。
    • Significant Terms Aggregation + 自然言語処理でプロダクションレベルにした。
  • URLをインデックスする時は、tokenizeしたインデックスと、tokenizeしてないインデックスを追加するとベスト(URLの条件がたくさんある時は、prefix queryかfilterで検索する。サブドメイン横断検索の時は、非tokenize版をmatch_phrazeで検索)。
mercari
フリマアプリ「メルカリ」を、グローバルで開発しています。
https://tech.mercari.com/
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away