LoginSignup
0
3

More than 1 year has passed since last update.

Fessでクローラの実行情報などの保存先ってどこ?

Posted at

きっかけ

案件でアプリ側が全文検索エンジンとしてFess+OpenSearchを使用したいとのことだったが、インデックスの情報やクローラの設定をどこに持っているのか(もしかしたらローカル保存?)という話になり、構成に影響がでる(ECS+Fargate想定だったが、EFSの追加やECS+EC2など)可能性があったので、簡単な検証が必要になった。

環境

  • 端末: MacBook Air (M1, 2020)
  • OS: macOS Monterey Ver 12.6
  • Docker: Ver 4.12.0 (85629)

結論

HP以下ページでElasticSearch内で管理しているとのことなので、ローカル保存していることはなさそう。

検証

DockerでFess+OpenSearch起動

  • docker-fessリポジトリからソースコードをクローンし、以下コマンドを実行。
cd docker-fess/compose
docker compose --env-file .env.opensearch -f compose.yaml -f compose-opensearch2.yaml up -d

スクリーンショット 2022-10-21 10.07.29.png

  • Docker Desktopから起動していることを確認
    スクリーンショット 2022-10-21 10.07.58.png

クローラ実行前の各種状態確認

  • Fess Top画面
    スクリーンショット 2022-10-21 10.25.03.png

  • Fess 検索結果画面(クロールしていないため、結果なし)
    スクリーンショット 2022-10-21 10.29.00.png

  • OpenSearch ルート
    スクリーンショット 2022-10-21 10.25.13.png

  • OpenSearch インデックス一覧
    スクリーンショット 2022-10-21 10.25.23.png

  • OpenSearch クローラ情報
    スクリーンショット 2022-10-21 10.25.38.png

  • OpenSearch クローラ情報パラメータ
    スクリーンショット 2022-10-21 10.28.00.png

  • OpenSearch スケジュールジョブ
    screencapture-localhost-9200-fess-config-scheduled-job-search-2022-10-21-10_26_46.png

S3情報を基にしたクローラを設定、クローリングの実施

  • Fessの/adminから管理者ユーザでログイン
    スクリーンショット 2022-10-21 10.29.56.png

  • システム>プラグインからインストールボタンを押下
    スクリーンショット 2022-10-21 10.31.25.png

  • リモートからfess-fs-s3-14.4.0を選択し、インストールボタンを押下
    スクリーンショット 2022-10-21 10.31.58.png

  • インストールされたことを確認
    スクリーンショット 2022-10-21 10.34.29.png

  • クローラー>データストアで新規作成ボタンを押下
    スクリーンショット 2022-10-21 10.37.55.png

  • 以下項目を設定し、作成ボタンを押下

    • 名前: 任意

    • パラメータ
      region=ap-northeast-1
      access_key_id=XXX
      secret_key=XXX

    • パラメータ
      url=object.url
      title=object.key
      content=object.contents
      mimetype=object.mimetype
      filetype=object.filetype
      filename=object.filename
      content_length=object.size
      last_modified=object.last_modified

screencapture-localhost-8080-admin-dataconfig-createnew-2022-10-21-10_41_25.png

  • クローラー>データストアで作成されたことを確認
    スクリーンショット 2022-10-21 10.42.38.png

  • 作成したクローラ設定を選択し、新しいジョブの作成ボタンを押下
    screencapture-localhost-8080-admin-dataconfig-details-4-QY00-IMBbVfCQBs5rgde-2022-10-21-10_47_11.png

  • スケジュールをcron式で適当に設定し、作成ボタンを押下
    スクリーンショット 2022-10-21 10.49.00.png

  • 作成後画面で今すぐ開始ボタンを押下
    スクリーンショット 2022-10-21 10.49.22.png

  • 開始されたメッセージが表示されたことを確認
    スクリーンショット 2022-10-21 10.49.41.png

  • クロール情報からセッションIDが発行され、詳細を確認
    スクリーンショット 2022-10-21 10.49.59.png
    スクリーンショット 2022-10-21 10.50.13.png

クローラ実行後の各種状態確認

  • OpenSearch インデックス一覧
    スクリーンショット 2022-10-21 10.56.19.png

  • OpenSearch クローラ情報

    • クローラ実行に合わせて更新されている
      スクリーンショット 2022-10-21 10.56.31.png
  • OpenSearch クローラ情報パラメータ

    • クローラ実行に合わせて更新されている
      screencapture-localhost-9200-fess-config-crawling-info-param-search-2022-10-21-10_57_01.png

スケジュールによるクローラ実行後の各種状態確認

  • OpenSearch クローラ情報

    • スケジュールによるクローラ実行に合わせてデータが追加されている
      スクリーンショット 2022-10-21 11.01.01.png
  • Fess画面からログが2つ吐かれていることを確認
    スクリーンショット 2022-10-21 11.00.38.png

0
3
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
3