More than 1 year has passed since last update.

Fessでクローラの実行情報などの保存先ってどこ？

Posted at 2022-10-21

きっかけ

案件でアプリ側が全文検索エンジンとしてFess+OpenSearchを使用したいとのことだったが、インデックスの情報やクローラの設定をどこに持っているのか（もしかしたらローカル保存？）という話になり、構成に影響がでる（ECS+Fargate想定だったが、EFSの追加やECS+EC2など）可能性があったので、簡単な検証が必要になった。

環境

端末: MacBook Air (M1, 2020)
OS: macOS Monterey Ver 12.6
Docker: Ver 4.12.0 (85629)

結論

HP以下ページでElasticSearch内で管理しているとのことなので、ローカル保存していることはなさそう。

検証

DockerでFess+OpenSearch起動

docker-fessリポジトリからソースコードをクローンし、以下コマンドを実行。

cd docker-fess/compose
docker compose --env-file .env.opensearch -f compose.yaml -f compose-opensearch2.yaml up -d

Docker Desktopから起動していることを確認

クローラ実行前の各種状態確認

Fess Top画面
Fess 検索結果画面（クロールしていないため、結果なし）
OpenSearch ルート
OpenSearch インデックス一覧
OpenSearch クローラ情報
OpenSearch クローラ情報パラメータ
OpenSearch スケジュールジョブ

S3情報を基にしたクローラを設定、クローリングの実施

Fessの/adminから管理者ユーザでログイン
システム>プラグインからインストールボタンを押下
リモートからfess-fs-s3-14.4.0を選択し、インストールボタンを押下
インストールされたことを確認
クローラー>データストアで新規作成ボタンを押下
以下項目を設定し、作成ボタンを押下
- 名前：任意
- パラメータ
  region=ap-northeast-1
  access_key_id=XXX
  secret_key=XXX
- パラメータ
  url=object.url
  title=object.key
  content=object.contents
  mimetype=object.mimetype
  filetype=object.filetype
  filename=object.filename
  content_length=object.size
  last_modified=object.last_modified