初めての記事になります。
不足・誤り等ありましたらご指摘下さい。

全文検索OSSであるFessを導入しましたので、備忘録です。
とあるWEBシステム内の検索をするために導入しました。

使用するにあたり設定に苦労しましたので、共有も兼ねています。

仮想ホスト環境（参考）

vagrant + VirtualBox
Centos7
HDD 50GB
Memory 8GB
docker (19.03.5)
docker-compose (1.25.2)

環境構築

docker上にFessを構築します。
（検証した際は codelibs/fess：13.5.0 で構築しました）

1.イメージ取得

下記のように、GitHubから公式リポジトリをcloneして下さい。
git clone https://github.com/codelibs/docker-fess.git

2.起動

docker-compose で起動して下さい。
Fess + elasticsearch(2台) + kibana が起動されます。
起動タイミングでは elasticsearchだけが落ちる場合がありますが、restartで解決します。
docker-compose up -d
docker-compose restart

起動後は以下のような構成となります。

[root@localhost compose]# docker ps
CONTAINER ID        IMAGE                                   COMMAND                  CREATED             STATUS              PORTS                                        NAMES
f054fc200d28        codelibs/fess:13.5.0                    "/bin/sh -c /usr/sha…"   2 months ago        Up About a minute   9200/tcp, 9300/tcp, 0.0.0.0:8081->8080/tcp   fess01
60b78d5d0f58        docker.elastic.co/kibana/kibana:7.5.1   "/usr/local/bin/dumb…"   2 months ago        Up About a minute   0.0.0.0:5602->5601/tcp                       kibana
577c9e3abe87        codelibs/fess-elasticsearch:7.5.1       "/usr/local/bin/dock…"   2 months ago        Up About a minute   9300/tcp, 0.0.0.0:9202->9200/tcp             es02
17089688b1f1        codelibs/fess-elasticsearch:7.5.1       "/usr/local/bin/dock…"   2 months ago        Up About a minute   9300/tcp, 0.0.0.0:9201->9200/tcp             es01

3.確認 / ログイン

http://localhost:8080 へアクセスして下さい。
検索画面が表示されればOKです。

また、右上のログインから、管理者ログインして下さい。
初期PASSは admin / admin です。

4.クロール設定例

クロール → WEB を開きます。

項目	設定値
名前	web_crawler_test
URL	http://xxx.xxx.xxx.xxx/test/
クロール対象とするURL	http://xxx.xxx.xxx.xxx/test/.*
クロール対象から除外するURL	http://xxx.xxx.xxx.xxx/test_out/.* .history.
最大アクセス数	200000
スレッド数	5
間隔	500
ブースト値	1.0
状態	有効

クロール対象から除外したい場合は、該当パス以下を指定します。
特定の文字が入ったURLだけ除外したい場合は、".* history.*" のように指定しましょう。
対象が非常に多いため、最大アクセス数を20万件にしています。

5.スケジューラ設定

システム → スケジューラを開きます。

初回およびテスト時は、「いますぐ開始」です。
定期的な実施に関しては、「スケジュール」項目だけ設定注意です。
" 分 / 時 / 日 / 月 / 曜日 "　の順で記載します。
例）土曜日の0時に実施したい → 0 0 * * 6

6.結果確認

システム情報 → ジョブログを開きます。

スケジューラから実行された結果ログが表示されます。
状態欄にOKと表示されていれば完了です。

6-1.（参考）エラー調査

対象パスへアクセスできない → ホスト側で名前解決できていませんでした…
スケジューラが失敗 → elasticsearch が落ちていました…（ちゃんとcurlで確認しましょう）

クラスタの状態は例えば以下のように確認します。

[root@localhost compose]# curl http://localhost:9201/_cluster/health?pretty
{
  "cluster_name" : "fess-es",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 2,
  "number_of_data_nodes" : 2,
  "active_primary_shards" : 91,
  "active_shards" : 182,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

6-2.（参考）取得データ0件調査

クロール対象URLの記載方法が間違っているかも → URLの最後に/(スラッシュ)が抜けていました…

6-3.（参考）文字コード問題

クロール対象のexcelが文字化けする
　システム → ページのデザイン → ページファイルの表示 → /searchResults.jsp

このファイル内に文字コード変換スクリプトを埋め込みました。
（参考サイト様を失念しましたので、分かり次第追記いたします）

同様に、ファイル名だけ表示したい、リンク短縮したいなどの見栄えも
このファイルを修正すれば変更可能です。

Fessコンテナ内の下記パスに画像ファイルを配置し、
searchResult.jspを変更すればFESSロゴの代わりに、
独自のロゴを設定できたりもします。

root@f054fc200d28:/usr/share/fess/app/images# pwd
/usr/share/fess/app/images
root@f054fc200d28:/usr/share/fess/app/images# ls -l
total 56
drwxr-xr-x. 2 fess fess    26 Dec 21 03:38 admin
-rwxr-xr-x. 1 fess fess   506 Dec 21 02:53 blank.png
-rwxr-xr-x. 1 fess fess 12799 Dec 21 02:53 glyphicons-halflings.png
-rwxr-xr-x. 1 fess fess  8777 Dec 21 02:53 glyphicons-halflings-white.png
-rwxr-xr-x. 1 fess fess  5167 Dec 21 02:53 loading.gif
-rwxr-xr-x. 1 fess fess   907 Dec 21 02:53 logo-head.png
-rwxr-xr-x. 1 fess fess  2360 Dec 21 02:53 logo.png
-rwxr-xr-x. 1 fess fess  1529 Dec 21 02:53 logo-top.png
-rwxr-xr-x. 1 fess fess  1469 Dec 21 02:53 noimage.png

6-4.（参考）default crawler について

週1回のペースでWEBクロールを行っていましたが、想像以上にディスクリソースを消費するうえにクロールが中々終わらない、という事象が起きたため取り込み直したのち default crawler を無効化しました。

下記画像のように、ダッシュボードから DELETE INDEX を選択することで
データが消えますので、再度取り込み直すこともできます。

過去資料の検索目的だけでしたので、断面として残しています。
default crawler を定期的に実行する場合は負荷にご注意下さい。

Fess 構築 (docker)