Help us understand the problem. What is going on with this article?

FESSの動作確認にはデバッグログが必須だと解りました

More than 1 year has passed since last update.

FESSからRedmineをクロールしようとして、インデックスが作られない問題に遭遇しました。

現象

FESSからRedmineをクロールすべく、「FessでRedmineを検索するための認証方法」を参考にして、リクエストヘッダにX-Redmine-API-Keyを設定する方法で、クローラを設定しました。

しかし、Default Crawlerを手動で実行するのですが、インデックスが全く作られません。ゼロです。この時、FESSの管理画面では障害は見当たりません。

調査のためにやったこと

robots.txtの制限?

fess-crawler.logを見ると、robots.txtを参照した後クロールが終わっているように見えたので、robots.txtでアクセス制限がかかっているものと思い込み(これは間違いでした)、「Add crawler.ignore.robots.txt=false to fess_config.properties」等に記されている方法を真似て、fess_config.propertiesや設定パラメータに crawler.ignore.robots.txt=true として見ましたが現象は変わりませんでした。

デバッグログを見た

FESSは、インストール直後ログ出力レベルが(log4jの)INFOになっているようなので、DEBUGレベルにしてログを見てみました。

そこで解ったのは、Redmineの認証が失敗していることでした。HTTPではエラーであっても、FESSでは障害として認識されないので注意しなければいけないことがわかりました。

対策

BASIC認証にして解決しました。

環境

  • ホストOS : Windows 10 Pro Version 1709
  • 仮想化 : VirtualBox 5.2.6
  • ゲストOS : CentOS 6.9 / CentOS 7.4
  • Fess : Fess 12.1.1
  • Elasticseach : 6.2.1
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away