5
3

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

FessAdvent Calendar 2016

Day 2

Fess クローラのスケジュール管理

Posted at

Fess 10.3 曜日別にクロールするように設定してみました。
#クロール設定
曜日ごとに実施するウェブクロールとファイルシステムクロールを設定します。
ウェブクロールとファイルシステムクロールはあらかじめ作成しておきます。

曜日 ジョブ ウェブクロール ファイルシステム
Crawl - 1_Monday 1_Monday_Fess10.2 1_Monday_Files
Crawl - 2_Tuesday 2_Tuesday_Fess10.1 2_Tuesday_Files
Crawl - 3_Wednesday 3_Wednesday_Fess10.0 3_Wednesday_Files
Crawl - 4_Thursday 4_Thursday_Fess9.4 4_Thursday_Files
Crawl - 5_Friday 5_Friday_Fess9.3 5_Friday_Files
Crawl - 6_Saturday 6_Saturday_Fess9.2 6_Saturday_Files
Crawl - 7_Sunday 7_Sunday_Fess9.1 7_Sunday_Files

#曜日別スケジューラ作成
曜日別に実行するスケジューラを作成します。

ウェブクロール設定の画面を開き、「新しいジョブを作成」ボタンをクリックします。
スクリーンショット 2016-11-21 21.32.54.png

スケジューラのジョブ作成画面が開きます。
スクリーンショット 2016-11-21 22.12.25.png
・「名前」はファイルシステムクロールも追加するので「Crawler - 1_Monday」に変更
・「スケジュール」は「0 12 * * 1」(毎週月曜の12:00pm実行)に変更
・「作成」ボタンをクリック
月曜日~日曜日までのジョブを作成します。

・スケジュール

曜日
0 12 * * 1(月曜日)~7(日曜日)

###ジョブスケジューラにファイルシステムのクロールを追加
クローラ>ファイルシステム>「1_Monday_Files」をクリック>ファイルクロールの設定
IDの値(例:AViGcYjc6GxYx34SRxUw)をコピーします。
システム>スケジューラ>「Crawler - 1_Monday」をクリック>ジョブの詳細>「編集」ボタンをクリック
「スクリプト」を変更します。

return
container.getComponent("crawlJob").logLevel("info").sessionId("AViGySvQ6GxYx34SRxU8")
.execute(executor, ["AViGySvQ6GxYx34SRxU8"] as String[],[] as String[],[] as String[], "");

2つ目の[] as String[]にコピーしたIDの値を追加します。

return
container.getComponent("crawlJob").logLevel("info").sessionId("AViGySvQ6GxYx34SRxU8")
.execute(executor, ["AViGySvQ6GxYx34SRxU8"] as String[],["AViGcYjc6GxYx34SRxUw"] as String[],[] as String[], "");

「更新」ボタンでジョブを更新します。

スクリーンショット 2016-11-21 23.03.55.png

作成したジョブを開始させれば曜日別にクロールが実行されます。

  • スクリプトの[] as String[]
  • 1つ目はウェブクロール
  • 2つ目はファイルシステムクロール
  • 3つ目はデータストアクロール

["ID1", "ID2"] as String[]と複数記述することもできます。

ジョブのスケジュールで時間別に実行を分けたり、
ウェブやファイルシステムなどのクロールをまとめて実行するなど
用途に応じてスケジュールを設定してみましょう。

5
3
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
5
3

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?