Edited at

cronの代替になりそうなジョブ管理ツールのまとめ

More than 3 years have passed since last update.

たまに検討するけど、よく忘れるのでまとめておく。ごく個人的な感想としては、Rundeck, Azkabanあたりで始めてみるのがいいかもと思う。


要件


  • 重複実行の防止

  • ジョブの実行結果、かかった時間、ログ出力などが見れる

  • 失敗時の通知


候補


OSS系


Rundeck


Oozie


Luigi


Azkaban


  • https://azkaban.github.io/

  • created at LinkedIn to run Hadoop jobs

  • Java Runtimeで動く

  • きれいなweb UI

  • soloモードだと、マネージャーもExcetorもDB (H2)も全部入りなので1サーバーだけで動く


Jenkins


  • Jenkinsで実行まで行う

  • cronの実行結果だけ受け取るのもあるけど、重複実行を防げない

  • 分散実行したい場合はJenkinsのスレーブ管理機能を使う

  • バッチサーバーでJenkinsを動かしたくないなら工夫が必要


    • curlで叩いてタイムアウトとか間抜け



  • SaaSがよければ https://www.cloudbees.com/


Hinemos


  • http://www.hinemos.info/hinemos/

  • NTTデータの作ってるやつ

  • 監視もできるジョブ管理ツールらしい


    • そういう解釈ならZabbixもジョブ管理ツールになりうる




Chronos


airflow


HTCondor


  • http://research.cs.wisc.edu/htcondor/

  • 大規模環境向け?ジョブマネージャー


    • 単なるジョブスケジューラーとしても使えるみたいだけど



  • 30年くらい歴史ある


商用系


JP1


Tivoli


jamsscheduler


A-Auto


  • よく知らない


Systemwalker Operation Manager


  • 富士通


参考

http://ja.wikipedia.org/wiki/%E3%82%B8%E3%83%A7%E3%83%96%E7%AE%A1%E7%90%86%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0