ワークフローエンジンDigdagのまとめ

  • 163
    Like
  • 0
    Comment


2016/06/15に、トレジャーデータがオープンソースとして公開したワークフローエンジンDigdagのリンク集です。内容は随時更新します。またトレジャーデータではDigdagを自社でTreasure Workflowとして提供しています。こちらの情報も収集しています。

変更内容が気になる方は変更履歴をご覧ください。

開催されるイベント

  • 2017/7/1 15:00 Developers.IO 2017が開催され、クラスメソッドの川崎照夫さんが、「RedshiftとDigdagで始める!クラウド・データ分析基盤の勘ドコロ」を講演予定です。

オフィシャルページ

チュートリアル

雑誌・書籍

Digdagの特徴(著者調べ)

拡張子は.dig、フォーマットはYAML

エディタのシンタックスハイライト

いくつかの専用モードが提供されています。エディタにDigdag専用のモードがない場合は、YAML形式でハイライトするようにすれば良いようです。

Atomの場合

Vimの場合

.vimrcに次のように記述します。(違ったら教えてください)

au BufNewFile,BufRead *.dig            setf yaml

emacsの場合

yaml-modeをそのまま利用する場合(@syohexさん,@cocoatomoさん)

(add-to-list 'auto-mode-alist '("\\.dig\\'" . yaml-mode))

VSCodeの場合

Digdag Support for Visual Studio Code (vscode-digdag)

Treasure Workflow = digdag

開発メンバーの所属するトレージャーデータでは、digdagをTreasure Workflowとして提供しています。

過去のイベント

  • :bar_chart: スライド
  • :movie_camera: ビデオ
  • :bookmark_tabs: その他リンク
日付 タイトル イベント名
2015/12/14 ワークフロー開発管理 実践編 Workflow Hacks! #1
2016/5/30 分散ワークフローエンジン『DigDag』の実装(:bar_chart: :movie_camera: :bookmark_tabs:) Tokyo Ruby会議#11
2016/6/18 EmbulkやDigdagのお話(:bar_chart:) 第五回ゲームサーバ勉強会
2016/7/2 サービスに寄り添うログ基盤 / (三宅悠介さん) (:bar_chart:) はてな・ペパボ技術大会
2016/7/14 なぜDigdagのワークフロー定義はYAMLなのか(古橋 貞之さん)(:bar_chart:) Treasure Data Tech Talk 201607
2016/7/14 3 Months Into Treasure Data(Daniel Norbergさん) Treasure Data Tech Talk 201607
2016/8/4 Digdag@表参道.rb#14(Takuya Aritaさん)(:bar_chart::bookmark_tabs:) @表参道.rb#14
2016/09/26 EmbulkとDigdagで作るRedshiftデータマート(川崎照夫さん):bar_chart: BigData-JAWS 勉強会#2
2016/10/18 DigdagでCIジョブを定義する(Kousuke Adachi(foostan)さん) :bar_chart: 五反田.rb#10
2016/11/29 Automating Workflows for Analytics Pipelines(古橋 貞之さん)(:bar_chart::movie_camera:) AWS re:Invent 2016
2017/1/12 DigdagによるRedshift + EMRの自動制御とデータ分析アプリケーションの開発(古橋 貞之さん) Treasure Data Tech Talk 2017新春
2017/2/17 スタディサプリを支えるデータ分析基盤 ~設計の勘所と利活用事例(山邉 哲生さん)(:bar_chart:) デブサミ2017
2017/3/8 WorkFlowEngine Digdagの導入(ameshoさん)(:bar_chart:) 【React / Digdag / Terraform勉強会】- 続々と新規事業を創出する、ランサーズの開発チーム
2017/3/9 Digdagの特徴とQuick Start(古橋 貞之さん) Workflow Engines Meetup #1
2017/4/26 freee のデータ分析基盤について(山口正人さん):bar_chart: デーバ分析基盤Night #2
2017/5/15 技術的負債と向き合う(伊藤直也さん) :bar_chart: オープンソースセミナー2017@岡山
2017/06/01 Automating Workflows for Analytics Pipelines(古橋 貞之さん):bar_chart: Open Source Summit
2017/06/02 ECSにおける バッチ運用について(畑中悠作さん):bar_chart: JAWS-UG勉強会 【AWS Summit 2017】
2017/06/07 Treasure DataにおけるDigdagによる大規模データ処理の自動化とエラー処理(古橋 貞之さん):bar_chart: Workflow Engines Night
2017/06/07 Digdagへ日次バッチを移行して幸せになるお話(鈴木 翔太さん):bar_chart: Workflow Engines Night
2017/06/07 Digdagを使ってみて便利だったとこ、はまったとこ(塩崎 健弘さん):bar_chart: Workflow Engines Night
2017/06/07 とあるマーケティング部隊でのDigdagの活用事例(grimroseさん):bar_chart: Workflow Engines Night
2017/06/09 Digdag x Dockerでモダンなバッチ処理環境を構築(モリジュンさん):bar_chart: :bookmark_tabs: 社内勉強会のLT

開発者向け

TIPS

その他、有用なリンク

ブログ等に掲載されたDigdag