ワークフローエンジンDigdagのまとめ

  • 192
    いいね
  • 0
    コメント


2016/06/15に、トレジャーデータがオープンソースとして公開したワークフローエンジンDigdagのリンク集です。内容は随時更新します。またトレジャーデータではDigdagを自社でTreasure Workflowとして提供しています。こちらの情報も収集しています。

変更内容が気になる方は変更履歴をご覧ください。

1. 開催されるイベント

2. オフィシャルページ

3. チュートリアル

4. 雑誌・書籍

5. サードパーティプラグインとツール

5.1 サードパーティプラグイン

公開されているサードパーティ製プラグインの一覧です。プラグインの使い方はdigdag-slackの使い方を参考にしてください。

5.2 ツール

  • mog Go言語製 Digdag Client
  • digdag_client Rubyで書かれたDigdagのクライアントライブラリ

6. Digdagの特徴(著者調べ)

6.1 拡張子は.dig、フォーマットはYAML

7. エディタのシンタックスハイライト

いくつかの専用モードが提供されています。エディタにDigdag専用のモードがない場合は、YAML形式でハイライトするようにすれば良いようです。

7.1 Atomの場合

7.2 Vimの場合

.vimrcに次のように記述します。(違ったら教えてください)

au BufNewFile,BufRead *.dig            setf yaml

7.3 emacsの場合

yaml-modeをそのまま利用する場合(@syohexさん,@cocoatomoさん)

(add-to-list 'auto-mode-alist '("\\.dig\\'" . yaml-mode))

7.4 VSCodeの場合

Digdag Support for Visual Studio Code (vscode-digdag)

8. 過去のイベント

  • :bar_chart: スライド
  • :movie_camera: ビデオ
  • :bookmark_tabs: その他リンク
日付 タイトル イベント名
2015/12/14 ワークフロー開発管理 実践編 Workflow Hacks! #1
2016/5/30 分散ワークフローエンジン『DigDag』の実装(:bar_chart: :movie_camera: :bookmark_tabs:) Tokyo Ruby会議#11
2016/6/18 EmbulkやDigdagのお話(:bar_chart:) 第五回ゲームサーバ勉強会
2016/7/2 サービスに寄り添うログ基盤 / (三宅悠介さん) (:bar_chart:) はてな・ペパボ技術大会
2016/7/14 なぜDigdagのワークフロー定義はYAMLなのか(古橋 貞之さん)(:bar_chart:) Treasure Data Tech Talk 201607
2016/7/14 3 Months Into Treasure Data(Daniel Norbergさん) Treasure Data Tech Talk 201607
2016/8/4 Digdag@表参道.rb#14(Takuya Aritaさん)(:bar_chart::bookmark_tabs:) @表参道.rb#14
2016/09/26 EmbulkとDigdagで作るRedshiftデータマート(川崎照夫さん):bar_chart: BigData-JAWS 勉強会#2
2016/10/18 DigdagでCIジョブを定義する(Kousuke Adachi(foostan)さん) :bar_chart: 五反田.rb#10
2016/11/29 Automating Workflows for Analytics Pipelines(古橋 貞之さん)(:bar_chart::movie_camera:) AWS re:Invent 2016
2017/1/12 DigdagによるRedshift + EMRの自動制御とデータ分析アプリケーションの開発(古橋 貞之さん) Treasure Data Tech Talk 2017新春
2017/2/17 スタディサプリを支えるデータ分析基盤 ~設計の勘所と利活用事例(山邉 哲生さん)(:bar_chart:) デブサミ2017
2017/3/8 WorkFlowEngine Digdagの導入(ameshoさん)(:bar_chart:) 【React / Digdag / Terraform勉強会】- 続々と新規事業を創出する、ランサーズの開発チーム
2017/3/9 Digdagの特徴とQuick Start(古橋 貞之さん) Workflow Engines Meetup #1
2017/4/26 freee のデータ分析基盤について(山口正人さん):bar_chart: デーバ分析基盤Night #2
2017/5/15 技術的負債と向き合う(伊藤直也さん) :bar_chart: オープンソースセミナー2017@岡山
2017/5/18 Redshiftまでの大規模データフロー制御(鈴木 浩之さん) :bar_chart: BigData-JAWS 勉強会(第7回)
2017/06/01 Automating Workflows for Analytics Pipelines(古橋 貞之さん):bar_chart: Open Source Summit
2017/06/02 ECSにおける バッチ運用について(畑中悠作さん):bar_chart: JAWS-UG勉強会 【AWS Summit 2017】
2017/06/07 Treasure DataにおけるDigdagによる大規模データ処理の自動化とエラー処理(古橋 貞之さん):bar_chart: Workflow Engines Night
2017/06/07 Digdagへ日次バッチを移行して幸せになるお話(鈴木 翔太さん):bar_chart: Workflow Engines Night
2017/06/07 Digdagを使ってみて便利だったとこ、はまったとこ(塩崎 健弘さん):bar_chart: Workflow Engines Night
2017/06/07 とあるマーケティング部隊でのDigdagの活用事例(grimroseさん):bar_chart: Workflow Engines Night
2017/06/09 Digdag x Dockerでモダンなバッチ処理環境を構築(モリジュンさん):bar_chart: :bookmark_tabs: 社内勉強会のLT
2017/07/01 「RedshiftとDigdagで始める!クラウド・データ分析基盤の勘ドコロ」(川崎照夫さん) Developers.IO 2017
2017/07/21 分析基盤をECS上で実装(子安輝さん) JAWS-UG コンテナ支部 #9
2017/07/25 Introducing Retz and how to develop practical frameworks :bar_chart:(上西康太さん) Mesos Meetup Tokyo #2
2017/08/10 僕らはStackStormをどう使うべきか (萬治 渉さん) :bar_chart: NTT TechConference #2
2017/08/25 DMM.comのビッグデータ基盤を支える技術(鈴木 翔太さん/吉田 龍馬さん) :bar_chart::bookmark_tabs: TECH PLAY Conference 2017
2017/09/06 Introduction Retz(上西康太さん) :bar_chart: db tech showcase tokyo 2017
2017/09/19 動画系メディア会社で行われているETLの実際(島田雅年さん) :bar_chart: 新宿Geek Lounge#3 分析基盤 Meetup
2017/09/19 セプテーニで分析基盤(Treasure Data)を導入した話(木村彰宏さん) :bar_chart: 新宿Geek Lounge#3 分析基盤 Meetup
2017/10/10 Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方 :bar_chart: リブセンス吉田健太郎さん データ分析基盤構築入門 - pixiv Night #06

9. 開発者向け

10. TIPS

11. その他、有用なリンク

12. ブログ等に掲載されたDigdag