digdag

ワークフローエンジンDigdagのまとめ


2016/06/15に、トレジャーデータがオープンソースとして公開したワークフローエンジンDigdagのリンク集です。内容は随時更新します。またトレジャーデータではDigdagを自社でTreasure Workflowとして提供しています。こちらの情報も収集しています。

変更内容が気になる方は変更履歴をご覧ください。

1. 開催されるイベント

2. オフィシャルページ

3. チュートリアル

4. 雑誌・書籍

5. サードパーティプラグインとツール

5.1 サードパーティプラグイン

公開されているサードパーティ製プラグインの一覧です。プラグインの使い方はdigdag-slackの使い方を参考にしてください。

5.2 ツール

  • mog Go言語製 Digdag Client
  • digdag_client Rubyで書かれたDigdagのクライアントライブラリ

6. Digdagの特徴(著者調べ)

6.1 拡張子は.dig、フォーマットはYAML

7. エディタのシンタックスハイライト

いくつかの専用モードが提供されています。エディタにDigdag専用のモードがない場合は、YAML形式でハイライトするようにすれば良いようです。

7.1 Atomの場合

7.2 Vimの場合

.vimrcに次のように記述します。(違ったら教えてください)

au BufNewFile,BufRead *.dig            setf yaml

7.3 emacsの場合

yaml-modeをそのまま利用する場合(@syohexさん,@cocoatomoさん)

(add-to-list 'auto-mode-alist '("\\.dig\\'" . yaml-mode))

7.4 VSCodeの場合

Digdag Support for Visual Studio Code (vscode-digdag)

8. 過去のイベント

  • :bar_chart: スライド
  • :movie_camera: ビデオ
  • :bookmark_tabs: その他リンク
発表年月日 タイトル イベント名
2015/12/14 ワークフロー開発管理 実践編 Workflow Hacks! #1
2016/5/30 分散ワークフローエンジン『DigDag』の実装(:bar_chart: :movie_camera: :bookmark_tabs:) Tokyo Ruby会議#11
2016/6/18 EmbulkやDigdagのお話(:bar_chart:) 第五回ゲームサーバ勉強会
2016/7/2 サービスに寄り添うログ基盤 / (三宅悠介さん) (:bar_chart:) はてな・ペパボ技術大会
2016/7/14 なぜDigdagのワークフロー定義はYAMLなのか(古橋 貞之さん)(:bar_chart:) Treasure Data Tech Talk 201607
2016/7/14 3 Months Into Treasure Data(Daniel Norbergさん) Treasure Data Tech Talk 201607
2016/8/4 Digdag@表参道.rb#14(Takuya Aritaさん)(:bar_chart::bookmark_tabs:) @表参道.rb#14
2016/09/26 EmbulkとDigdagで作るRedshiftデータマート(川崎照夫さん):bar_chart: BigData-JAWS 勉強会#2
2016/10/18 DigdagでCIジョブを定義する(Kousuke Adachi(foostan)さん) :bar_chart: 五反田.rb#10
2016/11/29 Automating Workflows for Analytics Pipelines(古橋 貞之さん)(:bar_chart::movie_camera:) AWS re:Invent 2016
2017/1/12 DigdagによるRedshift + EMRの自動制御とデータ分析アプリケーションの開発(古橋 貞之さん) Treasure Data Tech Talk 2017新春
2017/2/17 スタディサプリを支えるデータ分析基盤 ~設計の勘所と利活用事例(山邉 哲生さん)(:bar_chart:) デブサミ2017
2017/3/8 WorkFlowEngine Digdagの導入(ameshoさん)(:bar_chart:) 【React / Digdag / Terraform勉強会】- 続々と新規事業を創出する、ランサーズの開発チーム
2017/3/9 Digdagの特徴とQuick Start(古橋 貞之さん) Workflow Engines Meetup #1
2017/4/26 freee のデータ分析基盤について(山口正人さん):bar_chart: デーバ分析基盤Night #2
2017/5/15 技術的負債と向き合う(伊藤直也さん) :bar_chart: オープンソースセミナー2017@岡山
2017/5/18 Redshiftまでの大規模データフロー制御(鈴木 浩之さん) :bar_chart: BigData-JAWS 勉強会(第7回)
2017/06/01 Automating Workflows for Analytics Pipelines(古橋 貞之さん):bar_chart: Open Source Summit
2017/06/02 ECSにおける バッチ運用について(畑中悠作さん):bar_chart: JAWS-UG勉強会 【AWS Summit 2017】
2017/06/07 Treasure DataにおけるDigdagによる大規模データ処理の自動化とエラー処理(古橋 貞之さん):bar_chart: Workflow Engines Night
2017/06/07 Digdagへ日次バッチを移行して幸せになるお話(鈴木 翔太さん):bar_chart: Workflow Engines Night
2017/06/07 Digdagを使ってみて便利だったとこ、はまったとこ(塩崎 健弘さん):bar_chart: Workflow Engines Night
2017/06/07 とあるマーケティング部隊でのDigdagの活用事例(grimroseさん):bar_chart: Workflow Engines Night
2017/06/09 Digdag x Dockerでモダンなバッチ処理環境を構築(モリジュンさん):bar_chart: :bookmark_tabs: 社内勉強会のLT
2017/07/01 「RedshiftとDigdagで始める!クラウド・データ分析基盤の勘ドコロ」(川崎照夫さん) Developers.IO 2017
2017/07/21 分析基盤をECS上で実装(子安輝さん) JAWS-UG コンテナ支部 #9
2017/07/25 Introducing Retz and how to develop practical frameworks :bar_chart:(上西康太さん) Mesos Meetup Tokyo #2
2017/08/10 僕らはStackStormをどう使うべきか (萬治 渉さん) :bar_chart: NTT TechConference #2
2017/08/25 DMM.comのビッグデータ基盤を支える技術(鈴木 翔太さん/吉田 龍馬さん) :bar_chart::bookmark_tabs: TECH PLAY Conference 2017
2017/09/06 Introduction Retz(上西康太さん) :bar_chart: db tech showcase tokyo 2017
2017/09/19 動画系メディア会社で行われているETLの実際(島田雅年さん) :bar_chart: 新宿Geek Lounge#3 分析基盤 Meetup
2017/09/19 セプテーニで分析基盤(Treasure Data)を導入した話(木村彰宏さん) :bar_chart: 新宿Geek Lounge#3 分析基盤 Meetup
2017/10/10 Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方 :bar_chart: リブセンス吉田健太郎さん データ分析基盤構築入門 - pixiv Night #06
2018/02/15 Digdagを導入してみて:bar_chart::movie_camera: DMM.comラボ 鈴木翔太さん PLAZMA OSS Day: TD Tech Talk 2018
2018/02/17 Hivemall meets Digdag :bar_chart: トレジャーデータ 油井誠さん HACKER TACKLE
2018/02/19 Machine Learning and Natural Language Processing on Treasure CDP :bar_chart::bookmark_tabs: Treasure Data Takuya Kitazawa さん PLAZMA TD Internal Day: TD Tech Talk 2018
2018/02/07 Diary of Suport Engineering Manager :bookmark_tabs: トレジャーデータ 高橋達さん サポートエンジニアNight vol.2
2018/02/20 52 weeks after Digdag operation :bar_chart::bookmark_tabs:ランサーズ株式会社ameshoさん 事業の多角化を支えたランサーズ的SRE術
2018/5/23 TreasureDataのエコシステムで作るロバストなETLデータ処理基盤のつくりかた :bar_chart: トレジャーデータ 吉田 健太郎さん PLAZMA Data Engineer Day: TD Tech Talk 2018
2018/05/23 AudienceOneにおけるTreasureData活用方法 :bar_chart: デジタル・アドバタイジング・コンソーシアム株式会社河原 亮介さん PLAZMA Data Engineer Day: TD Tech Talk 2018
2018/07/02 系列分析を利用したサーバの負荷予測・異常検知(非公開) 株式会社LIFULL 相原 魁さん Ltech#1 LIFULL HOME'S 機械学習Night
2018/09/05 Heroku Container Registry & Runtime + digdagで お手軽バッチ処理環境を作ってみた (リブセンス須貝俊さん):bar_chart: Heroku Meetup #22
2018/10/17 Managing Machine Learning workflows on Treasure Data (トレジャーデータ Michiaki Arigaさん):bar_chart: MA TD Tech Talk 2018 at Shibuya : Part 2
2018/10/17 データエンジニアリング業を加速するPresto UDFとdigdaの活用方法 (トレジャーデータ 吉田健太郎さん):bar_chart: MA TD Tech Talk 2018 at Shibuya : Part 2
2018/10/17 カスタムスクリプトを Workflow から実行する仕組みとその実行環境 (トレジャーデータ 西澤無我さん):bar_chart: MA TD Tech Talk 2018 at Shibuya : Part 2
2018/11/1 レシピ動画メディア『DELISH KITCHEN』を支える、作らない分析基盤のススメ :bar_chart: 株式会社エブリー島田雅年さん BitStar x Every.tv
2018/12/12 業務でバッチのジョブを基盤としてk8sを活用した話 :bar_chart::bookmark_tabs: 株式会社セプテーニ・オリジナル高嶋隆博さん 新宿 Geek Lounge#6 Kubernetes Meetup

9. 開発者向け

10. TIPS

11. その他、有用なリンク

12. ブログ等に掲載されたDigdag