Edited at

ワークフローエンジンDigdagのまとめ



2016/06/15に、トレジャーデータがオープンソースとして公開したワークフローエンジンDigdagのリンク集です。内容は随時更新します。またトレジャーデータではDigdagを自社でTreasure Workflowとして提供しています。こちらの情報も収集しています。

変更内容が気になる方は変更履歴をご覧ください。


1. 開催されるイベント


2. オフィシャルページ


3. チュートリアル


4. 雑誌・書籍


5. サードパーティプラグインとツール


5.1 サードパーティプラグイン

公開されているサードパーティ製プラグインの一覧です。プラグインの使い方はdigdag-slackの使い方を参考にしてください。


5.2 ツール



  • mog Go言語製 Digdag Client


  • digdag_client Rubyで書かれたDigdagのクライアントライブラリ


6. Digdagの特徴(著者調べ)


6.1 拡張子は.dig、フォーマットはYAML


7. エディタのシンタックスハイライト

いくつかの専用モードが提供されています。エディタにDigdag専用のモードがない場合は、YAML形式でハイライトするようにすれば良いようです。


7.1 Atomの場合


7.2 Vimの場合

.vimrcに次のように記述します。(違ったら教えてください)

autocmd BufNewFile,BufRead *.dig set filetype=yaml

autocmd Syntax yaml setl indentkeys-=<:>

詳細はdigdag の .dig ファイル向け vim 設定をご覧ください。


7.3 emacsの場合

yaml-modeをそのまま利用する場合(@syohexさん,@cocoatomoさん)

(add-to-list 'auto-mode-alist '("\\.dig\\'" . yaml-mode))


7.4 VSCodeの場合

Digdag Support for Visual Studio Code (vscode-digdag)


8. 過去のイベント



  • :bar_chart: スライド


  • :movie_camera: ビデオ


  • :bookmark_tabs: その他リンク

発表年月日
タイトル
イベント名

2015/12/14
ワークフロー開発管理 実践編
Workflow Hacks! #1

2016/5/30
分散ワークフローエンジン『DigDag』の実装(:bar_chart: :movie_camera: :bookmark_tabs:)
Tokyo Ruby会議#11

2016/6/18
EmbulkやDigdagのお話(:bar_chart:)
第五回ゲームサーバ勉強会

2016/7/2
サービスに寄り添うログ基盤 / (三宅悠介さん) (:bar_chart:)
はてな・ペパボ技術大会

2016/7/14
なぜDigdagのワークフロー定義はYAMLなのか(古橋 貞之さん)(:bar_chart:)
Treasure Data Tech Talk 201607

2016/7/14
3 Months Into Treasure Data(Daniel Norbergさん)
Treasure Data Tech Talk 201607

2016/8/4
Digdag@表参道.rb#14(Takuya Aritaさん)(:bar_chart::bookmark_tabs:)
@表参道.rb#14

2016/09/26
EmbulkとDigdagで作るRedshiftデータマート(川崎照夫さん):bar_chart:

BigData-JAWS 勉強会#2

2016/10/18
DigdagでCIジョブを定義する(Kousuke Adachi(foostan)さん) :bar_chart:

五反田.rb#10

2016/11/29
Automating Workflows for Analytics Pipelines(古橋 貞之さん)(:bar_chart::movie_camera:)
AWS re:Invent 2016

2017/1/12
DigdagによるRedshift + EMRの自動制御とデータ分析アプリケーションの開発(古橋 貞之さん)
Treasure Data Tech Talk 2017新春

2017/2/17
スタディサプリを支えるデータ分析基盤 ~設計の勘所と利活用事例(山邉 哲生さん)(:bar_chart:)
デブサミ2017

2017/3/8
WorkFlowEngine Digdagの導入(ameshoさん)(:bar_chart:)
【React / Digdag / Terraform勉強会】- 続々と新規事業を創出する、ランサーズの開発チーム

2017/3/9
Digdagの特徴とQuick Start(古橋 貞之さん)
Workflow Engines Meetup #1

2017/4/26
freee のデータ分析基盤について(山口正人さん):bar_chart:

デーバ分析基盤Night #2

2017/5/15
技術的負債と向き合う(伊藤直也さん) :bar_chart:

オープンソースセミナー2017@岡山

2017/5/18
Redshiftまでの大規模データフロー制御(鈴木 浩之さん) :bar_chart:

BigData-JAWS 勉強会(第7回)

2017/06/01
Automating Workflows for Analytics Pipelines(古橋 貞之さん):bar_chart:

Open Source Summit

2017/06/02
ECSにおける バッチ運用について(畑中悠作さん):bar_chart:

JAWS-UG勉強会 【AWS Summit 2017】

2017/06/07
Treasure DataにおけるDigdagによる大規模データ処理の自動化とエラー処理(古橋 貞之さん):bar_chart:

Workflow Engines Night

2017/06/07
Digdagへ日次バッチを移行して幸せになるお話(鈴木 翔太さん):bar_chart:

Workflow Engines Night

2017/06/07
Digdagを使ってみて便利だったとこ、はまったとこ(塩崎 健弘さん):bar_chart:

Workflow Engines Night

2017/06/07
とあるマーケティング部隊でのDigdagの活用事例(grimroseさん):bar_chart:

Workflow Engines Night

2017/06/09
Digdag x Dockerでモダンなバッチ処理環境を構築(モリジュンさん):bar_chart: :bookmark_tabs:

社内勉強会のLT

2017/07/01
「RedshiftとDigdagで始める!クラウド・データ分析基盤の勘ドコロ」(川崎照夫さん)
Developers.IO 2017

2017/07/21
分析基盤をECS上で実装(子安輝さん)
JAWS-UG コンテナ支部 #9

2017/07/25
Introducing Retz and how to develop practical frameworks :bar_chart:(上西康太さん)
Mesos Meetup Tokyo #2

2017/08/10
僕らはStackStormをどう使うべきか (萬治 渉さん) :bar_chart:

NTT TechConference #2

2017/08/25
DMM.comのビッグデータ基盤を支える技術(鈴木 翔太さん/吉田 龍馬さん) :bar_chart::bookmark_tabs:

TECH PLAY Conference 2017

2017/09/06
Introduction Retz(上西康太さん) :bar_chart:

db tech showcase tokyo 2017

2017/09/19
動画系メディア会社で行われているETLの実際(島田雅年さん) :bar_chart:

新宿Geek Lounge#3 分析基盤 Meetup

2017/09/19
セプテーニで分析基盤(Treasure Data)を導入した話(木村彰宏さん) :bar_chart:

新宿Geek Lounge#3 分析基盤 Meetup

2017/10/10
Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方 :bar_chart: リブセンス吉田健太郎さん
データ分析基盤構築入門 - pixiv Night #06

2018/02/15
Digdagを導入してみて:bar_chart::movie_camera: DMM.comラボ 鈴木翔太さん
PLAZMA OSS Day: TD Tech Talk 2018

2018/02/17
Hivemall meets Digdag :bar_chart: トレジャーデータ 油井誠さん
HACKER TACKLE

2018/02/19
Machine Learning and Natural Language Processing on Treasure CDP :bar_chart::bookmark_tabs: Treasure Data Takuya Kitazawa さん
PLAZMA TD Internal Day: TD Tech Talk 2018

2018/02/07
Diary of Suport Engineering Manager :bookmark_tabs: トレジャーデータ 高橋達さん
サポートエンジニアNight vol.2

2018/02/20
52 weeks after Digdag operation :bar_chart::bookmark_tabs:ランサーズ株式会社ameshoさん
事業の多角化を支えたランサーズ的SRE術

2018/5/23
TreasureDataのエコシステムで作るロバストなETLデータ処理基盤のつくりかた :bar_chart: トレジャーデータ 吉田 健太郎さん
PLAZMA Data Engineer Day: TD Tech Talk 2018

2018/05/23
AudienceOneにおけるTreasureData活用方法 :bar_chart: デジタル・アドバタイジング・コンソーシアム株式会社河原 亮介さん
PLAZMA Data Engineer Day: TD Tech Talk 2018

2018/07/02
系列分析を利用したサーバの負荷予測・異常検知(非公開) 株式会社LIFULL 相原 魁さん
Ltech#1 LIFULL HOME'S 機械学習Night

2018/09/05
Heroku Container Registry & Runtime + digdagで お手軽バッチ処理環境を作ってみた (リブセンス須貝俊さん):bar_chart:

Heroku Meetup #22

2018/10/17
Managing Machine Learning workflows on Treasure Data (トレジャーデータ Michiaki Arigaさん):bar_chart:

MA TD Tech Talk 2018 at Shibuya : Part 2

2018/10/17
データエンジニアリング業を加速するPresto UDFとdigdaの活用方法 (トレジャーデータ 吉田健太郎さん):bar_chart:

MA TD Tech Talk 2018 at Shibuya : Part 2

2018/10/17
カスタムスクリプトを Workflow から実行する仕組みとその実行環境 (トレジャーデータ 西澤無我さん):bar_chart:

MA TD Tech Talk 2018 at Shibuya : Part 2

2018/11/1
レシピ動画メディア『DELISH KITCHEN』を支える、作らない分析基盤のススメ :bar_chart: 株式会社エブリー島田雅年さん
BitStar x Every.tv

2018/12/12
業務でバッチのジョブを基盤としてk8sを活用した話 :bar_chart::bookmark_tabs: 株式会社セプテーニ・オリジナル高嶋隆博さん
新宿 Geek Lounge#6 Kubernetes Meetup

2019/2/14
ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 :bar_chart::bookmark_tabs::bookmark_tabs: 株式会社ZOZOテクノロジーズ塩崎健弘さん
デブサミ2019

2019/3/7
データドリブンを提供するサービスBrand Officialのアーキテクチャについて :bar_chart: 株式会社アイスタイル YASU11552288さん
Data Driven Developer Meetup #5

2019/4/16
digdagで支えるデータパイプライン :bar_chart: JUBILEE WORKS 若林裕礎さん
Data Pipeline Casual Talk Vol.2

2019/6/27
本当にあったdigdag(とembulk)のつらい話 :bar_chart: showyuさん
Data Pipeline Casual Talk Vol.3

2019/7/19
DigdagでETLを処理する :bar_chart: マイクロアド 中野翔太(tosametal)さん
データとML周辺エンジニアリングを考える会 #2

2019/7/31
Digdag と Embulk と Athena で作る Gunosy の ELT基盤 :bar_chart: Gunosy 中山 貴博(Civitaspo)さん
データ分析基盤Developers Night #3


9. 開発者向け


10. TIPS


11. その他、有用なリンク


12. ブログ等に掲載されたDigdag