2016/06/15に、トレジャーデータがオープンソースとして公開したワークフローエンジンDigdagのリンク集です。内容は随時更新します。またトレジャーデータではDigdagを自社でTreasure Workflowとして提供しています。こちらの情報も収集しています。

変更内容が気になる方は変更履歴をご覧ください。

1. 開催されるイベント

2. オフィシャルページ

3. チュートリアル

Getting started (英語)
Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag
(日本語)
Digdag 入門
Digdagのアーキテクチャとコンセプトを理解する
Treasure Workflow for ビギナー
- 環境構築編
- digファイル書き方編
Digdag公式ドキュメントからDigdagを学ぶ @HavenSpring さん

4. 雑誌・書籍

WEB+DB PRESS Vol.94 OSSによるデータ分析基盤の構築 Embulk、Re:dash、Digdag
2017/9/21 データ分析基盤構築入門Fluentd、Elasticsearch、Kibanaによるログ収集と可視化 Digdagのことも少し掲載されています。

5. サードパーティプラグインとツール

5.1 サードパーティプラグイン

公開されているサードパーティ製プラグインの一覧です。プラグインの使い方はdigdag-slackの使い方を参考にしてください。

digdag-slack slackに通知を行うことができるプラグイン使い方
retz-digdag-plugin Retz(Mesos向けJob Queue)のジョブ定義や実行を管理することができるプラグイン (関連資料)
digdag-plugin-ssh sshでコマンドを実行するオペレーター(ご不明な点はhiroysatoまでお問い合わせください)。
digdag-hangouts-chat Hangouts Chatに通知を行う事ができるプラグイン
digdag-plugin-mysql mysqlにクエリするオペレーター(ご不明な点はhiroysatoまでお問い合わせください)。
digdag-plugin-dfs_wait Digdag dfs_wait> operator plugin to wait for files on DFS.
k8s_job Kubernetesジョブ用のオペレーター (Scala製)
digdag-operator-emr_fleet EMR を Instance Fleets 使って立ち上げる digdag plugin 解説
digdag-operator-athena athena のクエリを叩いて結果を CSV で S3 のどこかに保存するプラグイン解説
digdag-plugin-shresult シェルの実行結果を変数に設定するプラグイン解説
digdag-operator-cost_explorer AWS CostExplorerをAPI 的には {"AND":[conditions...]} のようにnested jsonで表現しないとfilterをかけないところをSQLのwhere文で表現できるプラグイン
digdag-operator-param dig 上で param を操作できるシンプルなPlugin 解説
digdag-operator-ecs_task digdagからECS Task Definition登録してRunしてWaitして、S3に仕様どおりに結果吐いてくれたらdigdagに結果を返したりできる君解説
digdag-plugin-azure Microsoft Azureのためのプラグイン
digdag-plugin-mssql Microsoft SQLServerを利用するためのプラグイン
digdag-operator-livy Apache Livyを操作する Plugin です。解説
digdag-plugin-sshresult sshでリモートの実行結果を変数に代入できるsshresultプラグイン
digdag-plugin-s3-touch S3にファイルをアップロードするプラグイン
digdag-plugin-datadog Datadogプラグイン
digdag-plugin-glue AWS GlueのETLジョブとクローラーをDigdagから実行するプラグイン
digdag-operator-pg_lock Digdag Workflow実行中にPostgreSQLを使ったLockを取得できるPluginです。解説
digdag-plugin-myjdbc 任意のJDBC(ex. PureData)ライブラリを利用するオペレータ (解説).
digdag-operator-gke k8s command executor上で動くgke operator的なプラグイン
digdag-operator-store_gke_config gkeのkube configをstoreするだけのオペレータ
digdag-operator-bq-wait BigQuery のデータロード、データ更新が行われたタイミングですぐにそのデータを使った処理を開始させることができるオペレータ
digdag-plugin-glue
digdag-operator-aws-appconfig AWS AppConfig から値取ってきて StoreParams に突っ込むプラグイン
digdag-plugin-sentry エラーをSentryに送信するプラグイン
digdag_operator_snowflake DigdagでSnowflakeを利用するプラグイン

5.2 ツール

mog Go言語製 Digdag Client
digdag_client Rubyで書かれたDigdagのクライアントライブラリ
tdworkflow Python クライアント(現在は多分Treasure Workflow用)
digdag-worker-crd A horizontal pod autoscaler for digdag worker 解説記事

6. Digdagの特徴(著者調べ)

loopを使った繰り返しのサポート
PostgreSQLだけを維持すればDigdagサーバはいつでも立てたり落としたりできる本番環境に優しい設計
YAMLファイルでの記述で読みやすい。(正確にはYAMLのようなフォーマット)

6.1 拡張子は.dig、フォーマットはYAML

digdagのファイルの拡張子が .yml じゃなくて .dig なのは、普通のYAMLと違ってmapのキーの順番が維持される必要があるから、ってどこかで言ったっけ
— Sadayuki Furuhashi (@frsyuki) 2016年8月26日

7. エディタのシンタックスハイライト

いくつかの専用モードが提供されています。エディタにDigdag専用のモードがない場合は、YAML形式でハイライトするようにすれば良いようです。

7.1 Atomの場合

Syntax highlighting to Digdag file in Atom

7.2 Vimの場合

.vimrcに次のように記述します。(違ったら教えてください)

autocmd BufNewFile,BufRead *.dig set filetype=yaml
autocmd Syntax yaml setl indentkeys-=<:>

詳細はdigdag の .dig ファイル向け vim 設定をご覧ください。

7.3 emacsの場合

emacs-digdag-mode @syohex

yaml-modeをそのまま利用する場合(@syohexさん,@cocoatomoさん)

(add-to-list 'auto-mode-alist '("\\.dig\\'" . yaml-mode))

7.4 VSCodeの場合

Digdag Support for Visual Studio Code (vscode-digdag)

7.5 IntelliJの場合

環境設定のEditor -> FileTypes -> Yamlに *.digを追加

参考: Set file type associations

8. 読むと良い資料集(独断と偏見)

8.1 変数

9. 過去のイベント

スライド
ビデオ
その他リンク

発表年月日	タイトル	イベント名
2015/12/14	ワークフロー開発管理実践編	Workflow Hacks! #1
2016/5/30	分散ワークフローエンジン『DigDag』の実装( )	Tokyo Ruby会議#11
2016/6/18	EmbulkやDigdagのお話()	第五回ゲームサーバ勉強会
2016/7/2	サービスに寄り添うログ基盤 / (三宅悠介さん) ()	はてな・ペパボ技術大会
2016/7/14	なぜDigdagのワークフロー定義はYAMLなのか(古橋貞之さん)()	Treasure Data Tech Talk 201607
2016/7/14	3 Months Into Treasure Data(Daniel Norbergさん)	Treasure Data Tech Talk 201607
2016/8/4	Digdag@表参道.rb#14(Takuya Aritaさん)()	@表参道.rb#14
2016/09/26	EmbulkとDigdagで作るRedshiftデータマート(川崎照夫さん)	BigData-JAWS 勉強会#2
2016/10/18	DigdagでCIジョブを定義する(Kousuke Adachi(foostan)さん)	五反田.rb#10
2016/11/29	Automating Workflows for Analytics Pipelines(古橋貞之さん)()	AWS re:Invent 2016
2017/1/12	DigdagによるRedshift + EMRの自動制御とデータ分析アプリケーションの開発(古橋貞之さん)	Treasure Data Tech Talk 2017新春
2017/2/17	スタディサプリを支えるデータ分析基盤～設計の勘所と利活用事例(山邉哲生さん)()	デブサミ2017
2017/3/8	WorkFlowEngine Digdagの導入(ameshoさん)()	【React / Digdag / Terraform勉強会】- 続々と新規事業を創出する、ランサーズの開発チーム
2017/3/9	Digdagの特徴とQuick Start(古橋貞之さん)	Workflow Engines Meetup #1
2017/4/26	freee のデータ分析基盤について(山口正人さん)	デーバ分析基盤Night #2
2017/5/15	技術的負債と向き合う(伊藤直也さん)	オープンソースセミナー2017@岡山
2017/5/18	Redshiftまでの大規模データフロー制御(鈴木浩之さん)	BigData-JAWS 勉強会(第7回)
2017/06/01	Automating Workflows for Analytics Pipelines(古橋貞之さん)	Open Source Summit
2017/06/02	ECSにおけるバッチ運用について(畑中悠作さん)	JAWS-UG勉強会【AWS Summit 2017】
2017/06/07	Treasure DataにおけるDigdagによる大規模データ処理の自動化とエラー処理(古橋貞之さん)	Workflow Engines Night
2017/06/07	Digdagへ日次バッチを移行して幸せになるお話(鈴木翔太さん)	Workflow Engines Night
2017/06/07	Digdagを使ってみて便利だったとこ、はまったとこ(塩崎健弘さん)	Workflow Engines Night
2017/06/07	とあるマーケティング部隊でのDigdagの活用事例(grimroseさん)	Workflow Engines Night
2017/06/09	Digdag x Dockerでモダンなバッチ処理環境を構築(モリジュンさん)	社内勉強会のLT
2017/07/01	「RedshiftとDigdagで始める!クラウド・データ分析基盤の勘ドコロ」(川崎照夫さん)	Developers.IO 2017
2017/07/21	分析基盤をECS上で実装(子安輝さん)	JAWS-UG コンテナ支部 #9
2017/07/25	Introducing Retz and how to develop practical frameworks　(上西康太さん)	Mesos Meetup Tokyo #2
2017/08/10	僕らはStackStormをどう使うべきか (萬治渉さん)	NTT TechConference #2
2017/08/25	DMM.comのビッグデータ基盤を支える技術(鈴木翔太さん/吉田龍馬さん)	TECH PLAY Conference 2017
2017/09/06	Introduction Retz(上西康太さん)	db tech showcase tokyo 2017
2017/09/19	動画系メディア会社で行われているETLの実際(島田雅年さん)	新宿Geek Lounge#3 分析基盤 Meetup
2017/09/19	セプテーニで分析基盤(Treasure Data)を導入した話(木村彰宏さん)	新宿Geek Lounge#3 分析基盤 Meetup
2017/10/10	Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方リブセンス吉田健太郎さん	データ分析基盤構築入門 - pixiv Night #06
2018/02/15	Digdagを導入してみて DMM.comラボ鈴木翔太さん	PLAZMA OSS Day: TD Tech Talk 2018
2018/02/17	Hivemall meets Digdag トレジャーデータ油井誠さん	HACKER TACKLE
2018/02/19	Machine Learning and Natural Language Processing on Treasure CDP Treasure Data Takuya Kitazawa さん	PLAZMA TD Internal Day: TD Tech Talk 2018
2018/02/07	Diary of Suport Engineering Manager トレジャーデータ高橋達さん	サポートエンジニアNight vol.2
2018/02/20	52 weeks after Digdag operation ランサーズ株式会社ameshoさん	事業の多角化を支えたランサーズ的SRE術
2018/5/23	TreasureDataのエコシステムで作るロバストなETLデータ処理基盤のつくりかたトレジャーデータ吉田健太郎さん	PLAZMA Data Engineer Day: TD Tech Talk 2018
2018/05/23	AudienceOneにおけるTreasureData活用方法デジタル・アドバタイジング・コンソーシアム株式会社河原亮介さん	PLAZMA Data Engineer Day: TD Tech Talk 2018
2018/07/02	系列分析を利用したサーバの負荷予測・異常検知(非公開) 株式会社LIFULL 相原魁さん	Ltech#1 LIFULL HOME'S 機械学習Night
2018/09/05	Heroku Container Registry & Runtime + digdagでお手軽バッチ処理環境を作ってみた (リブセンス須貝俊さん)	Heroku Meetup #22
2018/10/17	Managing Machine Learning workflows on Treasure Data (トレジャーデータ Michiaki Arigaさん)	MA TD Tech Talk 2018 at Shibuya : Part 2
2018/10/17	データエンジニアリング業を加速するPresto UDFとdigdaの活用方法 (トレジャーデータ吉田健太郎さん)	MA TD Tech Talk 2018 at Shibuya : Part 2
2018/10/17	カスタムスクリプトを Workflow から実行する仕組みとその実行環境 (トレジャーデータ西澤無我さん)	MA TD Tech Talk 2018 at Shibuya : Part 2
2018/11/1	レシピ動画メディア『DELISH KITCHEN』を支える、作らない分析基盤のススメ株式会社エブリー島田雅年さん	BitStar x Every.tv
2018/12/12	業務でバッチのジョブを基盤としてk8sを活用した話株式会社セプテーニ・オリジナル高嶋隆博さん	新宿 Geek Lounge#6 Kubernetes Meetup
2019/2/14	ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話株式会社ZOZOテクノロジーズ塩崎健弘さん	デブサミ2019
2019/3/7	データドリブンを提供するサービスBrand Officialのアーキテクチャについて株式会社アイスタイル YASU11552288さん	Data Driven Developer Meetup #5
2019/4/16	digdagで支えるデータパイプライン JUBILEE WORKS 若林裕礎さん	Data Pipeline Casual Talk Vol.2
2019/6/27	本当にあったdigdag(とembulk)のつらい話 showyuさん	Data Pipeline Casual Talk Vol.3
2019/7/19	DigdagでETLを処理するマイクロアド中野翔太(tosametal)さん	データとML周辺エンジニアリングを考える会 #2
2019/7/31	Digdag と Embulk と Athena で作る Gunosy の ELT基盤 Gunosy 中山貴博(Civitaspo)さん	データ分析基盤Developers Night #3
2019/7/31	k8sでJob管理 AbemaTV 福永亘さん	オレシカナイトVol.10
2020/06/09	embulk, digdagを用いたデータ基盤構築タイミー土川稔生さん	第4回データアーキテクト（データ整備人）を”前向きに”考える会

10. 開発者向け

プラグイン
- オペレータを自作するためのサンプル
- ワークフローエンジンDigDagのプラグイン機能を試してみる
- digdag-plugin-example hivemall開発者のmyuiさんによるプラグインの例
コーディングスタイル: Embulk&Prestoと同じAirlift
- EmbulkのJavaコードで使われているコーディングスタイルAirliftってどんなスタイル？
- Embulkのソースコードスタイルチェック方法 (Java編)

11. TIPS

for_eachオペレータで配列を使いたい場合
- 現状for_eachは配列をサポートしていません。
- 回避策: loopを代わりに使います @smdmtsさん
Pythonを並列実行する場合のtips
変数のデバッグ・スコープなど
- 変数のデバッグ
- 変数のスコープ
systemd設定サンプル uu59さん
JavaScriptは${..}の評価時に実行される ${start_time}などをJavascriptを使って利用する場合は、for_eachオペレータを使う必要がある。
Secretsの内容を環境変数にセットする @gyamxxxさん情報
shオペレータでPowerShellを使う方法
digdagのlocal modeでparallelの実行数を指定したい場合configにagent.max-task-threadsを追加 grimroseさん
Amazon ECS で Digdag を動かすDockerfile by myuiさん
- その1
- その2
Digdagのメモリリークを追いかける
- その1
loopでToo many loop subtasksと出る場合は、-X io.digdag.limits.maxWorkflowTasks=2000 run`と指定します。Twitter
Digdagで環境毎に設定値を変えたい時のTips
DigdagのローカルモードでSecretsを複数管理
タスクログをS3に保存する時はbucketにCORSの設定が必要
DBのコネクション数について
digdag killの動作実行時間が長いSQLがあった場合はそれが終わってからで無いとタスクが終了しない
digdagのUTからtaskが実際に実行されるまでの流れ
CircleCIでdigdagのDocker executorとpy> operatorを動かす
digdag serverへのブラウザアクセス時に認証を設定する　IISを使って認証機能をつける

12. その他、有用なリンク

13. ブログ等に掲載されたDigdag

Developers.IO
- Embulk界隈で話題になっている分散ワークフローエンジン「DigDag」について調べてみた
- Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag
- Digdag + EmbulkによるTSVファイルのS3→Redshiftロード #digdag
- 【非公式】不定期刊 Embulk/Digdagニュース [2016/06/26版]
- 2016/11/11 Digdagのアーキテクチャとコンセプトを理解する
- 2016/11/12 Digdagに関するインストール及び設定周りのまとめ
- 2016/11/12 Digdagのワークフロー定義について理解する
- 2016/11/12 Digdagのスケジューリングについて理解する
- 2016/11/13 Digdag タスク実践：タスクの正常系＆異常系判定について
- 2016/11/13 Digdag オペレーター実践：外部スクリプトの実行
- 2016/11/13 Digdag オペレーター実践：メール送信(SMTP認証情報にAWS SESを利用)
- 2016/12/20 Digdag+Embulkで発生したエラーと対策
- 2017/05/31 【レポート】AWS Summit Tokyo 2017：[JapanTaxi] Athena 指向アナリティクス〜真面目に手を抜き価値を得よ〜
- 2017/06/08 【レポート】Workflow Engines Night #workflowenginesnight
- 2017/07/07 Digdag UIの0.9系での変遷を調べてみた
- 2017/09/13 ワークフローエンジン『Digdag』でSlack通知する
2020/03/12 とりあえずexportしない！Digdag変数・パラメータの使い方全種
Qiita
- 0x003fさん
  - 2018/04/26 fishでdigdagを使う(fish shellでdigdagを使って出るエラーの解消法)
- 48hands
  - 2018/08/10 Digdagで変数を業務ワークフロー別に分けたい時のメモ
  - 2018/10/05 Digdagサーバの設定メモ
- 567000さん
  - 2019/03/27 DigDagをEC2にいれてHelloWorld的なワークフローを動かしてみる
- analytics-hirosさん
  - 2018/10/13 Digdagメモ
- a4_nghmさん
  - 2019/04/02 digdagメモ
  - 2019/06/07 digdagからembulk(.yml.liquid)へのパラメータ渡し方
- bwtakacyさん
  - 2016/12/12 Digdag Serverのインストール手順
  - 2016/12/13 DigdagのSecret機能を使う
  - 2016/12/14 Digdagのワークフロー結果をSlackに通知する
- chatrateさん
  - 2018/05/29 【Bigquery】Token must be a short-lived token (60 minutes) and in a reasonable timeframeとかでたときの処方箋
- dich1さん
  - 2018/12/04 Digdagについて
  - 2019/04/01 Digdagアーキテクチャについて
- e_tyuboさん
  - 2019/03/18 Digdag+Embulkで異種RDB間のデータ転送をローカルで検証できるようにする
  - 2019/04/09 Embulk × Digdag on Docker
  - 2019/04/22 td_partial_deleteについて
  - 2019/04/23 s3_waitについて
  - 2019/05/13 複数ANDにORを追加する時の評価順序に注意する
- fk8_jpさん
  - 2018/07/30 digdagでエラーを無視して後続タスクを進める
  - 2019/06/10 Digdag + Embulkで並列数をdigファイルだけで制御する
- elyunim26さん
  - 2019/06/03 2019年のワークフローエンジンまとめ
- gyamxxxさん
  - 2016/11/11 digdag のローカルモードで gcp, bq オペレータを使う
- hirayukiさん
  - 2019/03/16 digdagでエラーになった処理を、その時間で再実行するには
- hiroysato
  - digdag schedulerで定期実行するプロジェクトを作ってみた。
  - Digdag serverでH2やPostgreSQLのデータベースにデータを格納する
  - DigdagとEmbulkの連携で便利なdigdagの変数参照
- hoto17296さん
  - 2017/09/19 UbuntuでDigdag サーバを作るまでの手順
  - 2018/08/10 Digdag で Slack に通知を送る
- kangaさん
  - 2017/12/01 digdagサーバをコンテナで動かしてジョブもコンテナで動かす際の設定例
- katoyさん
  - 2016/10/21 golang + Docker + BigQuery + digdag の例 (リンク先のREADMEの解説が詳しい)
- katsuyanさん
  - 2018/12/06 Digdagのstoreのパラメータを環境ごとにセットアップするTips
- kurosameさん
  - 2018/12/24 AutoScalingGroup を使って Digdag を冗長構成にした
- kurosawa_blさん
  - 2019/06/25 Digdagのscheduleとrequireの関係
- lab0926さん
  - 2018/01/17 digdagを使ってhive形式のクエリをinsertしようとするとエラーが出た話
- Lewuatheさん
  - Syntax highlighting to Digdag file in Atom
- mickey390さん
  - 2018/01/11 digdag scheduleのdisable状態を検知するWF
- namihitooさん
  - 2016/08/30 5分でDigdagインストールしてワークフロー実行まで試してみる
  - 2016/08/30 Digdagのワークフローの中で他のワークフローを呼び出し実行する
- naoto_koyamaさん
  - 2018/1/10 ワークフローエンジンdigdagで困ったこと
- Natsukingdomさん
  - 2018/06/07 digdag 環境を docker で構築したときにハマった問題
- nettle0010さん
  - 2019/01/29 Treasure Workflow（Digdag）で SQL クエリに変数を使う
- onunuさん
  - 2018/01/25 digdagの変数はoverrideできる
- oqruskさん
  - 2016/08/15 digdagでTreasureDataへのデータを取り込むスケジュールワークフローを作成する
  - 2016/10/20 digdag serverをシークレットモードで動かす。
- pilotさん
  - 2016/10/25 digdagサーバ起動スクリプト
  - 2016/10/25 digdagで_errorを複数書くと
  - 2016/10/25 digdag selfupdate後にはchmod
  - 2016/10/25 digdagのtd>のdownload_file
  - 2016/10/25 digdagでtd>結果をJavaで取得
  - 2016/10/25 digdagの変数
  - 2016/10/25 digdag変数の評価
  - 2016/10/26 digdagのincludeで_export
  - 2016/10/27 TreasureData接続情報を~/.td/td.confに書くとどこに有効か
  - 2016/11/02 Windows上にDigdagサーバ構成を作るその1 PostgresSQL
  - 2016/11/02 Windows上にDigdagサーバ構成を作るその2 Digdagサーバ
  - 2016/11/02 Windows上にDigdagサーバ構成を作るその3 Digdagクライアント
  - 2016/10/26 DigdagサーバへのTreasureData接続情報設定
  - 2016/11/01 Digdagサーバのworkflow executor・agent
  - 2016/11/01 Digdagのtd>は複数タスクになる
  - 2016/11/18 digdagのtd.last_resultsの保存
  - 2017/01/05 Digdagのsh>の環境変数
  - 2017/02/03 Digdagで_exportは同階層に2回書けないけどincludeすると書ける
  - 2017/02/03 Digdagのcallとincludeでの変数のスコープ
  - 2017/02/10 Digdagの変数定義をincludeする際にincludeされ側はインデントは不要
  - 2017/02/10 digdag logを繰り返し実行するプログラム
  - 2017/02/15 Digdagからsh>でEmbulk起動時にプラグインバージョンを固定(ローカルgemなし版)
  - 2017/02/03 JSを使ったDigdag変数を他の変数から参照する際、参照元の階層が2レベル目以上だとJSが実行されない
  - 2017/03/29 dig内のJSで三項演算子
  - 2017/04/05 Digdagからsh>でEmbulk起動時にプラグインバージョンを固定(ローカルgemあり版)
  - 2017/06/06 Treasure Dataのpartial delete
  - 2017/07/10 Digdagのshオペレータで複数コマンド
  - 2017/07/10 Digdagからsh>でEmbulk起動時にプラグインバージョンを固定(ローカルgemあり版 ver.2)
  - 2017/08/17 Digdagで日付でループ ※イマイチ
  - 2017/10/27 Digdagサーバの日次処理を指定各日について実行するプログラム
  - 2017/10/27 Digdagサーバの日次処理を指定期間繰り返し実行するプログラム
- ryutaroyさん
  - 2016/10/04 Digdag の s3_wait> オペレータの想定利用ケースと動作確認
- sato11さん
  - 2018/11/21 Digdag + Embulk を気持ちよく開発/運用するためにやってみたこと
- satorukさん
  - 2016/07/14 Digdag Serverを使う
  - 2016/07/14 Digdagのモード
  - 2016/07/14 DigdagでRubyのBundlerを使う
  - 2016/07/22 Digdag UIを試してみる
- seki_kさん
  - 2017/12/03 digdag0.9.21のretryは_retryの定義位置によって挙動が異なる
- shiozakiさん
  - 2017/07/19 DigdagとEmbulkを利用してBigQueryにRDS（Aurora、MySQL）のマスタデータを同期する
  - 2017/07/26 Digdag + Dockerを使うときの環境変数に注意
  - 2017/08/04 Digdag UIのPAUSE/RESUME機能 & Digdag CLIでのenable/disable機能の注意点
  - 2019/03/01 Digdagのrequireオペレーターの挙動
  - 2019/03/24 失敗したrequireオペレーターをリトライする時の罠っぽい挙動
- skryooooさん
  - 2016/12/22 TreasureData Workflow (digdag)を使ってみた（超入門）[メモ]
  - 2016/12/26 digdagのtd_wait_table>とtd_wait>を使ってみた
  - 2017/08/01 digdagのsla/fail/error/waitについてのメモ
- SOPHTOさん
  - TDでの月次ユニークユーザーの日次集計
- sonotsさん
  - 2019/01/21 digdag の .dig ファイル向け vim 設定
  - 2019/01/24 digdag タスクの docker 実行について
  - 2019/01/23 digdag secrets を楽して環境変数にマップしたい
  - 2019/01/26 Digdagのserverモードで環境毎に設定値を変える６つの方法
  - 2019/02/05 digdag の自前ビルド
  - 2019/02/19 digdag push が symlinks を辿ってくれないので自分で辿る
  - 2019/02/20 forked digdag パッケージを作ってダウンロードできるようにする
  - 2019/02/22 digdag の rb オペレータで bundle exec を使う２つの方法
  - 2019/03/18 Digdag server with PostgreSQL on macOS
  - 2019/03/26 digdag の自前ビルド (docker 編)
- suzukihi724さん
  - 2016/09/29 AWSでdigdagを試したメモ (get started)
- szynさん
  - 2017/01/16 Digdagで特定のバージョンをインストールする方法
- takat0-h0rikosh1さん
  - 2017/10/18 digdagコマンドが fish 互換無かったときにしたこと
  - 2019/06/25 Digdag の td_wait>: を Timeout させる
- takkeybookさん
  - 2019/06/18 CentOS7 に digdag をインストールする
  - 2019/06/19 digdag 拡張用 Python モジュール
- t-yotsuさん
  - 2017/02/24 Digdagを使ってBigQueryからテーブルをAvroフォーマットでExportする
  - 2017/06/26 Digdagを使って定期的にBigQueryへクエリを投げる
  - 2017/07/12 DigdagとApache AirflowのGCPサポート比較
  - 2016/07/13 Digdagスケジューラの概要と動作確認
- tbuchi888さん
  - 2016/10/14 LINE Notify + Digdag Treasure Data社の OSS ワークフローエンジンをやってみた
  - 2016/12/22 Re:dash のPostgreSQL へ CSVファイルを Digdag * Embulk 経由で登録する
- tkoyama1988さん
  - 2019/02/18 digdag server で UnknownHostException が発生したとき
- toru-takahashiさん
  - Digdagでruby/python間で変数を渡す
  - digdagのコンフィグについて（~/.config/digdag/config）
- tosametalさん
  - 2019/06/11 digdagのhttp_callオペレータを動かしてみた
- toyama0919さん
  - 2017/03/10 EmbulkとDigdagでJVM最適化オプションを効かせる際のメモ
  - 2017/03/16 Digdagのセッションについて調査メモ
  - 2017/12/18 Digdag serverを入れた際の躓きポイント(CentOS7対応)
- tunanosukeさん
  - 2016/12/14 digdag と Jenkins は共存共栄
- TrsNiumさん
  - 2018/12/10 digdagでタスクを任意の並列数で実行する方法
- tynmarketさん
  - 2018年12/09 Digdagメモ
- ukisoftさん
  - 2018/01/19 digdagのscheduler って何？
- vukujinさん
  - 2019/04/10 systemdを用いたdigdag serverのデーモン化についてのメモ
- YRHさん
  - Treasure Dataで複数のクエリをパラメータを入れ替えながら処理させる【Workflow(digdag)】
- ysk24okさん
  - 2017/07/21 digdagのschedule機能について調査メモ
  - 2017/09/07 digdagの--startと--goalを使った再実行の意図しない挙動メモ
- yuichi_komatsuさん
  - 2016/12/16 DigdagでembulkとBigQueryの黄金コンビがさらに輝く
- yushimizuさん
  - 2017/01/31 digdagでWindowsPowerShellを扱う
  - 2017/02/02 digdag + Embulkでファイル名を維持したままファイルを圧縮して転送
- YusukeHosonumaさん
  - 2017/10/09 [Heroku] Digdagを使ってスピンダウン時間を無くす（Ubuntu）
techium
- ワークフローエンジンDigDagのサーバ/クライアント構成を試してみる
- ワークフローエンジンDigDagでDockerを使ってみる
- ワークフローエンジンDigDagのプラグイン機能を試してみる
- ワークフローエンジンDigDagのSlackプラグイン公開しました
雑なメモ
- Digdag + embulk + BigQuery + Re:dash でデータ分析基盤構築の夢を見る
Geekroid
- 「勉強会に行ってみた！」
  第26回「東京ruby会議」前編
Rebuild
- 2016/08/01 Rebuild #152
はったりエンジニアの備忘録
- 2016/08/17 Digdag server を Supervisor で管理する
Speaker Deck
- 2016/8/19 digdag-Introduction Digdagを本番導入したので社内勉強会で発表した資料
FiS Project
- 2016/08/27 【Python】Scrapy + Digdag でクローラの定期実行【Workflow】
wyuasa's podcast
- 2016/09/13 ep3 toyama0919さんとのデータエンジニアリング周りの話
log.fstn
- 2016/10/11 Jenkinsの無秩序なジョブをDigdagで再定義する
ITPro
- 2016/12/08 マルチクラウドでワークフロー管理、米Treasure DataのOSS「Digdag」
- 2017/02/02 銀行業界にクラウドの波、狙いは優秀な技術者のリクルーティング
マイナビニュース
- 2016/12/08 トレジャーデータ、今後はDMPからLDMへ、新サービスTreasure Workflowも発表
OSS on Azure 技術ブログ
- 2016-12-16 Azure VM上のDigdagでワークフロー管理を行う
雑なメモ
- 2017/01/23 digdagをDockerizeしてECS上で運用することにしました
べにやまぶろぐ
- 2017/02/03 Digdag / Treasure Workflow でプラグインを使わずに http:> オペレータで Slack 通知を行う
試纏
- 2017/03/09 Workflow Engines Meetup #1 に参加してきた #wfemeetup
tjinjin's blog
- 2017/04/08 docker-composeを使ってmysqlからbigqueryにデータを送る
iroilog.net
- 2017/04/15 Digdagのbuilt-in variableについて
- 2017/04/16 Digdag Slack プラグインを作成 & 公開しました
- 2017/06/25 Go言語製 Digdag Client (mog) をリリースしました
- 2017/09/25 Digdagで環境毎に設定値を変えたい時のTips
hatappiのブログ
- 2017/05/12 Digdag on Dockerで何度コンテナを立て直しても状態を維持する
- 2017/05/26 hako oneshotで何度でもDigdagのsession情報を保持する
CodeIQ Magazine
- 2017/05/19 13段クエリをTD Workflow(Digdag)で怠惰に走らせる(山邉哲生さん)
Islands in the byte stream
- 2017/05/28 digdag run (local mode) で並列実行数を制御する
サイオスOSS
- 2016/12/19 Digdagを使ってワークフロー管理を行う
- 2017/05/31 AWS Summit Tokyo 2017 Day2 参加レポート
GROWTH HACK STUDIO BLOG
- 2017/06/05 ワークフローフレームワーク DIGDAGの紹介と運用TIPS
Islands in the byte stream
- 2017/06/03 rougeのlexer開発ワークフロー
SECRET NINJA BLOG
- 2017/06/09 Digdagでpython / ruby operator から Secret parameterを参照する
- 2017/07/28 Treasure Workflow for ビギナー ~環境構築編~
- 2017/08/01 Treasure Workflow for ビギナー ~ digファイル書き方編~
ITANDI BLOG
- 2017/06/21 digdag+embulkを使ってテーブル毎にカラムを設定してBigQueryに流し込んでみた
APPIRIO テックブログ
- 2017/06/28 Treasure WorkflowのSecrets機能を使ってみる
UUUM攻殻機動隊
- 2017/07/03 4000以上のチャンネルを支えるデータ解析基盤をBigQuery, Go, embulk等で整備した話
GMO INTERNET GROUP次世代システム研究室
- 2017/07/11 Digdag 入門
ZOZO Technologies TECH BLOG(旧 VASILY DEVELOPERS BLOG)
- 2017/07/18 DigdagとEmbulkを利用してBigQueryにRDS（Aurora、MySQL）のマスタデータを同期する
- 2018/06/25 DigdagをHA構成にしてみた
- 2018/10/04 GitHubで管理されたデータマート構築基盤の紹介
- 2019/03/19 TalendをDigdagとEmbulkに移行した
やっさんメモ
- 2017/08/25 DigDagでAPI使って取得したリストでfor_eachを回す
DMM INSIDE
- 2017/9/11 DMMのビッグデータ基盤の裏側を大公開！CDHクラスタ移行・Presto導入・Digdag導入により得られた効果とは?
LIFULL Creadtors Blog
- 2017/09/20 機械学習における技術的負債をDigdagで返済する
工作とかプログラミングとか
- 2017/10/25 Digdag pluginのローカルでの動作確認方法
くずきのblog
- 2017/12/03 LaravelのバッチをDiddagで運用したら少し幸せになった話
なんちゃってエンジニアぶろぐ
- 2017/11/12 embulk × digdag　動かしてみた１
- 2017/12/03 embulk × digdag　動かしてみた２
Gunosy テックブログ
- 2017/12/04 Gunosyのパーソナライズを支える技術 -ワークフロー編-
- 2018/12/07 Digdag の Plugin をたくさん作ったので紹介するよ
- 2019/03/25 EC2上のPythonバッチをECSのDigdagに置き換えた話
Mercari Engineering Blog
- 2017/12/09 メルカリのデータ分析基盤の紹介〜BigQuery周辺の話〜
Relax and Enjoy Programming
- 2017/12/19 「Digdag」を使って依存関係のあるタスクをコードベースで管理する
よくわからんエンジニア
- 2017/12/16 CentOS7 digdagの導入
カウル Tech Blog
- 2017/11/06 会社の本番環境をDocker(ECS)に置き換えるために準備したこと気づいたこと
ADACHIN SERVER LABO
- 2018/05/04 [Treasure Data][Redash]Digdagとembulkを使いこなせば驚異的な分析基盤が出来上がる!!
- 2018/05/10 [Digdag][embulk]過去ログを投入するのに手動で日付を指定するのは辛いのでシェルスクリプト化してみた
- 2018/08/31 [Digdag][shell script]slack/chatworkでシンプルなエラー通知を行う
みんなのウェディングエンジニアリングブログ
- 2018/05/10 Embulk+Digdagを利用して、個人情報を考慮したマスク処理を開発用DBに行う
Septeni Engineer's Blog
- 2018/05/18 digdagを使っててハマった事メモ
MicroAd Developers Blog
- 2018/05/24 MicroAdのデータ基盤
- 2018/10/03 Digdagを使ったジョブ管理
takemikami's note
- 2018/06/08 処理結果でfor_eachするために、シェルの出力を変数に代入するDigdagプラグイン作ってみた
RECRUIT TECHNOLOGIES Member's Blog
- 2018/09/10 検索組織の機械学習実行基盤
reboooot.net
- 2018/9/23 digdag kill が実行されてから Attempt が停止するまでの挙動
Kekeの日記
- 2018/12/28 Digdagでワークフローを宣言的に書く！
LIVESENSE DATA ANALYTICS BLOG
- 2019/03/05 DigdagとEmbulkで行うDB同期の管理
エムスリーテックブログ
- 2018/11/16 M3 USA 出張記 #5: M3 USAでデータ基盤環境整備とKPIモニタリングツールの導入を実施しました
yuyasugano@Medium
- 2019/12/17 Digdag & ECS ワークフローエンジンでバッチ処理