LoginSignup
431
344

More than 1 year has passed since last update.

@hiroysato(Hiroyuki Sato)

ワークフローエンジンDigdagのまとめ

Last updated at Posted at 2016-06-15


2016/06/15に、トレジャーデータがオープンソースとして公開したワークフローエンジンDigdagのリンク集です。内容は随時更新します。またトレジャーデータではDigdagを自社でTreasure Workflowとして提供しています。こちらの情報も収集しています。

変更内容が気になる方は変更履歴をご覧ください。

1. 開催されるイベント

2. オフィシャルページ

3. チュートリアル

4. 雑誌・書籍

5. サードパーティプラグインとツール

5.1 サードパーティプラグイン

公開されているサードパーティ製プラグインの一覧です。プラグインの使い方はdigdag-slackの使い方を参考にしてください。

5.2 ツール

6. Digdagの特徴(著者調べ)

6.1 拡張子は.dig、フォーマットはYAML

7. エディタのシンタックスハイライト

いくつかの専用モードが提供されています。エディタにDigdag専用のモードがない場合は、YAML形式でハイライトするようにすれば良いようです。

7.1 Atomの場合

7.2 Vimの場合

.vimrcに次のように記述します。(違ったら教えてください)

autocmd BufNewFile,BufRead *.dig set filetype=yaml
autocmd Syntax yaml setl indentkeys-=<:>

詳細はdigdag の .dig ファイル向け vim 設定をご覧ください。

7.3 emacsの場合

yaml-modeをそのまま利用する場合(@syohexさん,@cocoatomoさん)

(add-to-list 'auto-mode-alist '("\\.dig\\'" . yaml-mode))

7.4 VSCodeの場合

Digdag Support for Visual Studio Code (vscode-digdag)

7.5 IntelliJの場合

環境設定のEditor -> FileTypes -> Yamlに *.digを追加

参考: Set file type associations

IntelliJ.png

8. 読むと良い資料集(独断と偏見)

8.1 変数

9. 過去のイベント

  • :bar_chart: スライド
  • :movie_camera: ビデオ
  • :bookmark_tabs: その他リンク
発表年月日 タイトル イベント名
2015/12/14 ワークフロー開発管理 実践編 Workflow Hacks! #1
2016/5/30 分散ワークフローエンジン『DigDag』の実装(:bar_chart: :movie_camera: :bookmark_tabs:) Tokyo Ruby会議#11
2016/6/18 EmbulkやDigdagのお話(:bar_chart:) 第五回ゲームサーバ勉強会
2016/7/2 サービスに寄り添うログ基盤 / (三宅悠介さん) (:bar_chart:) はてな・ペパボ技術大会
2016/7/14 なぜDigdagのワークフロー定義はYAMLなのか(古橋 貞之さん)(:bar_chart:) Treasure Data Tech Talk 201607
2016/7/14 3 Months Into Treasure Data(Daniel Norbergさん) Treasure Data Tech Talk 201607
2016/8/4 Digdag@表参道.rb#14(Takuya Aritaさん)(:bar_chart::bookmark_tabs:) @表参道.rb#14
2016/09/26 EmbulkとDigdagで作るRedshiftデータマート(川崎照夫さん):bar_chart: BigData-JAWS 勉強会#2
2016/10/18 DigdagでCIジョブを定義する(Kousuke Adachi(foostan)さん) :bar_chart: 五反田.rb#10
2016/11/29 Automating Workflows for Analytics Pipelines(古橋 貞之さん)(:bar_chart::movie_camera:) AWS re:Invent 2016
2017/1/12 DigdagによるRedshift + EMRの自動制御とデータ分析アプリケーションの開発(古橋 貞之さん) Treasure Data Tech Talk 2017新春
2017/2/17 スタディサプリを支えるデータ分析基盤 ～設計の勘所と利活用事例(山邉 哲生さん)(:bar_chart:) デブサミ2017
2017/3/8 WorkFlowEngine Digdagの導入(ameshoさん)(:bar_chart:) 【React / Digdag / Terraform勉強会】- 続々と新規事業を創出する、ランサーズの開発チーム
2017/3/9 Digdagの特徴とQuick Start(古橋 貞之さん) Workflow Engines Meetup #1
2017/4/26 freee のデータ分析基盤について(山口正人さん):bar_chart: デーバ分析基盤Night #2
2017/5/15 技術的負債と向き合う(伊藤直也さん) :bar_chart: オープンソースセミナー2017@岡山
2017/5/18 Redshiftまでの大規模データフロー制御(鈴木 浩之さん) :bar_chart: BigData-JAWS 勉強会(第7回)
2017/06/01 Automating Workflows for Analytics Pipelines(古橋 貞之さん):bar_chart: Open Source Summit
2017/06/02 ECSにおける バッチ運用について(畑中悠作さん):bar_chart: JAWS-UG勉強会 【AWS Summit 2017】
2017/06/07 Treasure DataにおけるDigdagによる大規模データ処理の自動化とエラー処理(古橋 貞之さん):bar_chart: Workflow Engines Night
2017/06/07 Digdagへ日次バッチを移行して幸せになるお話(鈴木 翔太さん):bar_chart: Workflow Engines Night
2017/06/07 Digdagを使ってみて便利だったとこ、はまったとこ(塩崎 健弘さん):bar_chart: Workflow Engines Night
2017/06/07 とあるマーケティング部隊でのDigdagの活用事例(grimroseさん):bar_chart: Workflow Engines Night
2017/06/09 Digdag x Dockerでモダンなバッチ処理環境を構築(モリジュンさん):bar_chart: :bookmark_tabs: 社内勉強会のLT
2017/07/01 「RedshiftとDigdagで始める!クラウド・データ分析基盤の勘ドコロ」(川崎照夫さん) Developers.IO 2017
2017/07/21 分析基盤をECS上で実装(子安輝さん) JAWS-UG コンテナ支部 #9
2017/07/25 Introducing Retz and how to develop practical frameworks　:bar_chart:(上西康太さん) Mesos Meetup Tokyo #2
2017/08/10 僕らはStackStormをどう使うべきか (萬治 渉さん) :bar_chart: NTT TechConference #2
2017/08/25 DMM.comのビッグデータ基盤を支える技術(鈴木 翔太さん/吉田 龍馬さん) :bar_chart::bookmark_tabs: TECH PLAY Conference 2017
2017/09/06 Introduction Retz(上西康太さん) :bar_chart: db tech showcase tokyo 2017
2017/09/19 動画系メディア会社で行われているETLの実際(島田雅年さん) :bar_chart: 新宿Geek Lounge#3 分析基盤 Meetup
2017/09/19 セプテーニで分析基盤(Treasure Data)を導入した話(木村彰宏さん) :bar_chart: 新宿Geek Lounge#3 分析基盤 Meetup
2017/10/10 Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方 :bar_chart: リブセンス吉田健太郎さん データ分析基盤構築入門 - pixiv Night #06
2018/02/15 Digdagを導入してみて:bar_chart::movie_camera: DMM.comラボ 鈴木翔太さん PLAZMA OSS Day: TD Tech Talk 2018
2018/02/17 Hivemall meets Digdag :bar_chart: トレジャーデータ 油井誠さん HACKER TACKLE
2018/02/19 Machine Learning and Natural Language Processing on Treasure CDP :bar_chart::bookmark_tabs: Treasure Data Takuya Kitazawa さん PLAZMA TD Internal Day: TD Tech Talk 2018
2018/02/07 Diary of Suport Engineering Manager :bookmark_tabs: トレジャーデータ 高橋達さん サポートエンジニアNight vol.2
2018/02/20 52 weeks after Digdag operation :bar_chart::bookmark_tabs:ランサーズ株式会社ameshoさん 事業の多角化を支えたランサーズ的SRE術
2018/5/23 TreasureDataのエコシステムで作るロバストなETLデータ処理基盤のつくりかた :bar_chart: トレジャーデータ 吉田 健太郎さん PLAZMA Data Engineer Day: TD Tech Talk 2018
2018/05/23 AudienceOneにおけるTreasureData活用方法 :bar_chart: デジタル・アドバタイジング・コンソーシアム株式会社河原 亮介さん PLAZMA Data Engineer Day: TD Tech Talk 2018
2018/07/02 系列分析を利用したサーバの負荷予測・異常検知(非公開) 株式会社LIFULL 相原 魁さん Ltech#1 LIFULL HOME'S 機械学習Night
2018/09/05 Heroku Container Registry & Runtime + digdagで お手軽バッチ処理環境を作ってみた (リブセンス須貝俊さん):bar_chart: Heroku Meetup #22
2018/10/17 Managing Machine Learning workflows on Treasure Data (トレジャーデータ Michiaki Arigaさん):bar_chart: MA TD Tech Talk 2018 at Shibuya : Part 2
2018/10/17 データエンジニアリング業を加速するPresto UDFとdigdaの活用方法 (トレジャーデータ 吉田健太郎さん):bar_chart: MA TD Tech Talk 2018 at Shibuya : Part 2
2018/10/17 カスタムスクリプトを Workflow から実行する仕組みとその実行環境 (トレジャーデータ 西澤無我さん):bar_chart: MA TD Tech Talk 2018 at Shibuya : Part 2
2018/11/1 レシピ動画メディア『DELISH KITCHEN』を支える、作らない分析基盤のススメ :bar_chart: 株式会社エブリー島田雅年さん BitStar x Every.tv
2018/12/12 業務でバッチのジョブを基盤としてk8sを活用した話 :bar_chart::bookmark_tabs: 株式会社セプテーニ・オリジナル高嶋隆博さん 新宿 Geek Lounge#6 Kubernetes Meetup
2019/2/14 ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 :bar_chart::bookmark_tabs::bookmark_tabs: 株式会社ZOZOテクノロジーズ塩崎健弘さん デブサミ2019
2019/3/7 データドリブンを提供するサービスBrand Officialのアーキテクチャについて :bar_chart: 株式会社アイスタイル YASU11552288さん Data Driven Developer Meetup #5
2019/4/16 digdagで支えるデータパイプライン :bar_chart: JUBILEE WORKS 若林裕礎さん Data Pipeline Casual Talk Vol.2
2019/6/27 本当にあったdigdag(とembulk)のつらい話 :bar_chart: showyuさん Data Pipeline Casual Talk Vol.3
2019/7/19 DigdagでETLを処理する :bar_chart: マイクロアド 中野翔太(tosametal)さん データとML周辺エンジニアリングを考える会 #2
2019/7/31 Digdag と Embulk と Athena で作る Gunosy の ELT基盤 :bar_chart: Gunosy 中山 貴博(Civitaspo)さん データ分析基盤Developers Night #3
2019/7/31 k8sでJob管理 :bar_chart: AbemaTV 福永 亘さん オレシカナイトVol.10
2020/06/09 embulk, digdagを用いたデータ基盤構築 :bar_chart: タイミー土川 稔生さん 第4回 データアーキテクト（データ整備人）を”前向きに”考える会

10. 開発者向け

11. TIPS

12. その他、有用なリンク

13. ブログ等に掲載されたDigdag

431
344
2

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
431
344