ぐるなびデータ基盤アーキテクチャのご紹介と Google Cloud を選択した理由とは
https://cloudonair.withgoogle.com/events/google-cloud-day-digital-21/watch?talk=d1-da-04
"・ぐるなびのデータ基盤の変遷
・データ基盤のアーキテクチャ紹介
・分析環境アップデートの経緯
・Cloud Composer を選択した経緯
・今後の展望・Google Cloud に期待すること
"
| 質問 | 返答 |
|---|---|
| ETL選定時の基準で、冪等生についての考慮はあったでしょうか？ | 冪等性については選定基準には入っていませんでした。データ基盤構築時には必須だとは思いますが、ジョブレベルで組み込んでいくイメージなのでツール自体に必要な機能としては上がりませんでした。 |
| 選定基準ではCI/CDという文字はなかったと思いますが、実質的にはCI/CDを利用したかったと考えてよかったでしょうか（あったらごめんなさい） | コードベースで管理したかったので、まずはgit管理を目指しました。またgitのPipelineを使ってgitに反映するとCloudComposerに自動で反映するようにしています。 |
| 選定基準、全てクリアできており何よりだったかと思いますが、この中で一番重視せねばと考えた基準はどちらでしょうか。また、その理由も聞きたいです。 | 運用工数を重視しました。障害対応に大きく時間を割くことが多くなっていたので、こちらを下げることを重要視しました。 |
| 切り口 | 内容 |
|---|---|
| ぐるなび概要 | |
| データ基盤の歴史 | |
| BQ導入理由 | AWS側のよさもあるので、それを活かして運用したかった。 |
| BQ導入後の課題 | |
| アーキテクチャ | |
| 運用について | |
| 課題 | |
| CloudComposer選定理由 | |