リクルートのオンプレミス Hadoop を BigQuery へマイグレーションした事例
https://cloudonair.withgoogle.com/events/google-cloud-day-digital-21/watch?talk=d2-da-03
リクルートの複数メディアで活用されている、10 クラスタ、100 ノード以上の Hadoop システムを BigQuery へ移行した事例を紹介します。どのような検証を経て採用にいたったのか、移行の中でどのような苦労があったのか、移行した結果どのような変化が起こったのか、などを紹介させていただきます。
| 質問 | 回答 |
|---|---|
| 移行先DWHはBQ以外に候補はあったでしょうか。BQの良さはお伝えいただきましたが、その中でも一つ、決め手となったものを教えてください。 | 一番の決め手は、コンピューティングリソースとストレージが分離されていたところです。我々の抱えていた課題解決に直結しました。 |
| かなりの対応、データ量ですがマイグレにはどの程度期間が必要となったでしょうか。 | 全体では4、5年程度の期間をかけています（1クラスタにつき1~2年程度かかっています） 移行はまだ継続中ですが、現在社内にあるクラスタは最後の１つになっており、全てがBQに置き換わるゴールが見えてきております |
| 弊社もHadoopからBQへの移行を検討しています。注意点のご紹介とても助かります。ちなみに今回書き換え対象となったクエリは何本くらいあったでしょうか。 | 書き換え対象のクエリは全体で数千本ありました ルールベースでの機械的な書き換えと人力での改修を併用して地道に移行していきました |
| 切り口 | 内容 |
|---|---|
| 移行の背景 | |
| 要望 | |
| 移行時のポイント | 移行してすごく早くなった。 |
