講演概要(セッション紹介から抜粋)
任天堂におけるデータ分析基盤の概要、システム アーキテクチャ、システム管理、利用状況をご紹介します。
セッション レベル:初級
取り上げる主な Google Cloud 製品 / サービス
BigQuery
Cloud Composer
Cloud Data Fusion
Cloud Storage
所感
無線が聞こえなくていきなり詰みました・・・笑 なので、薄く聞こえる音声とスライドのみでの内容になっています。
全体的に任天堂における分析基盤がどのように構築されているか、どういった体制で運用をしているかというお話でした。
扱っているユーザーやデータ量も多く、多数のデータソースを抱えている状態できちっと権限の管理や自動化も実施しているんだなあという印象でした。
IaCについては一部導入を始めているものの、権限やユーザーグループの管理まではコード化できていない、というは発想になかったので今後取れいていきたいなと思いました。
セッションメモ
概要
2023から稼働
BiqQueryの活用
3億3000万アカウント
900テーブル
4.5Tレコード
250+ PowerUser
900+ CasulaUser
5000+ Bi Content
アーキテクチャ
ファイルで入力、CloudFactionを通じたAPI連携による抽出
BatchによってBIToolsへのデータ加工を実現
ファイル直接参照、ELT
オーケストレーション
依存関係を保ったままでタスク分解をしている
データウェアハウス
BiqQuery Data Trasfer serviceでデータ投入することで簡単にデータ転送可能
システム管理
データの利用にあたってデータオーナーの承認が必要な体制を敷いている
アカウント管理はGroupsを使っていて、権限セットに応じたグループを用意している
IaC
TerraFormを用いてCloud,Group等を管理
GitHubActionsを使ってグループの管理、社内wikiへの連携など実施
CI/CD
GitHunActionsを利用
利用状況
SKU変更してベースは0で、maxオートスケーリングを設定する契約に変えた
オートスケーリングやslotの状況(1時間の間でも頻繁にスケーリングしているのがわかる)
最後に
今後も
データは集め続ける
安心安全なデータ運用
ニンテンドーシステムズでは一緒に働く仲間を募集中!