1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

【Google Cloud Next Tokyo ’23レポート】DAY 1 任天堂のデータ分析基盤

Posted at

講演概要(セッション紹介から抜粋)

任天堂におけるデータ分析基盤の概要、システム アーキテクチャ、システム管理、利用状況をご紹介します。

セッション レベル:初級
取り上げる主な Google Cloud 製品 / サービス
BigQuery
Cloud Composer
Cloud Data Fusion
Cloud Storage

所感

無線が聞こえなくていきなり詰みました・・・笑 なので、薄く聞こえる音声とスライドのみでの内容になっています。

全体的に任天堂における分析基盤がどのように構築されているか、どういった体制で運用をしているかというお話でした。
扱っているユーザーやデータ量も多く、多数のデータソースを抱えている状態できちっと権限の管理や自動化も実施しているんだなあという印象でした。

IaCについては一部導入を始めているものの、権限やユーザーグループの管理まではコード化できていない、というは発想になかったので今後取れいていきたいなと思いました。

セッションメモ

概要

2023から稼働
BiqQueryの活用

3億3000万アカウント

900テーブル
4.5Tレコード

250+ PowerUser
900+ CasulaUser
5000+ Bi Content

アーキテクチャ

ファイルで入力、CloudFactionを通じたAPI連携による抽出

BatchによってBIToolsへのデータ加工を実現
ファイル直接参照、ELT

オーケストレーション
依存関係を保ったままでタスク分解をしている

データウェアハウス
BiqQuery Data Trasfer serviceでデータ投入することで簡単にデータ転送可能

システム管理

データの利用にあたってデータオーナーの承認が必要な体制を敷いている
アカウント管理はGroupsを使っていて、権限セットに応じたグループを用意している

IaC
TerraFormを用いてCloud,Group等を管理
GitHubActionsを使ってグループの管理、社内wikiへの連携など実施

CI/CD
GitHunActionsを利用

利用状況

SKU変更してベースは0で、maxオートスケーリングを設定する契約に変えた
オートスケーリングやslotの状況(1時間の間でも頻繁にスケーリングしているのがわかる)

最後に

今後も
データは集め続ける
安心安全なデータ運用
ニンテンドーシステムズでは一緒に働く仲間を募集中!

資料リンク

1
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?