みんなの考えた最強のデータアーキテクチャの備忘録

2022/11/08開催、みんなの考えた最強のデータアーキテクチャの備忘録です。

内容としては、名前の通り最強のデータアーキテクチャはどういったツールを使用してどういう構成になるのか、発表者の方々が発表して議論するというものでした。
登録者数は1224人で、当日は700名以上の方が参加されていました。

結論として、このデータアーキテクチャが最強！というものはなかったのですが、ツールとしては「dbt」と「snowflake」を使用した基盤が多いようでした。

dbt: データ変換のツール。ELT※, ETL処理のTに当たる部分と言われることが多い。
dbt公式サイト

snowflake: DWH(データウェアハウス)に該当するもの。
snowflake公式サイト

※ Extract, Load, Transform の頭文字をとってELT

イベントの中で印象に残った内容

• データ基盤は組織によって最適解が変わる
• データ基盤構築を目的にしてはいけない、あくまでデータ分析の手段
• 最適なアーキテクチャを作るための最適な組織づくりに関する話題
  • 「逆コンウェイの法則」に基づき組織のアーキテクチャを考える
    • コンウェイの法則: システムはそれを設計する組織の構造を模倣したものになる
    • 逆コンウェイの法則: 望ましいアーキテクチャを導くような組織を作る
• BigQuery(GCP) vs snowflake
  • サポートが充実しているのはsnowflake。BigQueryはサポートがあまりよくない印象。(発表者A)
  • BigQueryだとAWSが使えない。(発表者A)

業界的に技術の移り変わりが激しいので、引き続きキャッチアップしていきたいなと思います。また、前職ではMongoとPython、個人ではPythonとGCPでの簡易的なデータ基盤構築をしたことしかないので、時間を見つけて「dbt」と「snowflake」を使用した基盤も作っていきたいです。