この記事は、2025年11月6日の「Data Engineering Summit」での登壇内容「データ組織ゼロから投資を得るまでの軌跡と未来図」をQiita用にまとめたものです。

はじめに

本日の内容は、生成AI時代のデータ基盤構築というテーマに対し、その「AI-Ready」のさらに手前、「AI-ReadyになるためのReady」といった位置づけの話です。

以下のような課題感を持つ方への勇気になれば幸いです。

「AI活用が叫ばれてるけど、データ基盤ない！」
「社内にデータ活用・管理チームがないが、やりたい！」

この記事では、データ基盤・データ組織がない状態から、どのようにボトムアップで社内にデータ活用を広め、データ整備に対する投資をもらったかの一つの事例を紹介します。

Agenda

1歩目： データ組織・基盤「ゼロ」からのデータが見れる状態へ
2歩目： 暗中模索の行脚。データ活用の総量を増やす
3歩目： 技術的負債解消のため、データ基盤再構築の投資獲得とさらなる成長のための整備
現状の課題解決のための新データ基盤
未来へ向けて： 活用拡大のためのディメンショナルモデリング導入とその後

【1歩目】データ組織・基盤「ゼロ」からのスタート

入社と2つの「見れない」問題

入社当時、私は「DevOpsエンジニア」としてプロセス課題の解決を期待されていました。組織課題のヒアリングを進める中で、「顧客に喜ばれる、価値のある機能とは？」という言葉が気になりました。

当時、社内には2つの「見れない」問題がありました。

1. 開発（製品企画・開発）側の問題
- 新機能開発が優先され、既存機能の価値評価プロセスが回っていなかった。
- 特殊契約の顧客もおり、データアクセスが（権限的・インフラ的に）困難だった。
2. ビジネス（CS・販促）側の問題
- 顧客の機能利用状況を把握できず、製品をより活用してもらうための作戦立てが困難だった。

最初のアクション：課題解決 × 基盤導入PoC

この「確実にヤバいデータ課題の解決」と「データ基盤の導入(PoC)」を同時に進めることが重要だと考えました。

開発チームとCS・販促チームという複数部署がデータを見る前提だったため、単発のバッチ処理開発ではなく、データサイロを打破できるデータ基盤（Snowflake）が誕生しました。

1歩目のまとめ：
まずは目の前の「データが見れない」課題を解決するために、データ基盤の導入（PoC）を同時に推進した。

【2歩目】暗中模索の行脚 (データ活用の総量を増やす)

“刺さらない”データ活用サンプル

データが見えるようになった（1歩目）後、今度は「データ活用の総量を増やす」フェーズに入りました。

取得したデータを元に「こういうのがあったらいいのでは？」と、開発フェーズや営業・顧客管理フェーズのパイプラインを可視化するサンプルをひたすら作りました。

しかし...。
作ったダッシュボードのサンプルが、全くもって“刺さらない”。

当時は「ななめ1on1」という制度を活用し、ほとんどの部の部長とMTGを行い、活用の営業をしました。

「データ駆動型」から「レポート駆動型」へ

なぜ刺さらなかったのか。当時を振り返ると、『アジャイルデータモデリング』にある「データ駆動型分析」の状態に陥っていたのだと思います。

データ駆動型分析（当時の私）
- 「システムを作れば、きっとユーザーは来る」
- 業務データソースを分析して要件を定めるが、ユーザーの意見が先ではないため、優先順位やスコープを判断できず、時間と費用がかかる。
レポート駆動型分析（目指すべき姿）
- ユーザーがレポートに何を求めているかを読み解く。
- ステークホルダーが抱える緊急度の高いレポート要件に集中し、効率的に開発を進める。

足で稼いだ先に見えたもの

盲目的に刺さらないレポートを作成し、発信し続けていたのは非効率でしたが、その結果、「本江さん、データやってくれるんだって？」という認知が広がり、データの悩みや解決したいことを相談してくれる人が出てきました。

この暗中模索の行脚のおかげで、「レポート駆動型分析」の案件が舞い込むようになったのです。

結果として、各部署（プロダクト企画、開発、事業企画、マーケティング、経営層）でデータ活用が実現し、Snowflakeのユーザー数は2年間で約250ユーザー増加しました。

2歩目のまとめ：
データ活用の総量を増やすため、鶏（データ駆動）と卵（レポート駆動）は気にせず、とにかく足で稼いで認知を拡大し、案件を獲得した。

【3歩目】技術的負債と投資獲得

迫り来る「技術的負債」という魔境

データ活用が進む一方、PoC期間に最短で活用を目指した結果、既存のアセットに頼り切った「魔境」が完成していました。

役割分掌やデータ格納粒度がバラバラ。
生データを格納しておらず、再集計・再実行に他チームとの調整が必要。
ドメイン知識、抽出、加工、提供など、全フェーズで属人化が発生。
顧客数・アクセスも順調に増加し、将来的に本番負荷が懸念される。

「さすがにやばい。データ活用を続ける阻害要因じゃん…」

投資獲得のロジック

この技術的負債を解消し、SnowflakeのPoCを終了して本導入するため、投資獲得に向けた情報まとめを行いました。

ポイントは、「今までの貢献度」 vs 「新基盤のコスト」 を明確にすることです。

1. いままで推進してきたデータ活用の貢献度
提供・運用装着されたダッシュボードが、どれくらいの価値を生んでいるかを月額換算しました。

考慮項目: 閲覧人数、意思決定への利用、業務停止時の損失
例:
- XXXXXXXX（XXXXXXXX可視化）: XXX万円以上/月
- XXXXXXX（役職者）（機能評価・投資判断）: XX万円/月
- XXXXXX（役員）（XXXXXXXXXXXダッシュボード）: XX万円/月

2. 新基盤の運用コスト（とメリット）
インフラコスト増だけでなく、新基盤によって「作業がどれだけ効率化されるか」も月額効果として算出しました。

セキュリティ・ガバナンス改善: （要件定義効率化） → XX万円/月
システム性能・安定性UP: （復旧作業効率化） → X.XX万円/月
データ活用・拡張性UP: （要件定義・分析業務効率化） → 合計 XXX万円/月
開発・運用効率UP: （依頼対応効率化） → XX万円/月

この結果、新基盤構築後のイニシャルコストに対し、ランニング価値（データ活用価値 - インフラコスト + 作業効率化価値） が十分あることを示し、投資を獲得しました。

3歩目のまとめ：
活用（2歩目）で得た信頼と実績を「価値換算」し、技術的負債の解消（整備）のための投資を獲得した。

【第4章】新データ基盤のアーキテクチャ

投資を獲得し、再構築した新データ基盤の概要です。

主な改善ポイント：

本番環境の分離
- 製品DBからfluentbitやCSV出力を経由し、S3へ転送。集計時に本番環境は叩かない構成に。
RAWデータ（生データ）の保持
- S3 (extruct) → Snowflake (RAW) に生データを _loaded_at と body (JSON) で保持。
- これにより、データ分析チーム内での再集計・再実行が容易になりました。
ELTとオーケストレーション
- データソース（Salesforce, Marketo, GitLab, RedMine等）はS3やAppFlow 経由でSnowflakeのRAW層へ。
- RAW → WAREHOUSE → MART への変換・加工は Airflow (Python, SQL) で管理。
- 同様の処理・リポジトリで管理することで、属人化の排除を狙っています。
BI（アウトプット）
- MART層のデータをTableau で可視化、または各種ユースケースに利用。

泥臭い現実（ぼやき）

もちろん、この移行は大変でした…（助けてくれた皆様、ありがとうございます）

法務との確認、個人情報保護法の学習（保護士になりました）
Snowflakeの規約やりとり
予算管理
AppFlowでMarketo同期バグを踏む（最近直ったらしい）
SaaS毎、データソース毎に異なる課題（全件取得 vs 差分取得）

【第5章】未来へ向けて

新データ基盤が構築できた今、主戦場を再度「データ活用の総量を増やす」ことに戻していきます。

ディメンショナルモデリングの導入

次のステップとして、「WAREHOUSE層」と「MART層」の整備、つまりディメンショナルモデリングの追加・改善 に注力しています。

なぜやるか？
- データ活用の総量を増やし、AI BI や自然言語分析（Snowflake MCP）など、将来の「まだ見ぬビジネス貢献」に備えるため。
どうやってるか？
- データ経験者（0人→3人）で、『アジャイルデータモデリング』輪読会を実施（1周読了）。
- データモデリングのUnit Test的な仕組みや、Snowflake MCPでの即時フィードバックを模索中。

未来への動き：「足」と「技術」の両輪

これからのデータ活用は「足と技術で稼ぐ」必要があります。
データ活用を増やすため、「足」と「技術」の両方を大事にできるチームを作っていきたいと考えています。

足（ビジネス・プロセス）
- ステークホルダーを理解し、緊急・重要な課題に集中する。
- （成果物はレポートとは限らない。データモデル、MLロジック、AIツールかもしれない）
技術（課題解決の手段）
- dbt, データカタログ, 非構造化データ, 機械学習, セマンティックレイヤー...
- 永遠にやることがありそうです。

まとめ：ゼロから投資獲得までの3ステップ

私たちが歩んだ2年半の軌跡は、以下の3ステップの繰り返しでした。

1歩目：データが見れる状態へ
- 課題解決とデータ基盤導入(PoC)をセットで進める。
2歩目：データ活用の総量を増やす
- 「足で稼ぎ」、仲間（相談者）を増やす。
3歩目：将来のための投資の獲得
- 活用（2歩目）の実績を「価値換算」し、技術的負債解消と成長のための整備（投資）につなげる。

そして今、新基盤（整備）を手に入れ、再び「2n歩目：データ活用の総量を増やす」フェーズに戻っています。

さいごに

よく「データ活用文化の浸透はトップダウンが大事」と言われますが、ボトムアップでもやれることはあります。

データは、新規事業、既存事業改善、プロセス改善といった「攻め」から、ガバナンスやインフラ運用といった「守り」まで、とんでもない広さのビジネスエリアに関与します。

「データやってる」ということは、自分の意思でなにかを好転させる機会が無限にある ということです。

いま孤独に戦ってる方、ぜひ1歩踏み出してみてください。
仲間は近くにいると思います。