はじめに
2025年11月27日に開催されたGoogle Cloud主催の「Data & AI Summit '25 Fall」にオンラインで参加しました。基調講演では「データの民主化」や「自然言語での分析」が多く語られましたが、データエンジニアとして最も衝撃を受けたのは、「Gemini in BigQuery」によるデータパイプライン構築 の自動化デモでした。
本記事では、基調講演で披露された 「Dataform × BigQuery Data Pipelines × AI Agent」 の連携部分にフォーカスして、何ができるようになったのかをまとめます。
3行でまとめると
- 自然言語でDataformコード生成：やりたい処理をチャットで伝えるだけで、SQLXファイルや設定を自動生成。
- レガシーSQLからの自動移行：古いストアドプロシージャや巨大なSQLを解析し、モダンなDataformパイプラインへ自動変換。
- 運用の自律化：エラー発生時もAgentがログを解析し、修正案を提示してくれる。
自然言語からDataformプロジェクトを一瞬で構築
これまでのDataform開発は、初期設定を行い、.sqlxファイルを一つひとつ定義していく必要がありました。 しかし、今回のデモで示されたのは**「Conversational Analytics API」**を活用した開発体験です。
デモの流れ
エンジニアがチャット欄（Agent）に対して、以下のような指示を出します。
「販売データと顧客データを結合し、地域ごとの売上集計を行うパイプラインを作って」
すると、Agentは以下の作業を自律的に行いました。
- 依存関係の理解: 必要なテーブルを特定。
- コード生成: Dataform独自の記法である config { type: "table" ... } を含むSQLXファイルを生成。
- ドキュメント生成: 各カラムのdescriptionまで自動入力。
ここが凄い
単なる「Text-to-SQL」ではなく、Dataformという「フレームワークの構造」を理解してコードを出力している点が画期的です。これにより、プロトタイピングの速度が劇的に向上します。
レガシーSQLからの「脱出」をAIが支援
個人的に最も感動したのがこの機能です。多くの企業が抱える課題である**「過去の遺産（巨大なSQLファイルや他社DBのクエリ）の移行」**に対する強力なソリューションが提示されました。
課題
- 何千行にも及ぶ複雑なSQLスクリプトがある。
- 属人化しており、ロジックを分解してDataformに移行するのに膨大な工数がかかる。
Data Agentの解決策
デモでは、既存の巨大な「レガシーSQL」をAgentに投げ、 「これをDataformプロジェクトに変換して」 と指示しました。 結果、Agentは以下の処理を実行しました。
- ロジックの解体: 巨大なクエリを意味のある単位（中間テーブルなど）に分解。
- 依存関係の構築: ref() 関数を用いたDataformの依存関係定義を自動生成。
- モジュール化: 可読性の高い複数の .sqlx ファイルとして再構築。
これは、リファクタリングにかかる工数を数週間単位で削減できる可能性を秘めています。
BigQuery Data Pipelines との連携・トラブルシューティング
パイプラインは作って終わりではありません。運用フェーズにおいてもAgentが活躍します。
運用の自動化
作成したDataformプロジェクトは、Google CloudのマネージドなオーケストレーションサービスであるBigQuery Data Pipelinesにデプロイされます。
エラー対応（Troubleshooting）
デモでは、パイプライン実行時にエラーが発生したシナリオも紹介されました。 通常ならログを漁って原因を探すところですが、ここでもAgentが登場します。
- Agent: 「型変換のエラーが発生しています。カラムAがSTRINGですが、計算処理でINTとして扱われています。」
- 提案: 「SAFE_CAST関数を使って修正するコードを適用しますか？」
このように、エラー原因の特定から修正コードの提案までをシームレスに行うことで、ダウンタイムを最小限に抑える様子が実演されました。
所感：データエンジニアの仕事はどう変わる？
今回の発表を見て、「SQLを書く」という作業自体の価値は今後薄れていくと感じました。 代わりに、データエンジニアには以下の能力がより求められるようになりそうです。
- アーキテクチャ設計: AIが出力したパイプラインが全体最適になっているか判断する能力。
- ガバナンス設計: 誰でもパイプラインを作れるようになる分、品質やセキュリティをどう担保するかの設計。
「Dataformの記法を覚えるのが大変そう…」と導入を躊躇していたチームにとって、このAI Agent機能は最強の導入支援ツールになるはずです。
参考リンク
Data & AI Summit '25 Fall 公式ページ
BigQuery Dataform Documentation