はじめに
はじめまして。primeNumberの杉之原と申します。私は普段お客様に向けてクラウドETLツール 「TROCCO」 利活用の提案・サポートをしています。
ここ最近、業務でのAI利用が一気に広がり、自社でも非エンジニアのメンバーがAIを当たり前に使うようになってきました。お客様からも、AIを使ったTROCCO利活用に関する話題がたびたび出てきています。
そんな状況もあり、私自身も日々AIについて勉強しつつ「AIを使って、TROCCOでの開発や運用をもっと楽にできないか?」と考えています。
TROCCO × AI、何から始めるか考えてみた
ただ、いざAI活用を始めようとしても「何から手を付ければよいのか」という悩みもあります。
社内でのAIの理解・活用が進んでいるお客様のなかには、データパイプラインの管理・運用までAIで半自動化されている事例もありますが、これからAIを活用していく段階で自動化に着手することはなかなかハードルが高いものです。
そんな中で今すぐに始められるAI活用のひとつとして 「メモ作成のアシスト」 からやってみるのが良いのではないかと考えました。
TROCCOの設定は「YAML」形式でエクスポートできるため、設定を読み解きやすい状態でAIに投げられます。
さらに、既存の運用フローを変えずに試せるため、TROCCOでのAI活用の最初の一歩として、メモ機能との組み合わせはちょうどよい題材だと思います。
前提:TROCCOのメモ機能とは
TROCCOには、転送設定やデータマート定義などの各設定に自由なテキストを書き残せる 「メモ機能」 があります。設定の概要や注意事項、担当者などを書いておけるフィールドです。
TROCCOの各設定にメモを残しておくことで、設定の内容・意図が把握しやすくなり、内容理解のために設定画面と格闘せずに済むようになります。
また「これって何だっけ?」というやりとりが減ってコミュニケーションコストが下がり、引き継ぎやオンボーディングの工数も削減できたり、過去の判断や経緯(なぜこの設定なのか)を残すことで属人化を防げるなど、複数人でのTROCCO運用においてはかなりメリットが大きい機能です。
公式の活用ガイドはこちら:TROCCO設定運用のベストプラクティス:メモ欄活用術
メモを残すメリットはあるものの、運用が続かない理由はシンプルで、毎回手で書くのが面倒だからです。
だからこそAIに任せたい、というのが今回のテーマです。
やってみた:AIにメモを書かせる3ステップ
ということで、実際にAIを使ってTROCCOのメモを作成してみました。
TROCCOの基本機能には、「転送設定」「データマート定義」「ワークフロー定義」がありますが、今回「転送設定」のメモを作成を実践してみました。「データマート定義」も同様の手順で対応可能です。
やったことは、ざっくり3ステップです。
- TROCCOの転送設定詳細画面からYAMLをコピー
- テンプレートとYAMLをAIに投入し、メモの下書きを生成
- 生成されたメモを貼り付けて確認・保存
STEP 1:TROCCOの転送設定詳細画面からYAMLをコピー
転送設定を作成したら、詳細画面からYAML設定ファイルをコピーします。
設定内容の「YAML設定ファイル」を表示すると、ワンクリックでコピーできます。
STEP 2:テンプレートとYAMLをAIに投入
コピーしたYAMLと一緒に、用意したプロンプトテンプレートを生成AI(ChatGPT・Claude・Geminiなど)に投げます。
テンプレートをチームで共有しておくと、メモのフォーマットも統一できます。
作成したプロンプトテンプレートのサンプルも添付します。
転送設定のプロンプトテンプレートはこちら
# 役割
あなたはデータエンジニアリングおよびデータ分析の専門家です。
TROCCOの転送設定(YAML)を読み解き、指定されたMarkdownテンプレートに従って設定概要を作成してください。
# 目的
転送設定名やカラム定義から「これがどのような業務データ(ドメイン知識)なのか」を推測・分析し、非エンジニアでも理解できる日本語の説明を作成すること。
# 思考プロセス(分析手順)
1. 「name」や「table」などの名称から、どのシステムやサービスのデータかを推測する。
2. カラム名(例: `user_id`, `status`, `amount`, `created_at` などの一般的なID、状態、数値、タイムスタンプ)から、これが「何の単位(粒度)で、何を記録しているデータか」を読み解く。
3. 読み解いた内容をベースに、説明文を「〇〇のRAWデータをBigQueryに格納(具体的なデータ内容の解説)」という形に昇華させる。
# 制約事項
- YAMLから読み取れない情報(スケジュールやエラー通知先など)は、テンプレートの項目名だけを残し、空欄にしてください。
- データの推測が難しい場合は、カラム名から最低限読み取れる事実のみを記載してください。
- 出力は必ず「```markdown」と「```」で囲んだコードブロック形式にしてください。
# アウトプット
設定概要は、以下の出力テンプレートをもとに、コピー&ペースト可能なMarkdown形式のコードブロックで出力してください。
# 出力テンプレート
以下のフォーマット(コードブロックごと)で出力してください。
```markdown
# 概要
説明:
## 転送元:(転送元コネクタ名)
- テーブル名:〇〇テーブル
- 転送方法:
- 増分データを判別するカラム:
## 転送先:(転送先コネクタ名)
- データセット:
- テーブル:〇〇テーブル
- 転送モード:
- マージキー:
# 運用
- スケジュール:
- 転送処理時間目安:
- エラー発生時:
- 設定の管理者:
# 通知
- 通知先:
# トラブルシューティング履歴
-- エラー発生時の対応や設定変更などの履歴
## 日付
-- エラーログ
-- 解消に向けてやったこと
# インプット(YAMLデータ)
---
[ここにTROCCOのYAMLを貼り付ける]
---
データマート定義のプロンプトテンプレートはこちら
# 役割
あなたはデータエンジニアリングおよびデータ分析の専門家です。
TROCCOのデータマート定義(YAML)を読み解き、指定されたMarkdownテンプレートに従って設定概要を作成してください。
# 目的
データマートの設定内容やクエリから「これがどのような業務データ(ドメイン知識)なのか」を推測・分析し、非エンジニアでも理解できる日本語の説明を作成すること。
# 思考プロセス(分析手順)
1. 「dataset」や「table」などの名称から、どのシステムやサービスのデータかを推測する。
2. カラム名(例: `user_id`, `status`, `amount`, `created_at` などの一般的なID、状態、数値、タイムスタンプ)から、これが「何の単位(粒度)で、何を記録しているデータか」を読み解く。
3. 読み解いた内容をベースに、説明文を「〇〇テーブルと〇〇テーブルをuser_idカラムでJOINさせて顧客情報のデータマートを作成する(具体的なデータ内容の解説)」という形に昇華させる。
# 制約事項
- YAMLから読み取れない情報(スケジュールやエラー通知先など)は、テンプレートの項目名だけを残し、空欄にしてください。
- データの推測が難しい場合は、カラム名から最低限読み取れる事実のみを記載してください。
- 出力は必ず「```markdown」と「```」で囲んだコードブロック形式にしてください。
# アウトプット
設定概要は、以下の出力テンプレートをもとに、コピー&ペースト可能なMarkdown形式のコードブロックで出力してください。
# 出力テンプレート
以下のフォーマット(コードブロックごと)で出力してください。
```markdown
# 概要
# データソース
- クエリ実行モード:
- ウェアハウス:
- データベース:
- 元テーブル:〇〇テーブル、〇〇テーブル
# 出力先
- データベース:
- テーブル:〇〇テーブル
- 書き込み方法:
# 運用
- スケジュール:
- 転送処理時間目安:
- エラー発生時:
- 設定の管理者:
# 通知
- 通知先:
# インプット(YAMLデータ)
---
[ここにTROCCOのYAMLを貼り付ける]
---
以下が出力されたメモの下書きです。今回はGeminiを使って書かせてみました。
デモ用の転送設定なので複雑なものではないですが、おおむね問題ないものができました。
(内容は一部マスクしています。)
# 概要
説明:Amazon S3上に格納されたCSVファイル(デモデータ)をBigQueryに転送する設定です。S3バケット内の `***********/demo_` プレフィックスに一致するCSVファイルを読み込み、id・name・memo・数値・日時などの汎用的なカラムを持つデモ用テーブルとしてBigQueryに蓄積します。増分ロードは無効のため、実行のたびにデータが追記されます。
## 転送元:Amazon S3
- テーブル名:demo_csv ファイル(`s3://***********/demo_*`)
- 転送方法:
- フルロード(増分ローディング無効)
- CSVパース(ヘッダー1行スキップ、UTF-8、LF改行、カンマ区切り)
- 対象カラム:`id`(long), `name`(string), `memo`(string), `long`(long), `datetime`(timestamp), `date`(timestamp)
## 転送先:Google BigQuery
- データセット:`***********`
- テーブル:`***********` テーブル
- 転送モード:追記(append)
- マージキー:なし(appendモードのため不使用)
# 運用
- スケジュール:毎日 02:00(Asia/Tokyo)
- 転送処理時間目安:
- エラー発生時:Slack通知(チャンネル:`#***********`)
- 設定の管理者:***********
# 通知
- 通知先:Slack `#***********`(転送失敗時のみ通知)
# トラブルシューティング履歴
-- エラー発生時の対応や設定変更などの履歴
## 日付
-- エラーログ
-- 解消に向けてやったこと
STEP 3:生成されたメモを貼り付けて保存
転送設定の編集画面に入り、AIで生成したテキストをメモ欄に貼り付け、確認・手直ししてから保存します。
AIはあくまでも効率化のツールという位置づけであり、生成した内容に誤りがないかの確認は必要です。
これだけで、メモから設定の概要がすぐに理解できる状態になります。
発展的な活用方法:TROCCO API × AI で設定の棚卸し
メモを整備することで、発展的な活用にもつながっていきます。
その一例として、TROCCO API(Advancedプランで提供)の「設定一覧取得」系エンドポイントでの設定の棚卸しがあります。
TROCCO APIの「設定一覧取得」系エンドポイントでは、TROCCOで作成した各種設定の一覧を取得できますが、この一覧には、各設定で登録した「メモ」も含まれています。
TROCCO APIでメモを含む設定情報を一括取得してCSVなどで出力することで、TROCCOで作成した各種設定の棚卸しの際にメモを確認するだけでどんな設定か把握できるため、「この設定ってなんだっけ?」からTROCCOの画面を確認しに行く手間がなくなります。
ここでもAIを活用すれば、TROCCO APIのドキュメントの読解やcurlコマンドの作成、一覧ファイル出力までAIと対話しながら進められるので、APIに不慣れな方でも試しやすいと思います。
※API KEYなどの取り扱いにはご注意ください。
おわりに
AIを使ったメモ作成を実際にやってみて、納得のいく結果を得られるようなプロンプトテンプレートを作るまでに試行錯誤はありましたが、一度作ってしまえば、このテンプレートを使い回すだけで、ものの数秒でメモの下書きを生成できてしまうので、メモを残す運用の定着にはかなり有効だと感じました。
さらに、チームで運用しながら「この項目も入れたい」「ここは不要」をプロンプトテンプレートに反映していくことで、自社の運用に合ったメモが安定して出力できるようになると思います。
TROCCOでのAI活用の第一歩として 「AIを活用したメモ作成」 を、ぜひ試してみてください!

