0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

PR: データブリックス・ジャパン株式会社
MLflowで実践するLLMOps

Databricks Unity Gateway の Insights でコーディングエージェントの使われ方をレポートにする

0
Last updated at Posted at 2026-11-19

はじめに

Unity GatewayのObservabilityに、Insights (ベータ) が追加されています。コーディングエージェントが何に使われているか、トークンがどこで使われているか、どこを減らせそうかをレポートにまとめる機能です。日本語ドキュメントでは「知見」と表記されています。

以前の記事で、Unity Gatewayを通ったやり取りが統合トレーステーブルに記録されることを確認しました。

ただ、テーブルにトレースが溜まっても、SQLを書いて集計しない限り全体の傾向は見えてきません。Insightsはその集計と読み解きを代わりに行い、数分でレポートにします。実際に生成して、何が読み取れるのかを見ていきます。

Insightsの位置づけ

Insightsは、Unity GatewayのObservabilityにある機能です。関係する要素は次の3つです。

要素 役割
統合トレーステーブル Unity Gatewayを通ったエージェントのセッションが記録されるテーブル。Insightsが読むデータ
Genie Code トレーステーブルを分析してレポートを作る。レポートへの追加の質問にも答える
SQLウェアハウス 分析のクエリを実行する。レポート生成時に選ぶ

新しくデータを集める機能ではありません。すでに記録されているトレースを読んでレポートにする機能です。そのため、統合トレーステーブルが設定済みで、エージェントのセッションが記録されていることが前提になります。

前提

ドキュメントに記載されている要件は次のとおりです。

  • アカウント管理者が、アカウントコンソールのプレビューページでInsightsを有効にしている
  • メタストアに統合トレーステーブルが設定されている
  • トレーステーブルのカタログに USE CATALOG、スキーマに USE SCHEMA、テーブルに SELECT の権限がある
  • SQLウェアハウスのCAN USE権限がある

レポートは生成したユーザーの権限で実行されるので、トレーステーブルを読める必要があります。

分析の対象になるのはトレーステーブルに記録されたセッションです。ドキュメントでは、Unity Gateway CLI (ug) で起動したエージェントのセッションがトレーステーブルに記録されると説明されています。

今回のワークスペースでは、Unity Gateway経由で使っているClaude Codeのセッションがトレーステーブルに記録されています。

レポートを生成する

Unity Gatewayの画面右上にある「Observability」をクリックします。

Screenshot 2026-11-19 at 11.43.49.png

Observabilityには「Insights」と「Traces」の2つのタブがあり、Insightsが最初に開きます。まだレポートがないので「Generate report」をクリックします。

Screenshot 2026-11-19 at 11.44.01.png

設定する項目は3つだけです。

  • Time: 分析する期間。今回は「Last 7 days」
  • Compute: クエリを実行するSQLウェアハウス
  • Additional questions (optional): レポートに追加で答えてほしい質問。今回は追加していません

Screenshot 2026-11-19 at 11.44.11.png

「Generate」をクリックすると生成が始まります。ドキュメントでは通常15〜20分かかるとされていますが、今回は5分ほどで完成しました。対象が72トレースと少なかったためだと思われます。生成時間はトレースの量やウェアハウスの状況で変わるはずです。

完成したレポートは、Insightsタブの「Reports」に一覧で表示されます。一覧の時点で、対象の期間、トークン数、セッション数、レポートの要点が1行で分かります。「Open report」をクリックするとレポートが開きます。

Screenshot 2026-11-19 at 11.52.57.png

レポートを読む

レポートは上から順に、Overview、Work、Savings、About this reportで構成されています。

Overview: 全体の数字と要点

最初にセッション数、記録されたトークン数、分類できたセッション数が表示されます。

Screenshot 2026-11-19 at 13.04.39.png

今回の7日間の数字は次のとおりです。

項目 値
Sessions 41 (72トレース)
Recorded tokens 121.2万
Classified sessions 41のうち32

数字の下に、レポート全体の要点が2行でまとめられています。

  • Work: スクリプトとコードの開発は、分類できたセッションの12%だが、トークン数が分かっている範囲では100%を占める
  • Savings: 繰り返し出てくるPythonスクリプトの作業に110万トークンが使われていて、再利用できるスキルにできそう

レポートを最後まで読まなくても、この2行で「何にトークンを使っているか」と「どこから手を付けるか」が分かります。

Work: 何に使われているか

「What are people working on」では、セッションが作業の種類ごとに分類されます。各行には2本のバーがあり、青がセッションの割合、赤がトークンの割合です。

今回の結果では、セッションの78%が「Data analysis and reporting」でした。レポートの説明によると、これらはSQLクエリやGenieスペースへの質問を行ったチャット型のセッションです。トークン数が記録されていないため、トークンの割合は「unknown」と表示されています。

一方、「Script and code development」はセッションの12.5%ですが、トークンの割合は100%です。トークンの割合は、トークン数が記録されているコーディングのセッションだけを対象に計算されているためです。

ここは読み方に注意が必要なところです。「コード開発がトークンを100%使っている」のではなく、「トークン数が分かっているセッションはすべてコード開発だった」と読みます。レポートの説明文にこの前提が書かれているので、チャートの数字だけを見ずに説明文も読むのが良さそうです。

Savings: どこを減らせるか

「Where can I save money」には、トークンを減らせそうな領域がトークン数の多い順に並びます。

Screenshot 2026-11-19 at 13.02.28.png

領域 トークン数
Reusable workflows 110.4万
Wasted MCP spend 39.6万

この数字の意味は、カードの注記に書かれています。

  • 対象のセッションが実際に使ったトークン数であり、節約できる量の見積もりではない
  • 領域どうしは重なることがあるので、足し合わせてはいけない
  • トークン数が分からないセッションは含まれないので、下限の値である

「これだけ節約できる」という数字ではなく、「見直す価値がある範囲はこれだけある」という数字として読みます。

Wasted MCP spend

MCPツールの結果がコンテキストに入れたトークン数の推定です。今回は、Unity Gateway経由のMCPツールの結果が合計で約40万トークンをコンテキストに入れていました。MCPサービスごとの内訳は次のとおりで、結果が大きかったのは google_drive と slack です。

MCPサービス トークン数 (推定)
google_drive 15.5万
slack 11.9万
genie_one_mcp 5.7万
gmail 3.4万
web_search 3.1万

MCPツールは便利ですが、返ってきた結果はそのままコンテキストに入ります。どのMCPサービスの結果が大きいのかをサービス名で確認できるので、検索の件数を絞る、必要な項目だけ取得する、といった見直しの対象を選びやすくなります。

Model right-sizing

大きいモデルを使う必要がなかったセッションがないかを評価するカードです。

Screenshot 2026-11-19 at 13.05.14.png

今回の結果は「大きいモデルを使ったセッションに、過剰と判断されたものはなかった」でした。モデルファミリーごとの割合は次のとおりです。

モデルファミリー セッションの割合 トークンの割合
Opus 33.3% 83.5%
Haiku 66.7% 16.5%

Opusのセッションは全体の3分の1ですが、トークンの8割以上を使っています。レポートによると、Opusのセッションはサブエージェントを使った複数ステップのスクリプト作成でした。セッションの割合とトークンの割合を並べて見られるので、モデルの使い分けができているかを確認できます。

Reusable workflows

複数のセッションで繰り返されている作業のパターンが一覧になります。今回見つかったのは「Python scripting with file generation」で、Pythonスクリプトを実行して出力ファイルを読み書きする、という流れが3回出てきていました。

パターンの名前の横にはコピーのアイコンがあります。ドキュメントによると、このパターンを共有スキルにするためのプロンプトをコピーできます。繰り返している作業を見つけるだけでなく、スキルにする次の一歩まで用意されているのが実務的です。

About this report: レポートの根拠

最後に、レポートが何をもとに作られたのかが表示されます。

insights_about_this_report_masked.png

項目 今回の値
Traces 72トレースを分析
Sessions 41
Not classified 9セッション (根拠が足りず分類できなかったもの)
Clients claude-code
Table 読み取った統合トレーステーブルの名前

冒頭の一文には「structural evidence mode (prompts unavailable)」とあります。プロンプトの本文は使わず、ツール呼び出しなどセッションの構造をもとに分類した、という意味だと読めます。分類の根拠がどこまであるのかがレポートに書かれているので、結果をどの程度信頼するかを判断する材料になります。

レポートに質問する

画面の下には「Ask Genie about this report...」という入力欄があり、レポートについてGenie Codeに質問できます。各カードの右上にもGenieのアイコンがあり、カードごとに質問できます。今回は試していませんが、「google_driveの結果が大きかったセッションはどれか」のように、気になった数字を掘り下げるときに使えそうです。

使うときに知っておきたいこと

  • レポートを表示、削除できるのは、生成したユーザーだけです。レポートには他のユーザーのアクティビティの要約が含まれるためです
  • 使用量の単位はトークンで、金額ではありません。金額は Unity Gatewayのコスト分析 で確認します
  • 分析期間は過去1日、過去7日間、過去30日間から選びます

まとめ

Unity GatewayのInsightsでレポートを生成して分かったことをまとめます。

  • 操作は期間とSQLウェアハウスを選んで「Generate」をクリックするだけ。今回は72トレースで5分ほどで完成した
  • レポートはOverview、Work、Savings、About this reportの構成。冒頭の2行で要点が分かる
  • Workのトークンの割合は、トークン数が記録されているセッションだけが対象。チャートの数字だけでなく説明文も読む
  • Savingsのトークン数は節約できる量の見積もりではなく、見直す価値がある範囲。領域どうしは足し合わせない
  • MCPツールの結果がコンテキストに入れたトークン数を、MCPサービスの名前ごとに確認できる
  • 繰り返している作業のパターンが見つかり、スキルにするためのプロンプトまで用意される

一番の収穫は、トレースを溜めた先の使い道が見えたことでした。統合トレーステーブルは監査やデバッグのためのものと捉えていましたが、Insightsを通すと「どの作業をスキルにするか」「どのMCPツールの使い方を見直すか」という改善の入口になります。コーディングエージェントをチームで使い始めた組織では、まず7日間のレポートを1本生成して、About this reportで根拠を確認しながら読んでみるのが良さそうです。

参考リンク

はじめてのDatabricks

はじめてのDatabricks

Databricks無料トライアル

Databricks無料トライアル

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?