1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

MLflowのカスタムトレースビューを試す: 自然言語でトレースエクスプローラーのレイアウトを構築する

1
Posted at

はじめに

2026年8月14日更新のドキュメントで、Databricks MLflowのトレースエクスプローラーにカスタムトレースビュー(ベータ版)が追加されていることに気づきました。

トレースエクスプローラーのレイアウトを自然言語で記述すると、Genieがそれに応じたビューを組み立ててくれるという機能です。コーディングは不要で、作成したビューはエクスペリメント内のすべてのトレースで再利用できます。

実際にClaude Codeのセッションを記録したトレースを使って試してみたので、有効化の手順から生成されたビューの中身まで書いていきます。

カスタムトレースビューとは

トレースエクスプローラーには標準でスパンツリーや入力/出力タブが用意されていますが、レビューのたびにツリーを展開してスパンを一つずつ確認するのは手間がかかります。カスタムトレースビューは、この標準タブの代わりに、レビューワークフローにとって重要なフィールド・メトリクス・フィードバックコントロールだけを表示するパーソナライズされたレイアウトです。

ポイントは、ビューがトレースに依存しないテンプレートであることです。一度レイアウトを作れば、エクスペリメント内の別のトレースを開いたときにも自動的にデータが再バインドされます。特定のトレース専用のダッシュボードではなく、「トレースをどう見るか」の型を保存する機能と言えます。

ドキュメントによると、次のような場面で役立ちます。

  • スパンツリー全体をスキャンするのではなく、少数の高シグナルフィールドに絞って集中的にレビューする
  • エクスペリメントで作業するすべてのレビュアーに同じレイアウトを提示する
  • フィードバックコントロールを追加して、レビュー担当者がトレースを読みながら直接スコアを付けられるようにする

プレビューの有効化

ベータ版の機能なので、まずプレビューを有効化します。プレビュー画面(設定 > プレビュー)で「MLflow Custom Trace View」をオンにします。

Screenshot 2026-08-17 at 7.19.08.png

トレースを開いてビューを作る

素材にしたトレース

今回は、Claude Codeのセッションを記録した claude_code_conversation というトレースを使いました。databricks-pipelinesスキルを使ってAuto Loaderの設計方針を質問したセッションで、スキル起動(tool_Skill)、リファレンスファイルの読み込み(tool_Read)、LLM呼び出し(llm)といったスパンが記録されています。LLMスパンにはコストも表示されており、この規模の会話でも合計$0.33ほどかかっていることが分かります。

トレースエクスプローラーの右上にビュー切り替えのドロップダウンがあり、標準では「Default view」が選択されています。ここに「Create custom view」が追加されています。

Screenshot 2026-08-17 at 7.20.49.png

自然言語でレイアウトを記述する

「Create custom view」を選ぶと、「カスタムトレースビューを構築する」という画面に切り替わります。テキストボックスに希望するレイアウトを自然言語で記述して、「Genieで構築」をクリックするだけです。

今回はシンプルに、こう指示しました。

このトレース内のスパンとその情報を表示する

Screenshot 2026-08-17 at 7.23.51.png

日本語の指示がそのまま通るのかも確認ポイントでしたが、結論としては問題なく通りました。

Genieが構築したビュー

数ステップの処理を経て、「Span Details」というビューが生成されました。画面右側にはGenieのアシスタントパネルが開き、生成したビューの構成を説明してくれます。

Screenshot 2026-08-17 at 7.26.09.png

Genieの説明によると、今回のビューは次の構成です。

  • メトリクス行: ステータス、レイテンシー、トークン数、評価数をStatCardで一覧表示
  • Agent (Root Span): ルートスパンの名前・ID・入出力を表示
  • Tool Spans: 最大4つのツールスパンをカード形式で表示(存在しないスパンは自動非表示)
  • LLM Spans: 最大2つのLLMスパンをカード形式で表示(存在しないスパンは自動非表示)

「存在しないスパンは自動非表示」という挙動が、テンプレートとして他のトレースに再バインドされることを前提にした設計になっていて面白いところです。アシスタントパネルには「評価結果のセクションも追加する」「Toolスパンの表示数を増やす」「フィードバックボタンを追加する」といった追加の提案チップも表示されるので、ここから対話的にビューを育てていけます。

生成されたビューの中身

生成されたビューの上部から見ていきます。

Screenshot 2026-08-17 at 7.26.52.png

最上部の「スパン情報一覧」には、ステータス(OK)、レイテンシー(43.964s)、トークン数(2,538)、評価数(5)がStatCardとして並びます。標準のトレースビューではスパンツリーを掘らないと拾えない情報が、開いた瞬間に一覧できるのは体感としてかなり快適です。

その下にAgent (Root Span)のカードがあり、入力のprompt(スキルを使った質問文)と出力のstatus・responseがJSONビューアーで表示されます。Tool Spansセクションには、tool_Skill(スキルの起動)とtool_Read(リファレンスファイルの読み込み)がカードで並び、それぞれの入出力を確認できます。

スクロールしていくと、LLM Spansセクションが続きます。

Screenshot 2026-08-17 at 7.26.36.png

tool_Readのカードでは、Claude Codeがローカルの ~/.claude/skills/databricks-pipelines/references/auto-loader-python.md を読み込んでいる様子が入出力からそのまま読み取れます。LLMスパンのカードには、呼び出したモデル(claude-opus-4-8)とmessages、アシスタントの応答が表示されます。「スパンツリーを開いて1スパンずつクリックする」操作なしで、トレースの主要な流れが1画面に収まっている状態です。

ドラフトと保存

生成直後のビューは「ドラフト - このビューには保存されていない変更があります」という状態で、「保存」をクリックするとエクスペリメントに保存され、そのエクスペリメント内のすべてのトレースで利用可能になります。調整したい場合は「Genieで編集」から変更内容を自然言語で記述します。

保存されたビューはエクスペリメントのタグとして保存され、エクスペリメントレベルで共有されます。アクセス権はエクスペリメントの権限に従い、CAN EDIT / CAN MANAGE を持つユーザーはビューの作成・名前変更・削除ができ、CAN READ のユーザーは表示と切り替えのみ可能です。レビュアーには読み取り権限だけ渡して、レビュー用レイアウトの管理は担当者に寄せる、という運用ができます。

制限事項としては以下があります。

  • 各エクスペリメントに保存できるビューは最大50個
  • 各ビューは約20,000 UTF-8バイトの制限(超えると制限内に収まるように圧縮される)

まとめ

MLflowのカスタムトレースビューを試してみて分かったことをまとめます。

  • プレビューで「MLflow Custom Trace View」を有効化すると、トレースエクスプローラーのビュー切り替えに「Create custom view」が現れる
  • 自然言語(日本語)でレイアウトを記述するだけで、Genieがビューを構築してくれる。コーディングは不要
  • 生成されたビューはStatCard・スパンカード・JSONビューアーなどのコンポーネントで構成され、アシスタントパネルから対話的に調整できる
  • ビューはトレースに依存しないテンプレートで、エクスペリメント内の他のトレースにも自動で再バインドされる。存在しないスパンは自動非表示になる
  • 保存したビューはエクスペリメントのタグとして保存され、権限はエクスペリメントの権限に従う
  • 高評価/低評価ボタンやラジオグループなどのフィードバックコントロールも追加でき、記録された内容は評価としてトレースに残る

一番の収穫は、「トレースの見方」そのものを共有可能な資産にできる、という発想でした。エージェントのレビューは属人化しがちで、慣れた人はどのスパンを見ればいいか分かっていても、その暗黙知はなかなかチームに広がりません。レビュー観点をビューとして保存してエクスペリメントごと共有できるのは、評価ワークフローを組織に定着させるうえで地味に効いてきそうです。

参考リンク

はじめてのDatabricks

はじめてのDatabricks

Databricks無料トライアル

Databricks無料トライアル

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?