IBM Telemetryを用いた観測
watsonx OrchestrateのDeveloper Editionを用いることで、PC上でwatsonx Orchestrateを動作させてテストが可能です。その際、以前の記事にあるようにLangfuseを用いて動作の詳細を分析できますが、SaaS版で使用されているIBM Telemetryを用いることも可能です。Developer EditionでのIBM Telemetryの利用方法については、情報が少なく、利用方法が分かりづらいため、この記事では利用方法についてまとめてみたいと思います。
IBM Telemetryの有効化
IBM Telemetryを有効化するにはサーバー起動時に--with-ibm-telemetryオプションを指定する必要があります。
orchestrate server start -e ./env --with-ibm-telemetry
もしくは-iオプションでもOKです。
orchestrate server start -e ./env -i
UIへのアクセスと設定
UIへは、**http://localhost:8765**でアクセス可能です。
任意のNameを入力し、Loginボタンをクリックします。
このままではトレースが表示されないため、設定を行う必要がありますが、その前にテナントIDを確認しておく必要があります。以下のコマンドでチャット画面を開きます。
orchestrate env activate local
orchestrate chat start
Chromeの開発者ツールを表示し、Application > Cookies > http://localhost:3000 を選択し、tenant-idの値をコピーします。
再びAgent分析のUIに戻り、右上の設定アイコンをクリックします。Tenant IDの欄にコピーしたテナントIDをペーストし、保存します。
一度ログアウトしてから再度ログインします。
サービス名として、service:wxo-serverを入力してフィルタリングを行うと、トレースが表示されます。
会話の流れの詳細を確認することが可能です！
まとめ
この記事ではwatsonx OrchestrateのDeveloper EditionでIBM Telemetryを用いてトレースを確認する方法について説明しました。自動で構成されるLangfuseと比較して、少し手間がかかりますが一度設定してしまえば便利に利用することが可能です。直近のリリースでPythonにより実装したツールからトレースを出力できるようになり、これまでもSaaS側でのデバッグがかなりやりやすくなったようなのでそちらも確認してみたいと思います。