はじめに
過去の記事で Azure Prompt Flow を使って RAG を評価する手順を記載しましたが、評価する際にいくつか躓きポイントがあったので、Azure Prompt Flow 側への要望込みでご紹介したいと思います。
Azure Prompt Flow は 2023/10/27 時点でプレビュー段階にあり、今回ご紹介する内容も今後改善される可能性があります（改善されることを期待しています）。
一括テストの進捗状況がわからない
一括テスト（Batch run & Evaluate）で多数のテスト項目を実行中、進捗状況が知りたい場合があると思いますが、Overview 画面には表示されません。フローや Jobs の一覧の ＿pf＿.lines.completed など、実施済の項目数が表示される箇所はあるのですが、実行中には表示されないようです。
Overview 画面ですぐ確認できると便利と思います。
私の場合は、フローの Details ボタンから遷移した先にある Logs タブで進捗を確認していました。
ログを確認すると
[Lines] [Finished: 実施済件数] [Processing: 処理中件数] [Pending: 未実施件数]
の形式でログ出力されている箇所があります。
どの項目を実行中かも次行に表示されるので、長時間完了していないテストがないかを確認することもできます。
モデルのクォータ制限でエラーが頻発する
前述のログにもActive threads: 16 / 16といったログが出力されていますが、私が利用した環境では、16 スレッドでテストが並列処理されているようです。
フローで Azure OpenAI Service のモデルを利用している場合、クォータ制限によってモデルの呼び出しでエラーが頻発する事象が発生しました。
私の場合はリトライとウェイトを設けることで回避しましたが、並列度数も制御できた方が調整がしやすいように思います。
評価結果を一括エクスポートできない
各テスト項目の出力と評価結果を確認する場合、Details 画面の Outputs タブからエクスポートが可能なのですが、これが下記の 2 択となっています。
- Download current page
- Download data export script
前者は CSV でエクスポートできるのですが、表示しているページ単位でしかエクスポートできません。1 ページあたりの項目数は 25 個で固定となっているため、項目数が多いと非常に手間がかかります。
後者は全ての項目をエクスポートできますが、script（Python）でダウンロードした後でこれを実行する必要があります。また、Windows で実行する際は、encoding を指定しないとエラーとなるようです。
with open(csv_path, "w", newline="", encoding="UTF-8") as csv_file:
ワンクリックで全項目をエクスポートできるようにしていただきたいところです。
最後に
細かい改善要望を記載していますが、リリース当初から UI も改善されてきており、便利になってきていると感じています。最後の一括エクスポートについても、リリース当初は「Download current page」の機能しかなく、一括エクスポートができたことでかなり手間は削減されました。
今後の改善に期待しています。