はじめに
文章やJSONから判断結果を作りたいとき、モデルの出力を同じ入力で比べられる環境があると検証しやすくなります。この記事では、Decisions API の Jev Model を題材に、判断モデルを試すときの観点を整理します。
Decisions APIで試せること
Decisions API は、ホストされた判断モデルを試すためのプレイグラウンドと共有APIを提供しています。Choice、Score、Noul という構造化された質問形式を、テキストまたはJSONに対して使えます。対応するモデルでは画像入力も扱えます。
モデルを選ぶ前に、同じ例題を複数のモデルへ入力し、結果の傾向を確認します。例えば、次のような手順です。
- 判断したい入力と期待する出力形式を定義する
- プレイグラウンドで同じ例題を比較する
- 目的に合うモデルを選び、共有APIでアプリケーションから呼び出す
Jevを試すときの観点
Jevを含むモデルを比べるときは、正解・不正解だけでなく、入力の表現を変えた場合の安定性や、判断理由を後から確認できる形になっているかも見ておくと便利です。小さな評価セットを作り、分類・スコアリング・Yes/No判定など、実際の用途に近い例を用意すると比較しやすくなります。
まとめ
判断モデルは、名前だけで決めず、同じ入力を使った比較と小さな評価から始めるのが実務的です。プレイグラウンドで挙動を確認してからAPIへ進むことで、アプリケーションに組み込む前の検証を分けて行えます。