はじめに
判断や評価を確率として返すAIモデル「Jev」が注目を集めています。Jevは、用途を絞ることで、高速なレスポンスを実現している点も特徴です。
一方、エンタープライズ用途で外部サービスを利用する場合、データ送信に伴う社内審査やセキュリティルールの確認が必要になります。新たに登場したサービスを本番システムに採用するには時間がかかるでしょう。そこで、短期的にもAmazon Bedrockの軽量LLMでJevを代替できないかと考えました。
白羽の矢が立ったのは、AWSの最軽量・最安モデル「Amazon Nova Micro」です。
今回、Amazon Nova MicroがJevの代わりになり得るのかを検証しました。果たして代替できるのでしょうか。検証結果をご覧ください。
Jevとは
以下の記事で解説しましたので、こちらをご覧ください。
Amazon Nova Microとは
Amazon Nova Microは、Amazon NovaというAWSが開発したLLMの中で最も高速かつ低コストなテキスト専用モデルです。大量かつ低遅延が求められる単純な処理に適しています。例えば単文の日英翻訳などです。
今回はこのNova Microに文章を与え、架空の顧客からのメールを評価させようというものです。
JevとNova Microのコスト比較
なぜNova Microでやるのかと思われた方もいるでしょう。Nova Microを比較対象に選んだ最大の理由はコストです。
以下の表で示すように、入力トークンではNova Microがやや安価です。出力トークンが無料のJevの方がトータルでは安価になりそうですが、果たしてどうなるのでしょうか。
| モデル | 入力 100万トークン | 出力 100万トークン | 課金方式 |
|---|---|---|---|
| Jev | $0.042 | $0 | 入力のみ |
| Amazon Nova Micro | $0.035 | $0.14 | 入力＋出力 |
検証の条件
今回の検証の条件は以下の通りです。
-
Bedrockの実行リージョン：
- 米国西部（オレゴン）us-west-2
- 検証日時点で、TypeSafe AIはサンフランシスコに拠点を置き、Jevのサービスも米国西海岸を拠点に提供されていると仮定
- 通信距離による遅延差を抑え、公平に比較する目的で、Nova Microも米国西部（オレゴン）us-west-2で実行
-
試行回数
- 100回
- 25種類の架空の問い合わせに4段階(4種類)の感情表現(平静、不満、強い怒り、脅迫)を組み合わせたサンプルデータを用意
- 100回
-
問い合わせ内容
- 返金、二重請求、キャンセル、配送、ログインなどのカスタマーサポートを想定
-
出力形式
- 各判定結果と、その確率を含む構造化データ
-
評価項目
- 判定結果、確率、レスポンスタイム、API推論コスト、出力エラーの有無
-
比較方法
- 同一の100件をJevとNova Microの双方に1件ずつ入力して比較
- 但しNova Microでは評価・判定に関する指示文を付加
- さらにNova MicroはStructured Outputに公式に対応していないため、以下のリンク先で示されるプラクティスを使ってレスポンス構造の固定化も試行しており、入力トークンがその分増加
これは余談ですが、今回の検証にあたって、ダッシュボードを自作しました。
以下のような形で全クエリをリストして評価しています。
検証結果
それでは検証結果です。最初にパフォーマンス、コスト、トークンに関する統計を確認し、次に判定・評価結果を比べていきます。
パフォーマンス、コスト、トークン
全ての項目で、JevがNova Microに勝る結果となりました。
| 評価項目 | Amazon Nova Micro | Jev | Nova / Jev |
|---|---|---|---|
| 出力検証成功 | 91 / 100 | 100 / 100 | － |
| p50応答時間 | 575 ms | 203 ms | 2.83倍 |
| p95応答時間 | 743 ms | 290 ms | 2.56倍 |
| 推論料金合計 | $0.0043051 | $0.0026828 | 1.60倍 |
| 有効結果1件あたりの料金 | $0.00004731 | $0.00002683 | 1.76倍 |
| 入力トークン | 68,076 | 63,876 | 1.07倍 |
| 出力トークン | 13,732 | 9,820 | 1.40倍 |
まず、Nova Microの出力検証の成功率は100%ではありませんでした。Nova Microは確率の合計で1未満の値を出力することがあり、これを出力不正と扱ったためです。この時点で結論が出たようなものですが、折角なので、もう少々お付き合いください。
次に、応答時間もJevの方が倍以上早いという結果になりました。Nova Microも1秒かかっておらず、さすがは最軽量モデルという速さではありますが、Jevの方がさらに速いという結果になりました。
総コストでもJevに軍配が上がっています。Nova Microは入力単価だけを見るとJevより約17%安価ですが、Jevの出力単価が無料というのがやはり大きいと言えます。
判定・評価結果
次に、Nova Microによる判定・評価結果がJevとどれほど一致したかを見ていきましょう。
各問い合わせに対し、問い合わせの目的（intent）、返金要求の有無（refund_requested）、過去の問い合わせからの継続案件か（followup）、不満・怒りの強さ（frustration）の4項目を定義して判定します。各候補の確率も出力させ、Nova MicroとJevで判定結果や確信度にどの程度の差が生じるかを比較しました。
| 判定項目 | Jevとの一致 | 一致率 |
|---|---|---|
| intent | 85 / 91 | 93.4% |
| refund_requested | 83 / 91 | 91.2% |
| followup | 80 / 91 | 87.9% |
| frustration | 27 / 91 | 29.7% |
intentとrefund_requestedに関しては9割以上の一致が認められたと言えます。一方で followup はJevとの一致率が87.9%にとどまりました。
frustrationの一致は僅か29.7%でした。Nova Microが文章を読んで不満はないと評価したものを、Jevは逆に不満があると評価している、またはその逆という結果が多かったことになります。実に約7割が不一致という結果になりました。両モデルの違いが評価を左右しているのだとすると、興味深い結果です。
さて、今回の検証では、前提として「Jevが正しい」「Nova Microが正しい」という情報はないものと考えてください。単純に一致した割合、言い換えればJevと同じ評価をしたかどうかだけを比べているものです。どちらかを絶対的な正解と扱っているわけではありません。
人間社会における回答の正解を評価する場合は、人手で定義した正解ラベルを用意した上で、両モデルを同じ正解データに対して評価する方法が適切です。
まとめ
あくまで今回の検証の場合という前提付きですが、Nova MicroとJevを比較した結果、パフォーマンス、トークン、コストにおいてJevが勝る結果となり、また両者の判断・評価結果は大きく異なるという結果が得られました。
判断・評価をどちらが正解という話を抜きにしても、結果がこれだけ異なるという事実から、Jevを単純にNova Microに置き換えて代替モデルにすることは困難という結論になるでしょう。
ただ、ここまでお読みいただいて分かるように、単純な判断・評価だけでなく「その判断が正解かどうか」が業務では非常に重要です。
今回は敢えてJevとNova Microのどちらが正解だったかという話には触れていません。モデルから応答された結果をどう扱うのか、責任を持つのは人間です。正しく事前定義が行え、業務の判断と一致することが確認できれば、JevのようなAIによる判断・評価を適切に活用することができます。このことを覚えておくのが大切です。