最近、JevというLLMモデルが発表されました。
色々調べた結果、利用イメージが出来たので共有しておきます。
結論
- 既存のLLMが出来る以上のことが出来るわけではない
- AIエージェントを利用したアプリの開発（ワークフロー制御）に非常に有用
- AIエージェントアプリのLLM利用料（トークンコスト）を幅広く抑えることができる
AIエージェントを利用したアプリ開発以外で使う用途はない
個人的には、これ以外で利用するケースは思い浮かびませんでした。
最大の理由は、一般的な文章生成や質疑応答といった日常利用であれば、既存の汎用LLMで十分だからです。
利用例（議事録）
音声テキストからLLMを使って自動で議事録を作成するケースを考えます。
このとき、現状では入力された会話内容が「何の会議か」は、LLMが思考して判断します。
しかし、この判定を高機能なLLMにやらせると、無駄なトークンコストが発生してしまいます。
そこで、LLMに渡す前の事前判断をJevに任せることで、LLMの利用料を大幅に抑えることができます。
[ 音声データ / テキスト ]
│
▼
【 Jev 】 ──(軽量・低コストで会議タイプを判定)
│
├───────────────┬───────────────┐
▼ ▼ ▼
[ 全体会議用 ] [ 営業進捗用 ] [ 開発会議用 ]
専用プロンプト 専用プロンプト 専用プロンプト
│ │ │
└───────────────┼───────────────┘
▼
【 高性能LLM 】 ──(高品質な議事録を作成)
実際のJev への質問
{
"kaigi_choice": {
"type": "choice",
"instructions": "会話の内容から、議事録作成の判断を目的として、どの会議かを判断して下さい。",
"criteria": {
"全体会議": "全社員が出席する会議、田中専務が司会し、社長の話で締める。",
"営業進捗会議": "営業部門のメンバーが出席する週次の数値確認会議。売上目標などを話し合う。",
"〜プロダクト開発会議": "〜プロダクトに関する開発会議。進捗報告が中心。〜業務の内容を話し合う。",
"その他": "上記のいずれのカテゴリにも明確に該当しない一般的な会議"
}
}
}
また、会議によってプロンプトを切り替える事が可能になり、
その会議に特化したプロンプトや知識ベース（RAG）を適用して、精度を向上させることも可能です。
利用イメージ
LLMやエージェントに質問する前に簡単な判断をJevに任せることで、LLMの利用料を抑える事ができます。
新たに何かが出来るわけではなく、エージェントと組み合わせて使う。
というイメージが正しいようです。
まとめ
現在、AIアプリを作成する際、LLMの利用料が問題となるケースが増えています。
エージェントの思考が深くなることで、今後もこの傾向は続きそうです。
ローカルLLMで、簡単な質問だけ回答するという対策も聞きますが、Jevはこの問題を解決する大きなブレイクスルーとなりそうです。