GPT-OSS-120B - OpenAI(via groq)が追加料金なしに選択可能に！
watsonx Orchestrateは様々なLLMを提供し、これまで、GUI上ではllama-3-2-90b-vision-instructとllama-3-405b-instructの2つのモデルのみを選択可能でした。（実際にはgpt-ossやmistral,graniteなどのモデルも提供していますが、ADKを用いて設定する必要がありました）
IBMとGroq社が業務提携し、watsonx OrchestrateからGroqが利用可能になるという記事を以前書きましたが、なんと今回、10/24のアップデートで、Groq上で動作するgpt-oss-120bをGUI上から選択して追加料金なしに利用することが可能になりました。
動作確認
新規にエージェントを作成し、モデルとして、GPT-OSS-120B - OpenAI(via groq)を選択します。
気象情報を取得可能なツールを追加して「東京と千葉の天気を比較して」と依頼すると正しくツールを呼び出して回答してくれました。レスポンスも非常に速く、快適に使用することができます。
gpt-oss-120b利用の際のシステム・プロンプトの変更
使用方法自体は、非常に簡単なのですが、いくつかの注意点があります。実は今回のアップデートでgpt-oss-120bを使用する際のシステム・プロンプトが変更されました。これまで、あらかじめ製品で定義されたプロンプトにエージェントに対する指示が組み合わされてシステム・プロンプトとして利用されていましたが、gpt-oss-120bを使用した際には、エージェントに対する指示のみがシステム・プロンプトとして使用されます。
例えば以下のような指示をエージェントに対して与えたとします。
その場合、実際に利用されるプロンプトは以下のような非常にシンプルなものになります。
[
"System: 常に簡潔な回答を心がけてください。
Human: 東京と千葉の天気を比較して"
]
システム・プロンプトの簡略化には、以下のようなメリット、デメリットがあります。
メリット
- 制御の自由度の拡大
- パフォーマンスの向上
これまでは、製品が自動的に利用するシステム・プロンプトの挙動をカスタマイズするには、それを打ち消すような追加のプロンプトを記述する必要がありました。また、かなり詳細な指示を含むプロンプトだったため、LLMでの処理負荷が高く、レスポンスにも影響がありました。
デメリット
- モデル固有の問題に個別に対処する必要がある
一方、例えばツール呼び出し時に足りないパラメータがある場合にはユーザーに1つずつ確認してくださいと言ったような、これまでのシステム・プロンプトで指示されていたような内容が無いため、個別に指定する必要があります。
gpt-oss-120bに固有の様々なクセのようなものもありますので、それらに対応するような指示をしてあげる必要があります。詳細については以下のリンク先に記載されていますので参照してください。
https://developer.watson-orchestrate.ibm.com/agents/descriptions#the-gpt-oss-model-groq/gpt-oss-120b
※既存のエージェントへの影響について
既存のエージェントの振る舞いに影響を与えないように、もともとgpt-oss-120bを利用していた場合や、他のモデルを使用していたエージェントのモデルをgpt-oss-120bに変更した場合には、システム・プロンプトが変更されないように配慮されているようです。
まとめ
今回のアップデートで、Groq上で動作するLLMを標準で使用できるようになりました。AIエージェントを動作させる場合には、LLMの呼び出しが複数回発生するため、LLM呼び出し部分が高速になることのメリットは非常に大きいです。また、gpt-oss-120bを利用する際のシステム・プロンプト設定の自由度が増したことも地味にありがたいアップデートと言えると思います。