はじめに

watsonx Assistantからwatsonx.aiのAPIを呼び出す手順を説明するガイドが複数公開されています｡
ガイドの中で､watsonx.aiのOpenAPIドキュメントとして以下のGitHubリポジトリを案内している場合が多いのではないでしょうか｡
assistant-toolkit/integrations/extensions/starter-kits/language-model-watsonx/watsonx-openapi.json

しかし､上記のOpenAPIドキュメントは現状､watsonx.ai APIの「デコード」パラメータを"Sampling"で実行するためのパラメータが不足しています｡

※Samplingモードとは
SamplingモードはGreedyモードと比較して生成される文のランダム性が大きくなります｡
以下､ドキュメント「基盤モデル・パラメーター: デコードおよび停止基準」より引用

Greedy decoding: Selects the token with the highest probability at each step of the decoding process.

Sampling decoding: Offers more variability in how tokens are selected.

上記Git Hubリポジトリに"Sampling"モードに対応したパラメータの追加をリクエストしているのですが､反映されるまでの暫定策として本記事ではOpenAPIドキュメントを手動でアップデートする手順をご紹介し､"Sampling"モードでの実行を試してみたいと思います｡

参考) "Greedy"モードのパラメータ(watsonx.ai UIより)

参考) "Sampling"モードのパラメータ(watsonx.ai UIより)

watsonx-openapi.jsonにパラメータを追加する

まずはGitHubにアクセスして､watsonx-openapi.jsonファイルをダウンロードしてください｡

エディタで開き､"parameters"セクションに以下3つのパラメータを追加してください｡

"decoding_method": {
  "type": "string",
  "description": "Decoding is the process that a model uses to choose the tokens in the generated output.",
  "example": "greedy"
},
"top_k": {
  "type": "number",
  "description": "Top-k sampling samples tokens with the highest probabilities until the specified number of tokens is reached.",
  "example": "50"
},
"top_p": {
  "type": "number",
  "description": "Top-p sampling samples tokens with the highest probability scores until the sum of the scores reaches the specified threshold value.",
  "example": "1"
}

参考) 編集後イメージ("parameters"セクション部分のみ抜粋)

watsonx Assistantでのチャットボット作成

以下のQiita記事を参考に「Step1：Action起動時のメッセージ」までを実施してください｡
「Extension(カスタム拡張機能)の作成」手順では上記手順で編集したwatsonx-openapi.jsonをインポートしてください｡
生成系AI活用術！watsonx Assistant × 生成系AI(watsonx.ai) 連携ガイド

続いて､「Step2： watsonx.ai用extensionの呼び出し」手順ではjsonファイルの編集によってデコード"Sampling"でもAPIを実行可能になっています｡
本記事では例として以下のように設定してみます｡

Parameters
- version： 2023-05-29
- input：「Action Step Variables」→Step1で入力したメッセージを選択
- model_id： meta-llama/llama-2-70b-chat
- project_id： watsonx.aiの「project_id」の値を入力(36桁の英数記号)
Optional Parameters
- parameters.min_new_tokens: 0
- parameters.decoding_method: sample
- parameters.repetition_penalty: 1
- parameters.max_new_tokens: 200
- parameters.top_k: 50
- parameters.top_k: 1
- parameters.temperature: 0.7
- parameters.stop_sequences: 空欄(デフォルト ["\n\n"])