watsonx.aiのマルチモーダルモデルをつかってバナー画像の適合性判定を行ってみます。
- テスト環境
- watsonx.ai on IBM Cloud
以下のIBMページの「特別キャンペーン実施中【3月31日までの期間限定】SPSSの月間サブスクリプションが今なら30％OFF」というキャンペーンのバナー画像とキャンペーンの見出しが適合しているかどうかを判定させてみます。あらかじめバナー画像はダウンロードしておきます。
バナー画像のアップロード
まずPromptLabを起動し、「チャット」モードでファイルのアップロードボタンをおして「イメージの追加」を選びます。
「参照」ボタンをクリックします。
バナー画像を開きます。
アップロードされたら「追加」をクリックします。
モデルの選択
ファイルが読み込まれました。マルチモーダルに対応したモデルを選びます。
ここではllma-3-2-11b-vision-instructを選びました。
記事との適合性の判定
以下のプロンプトを実行してみます。二つの記事のどちらにあったバナーか？を判定させています。
この画像は、以下の記事のうちどちらの記事に適切なバナー画像でしょうか？
記事1：特別キャンペーン実施中
【3月31日までの期間限定】SPSSの月間サブスクリプションが今なら30％OFF
記事2：どうなる国産自動車？2035年自動車業界の将来展望
「この画像は、記事1に適切なバナー画像です。」だという回答が戻りました。正しく判定できました。
さらに以下のプロンプトで点数も聞いてみます。
この画像を「特別キャンペーン実施中【3月31日までの期間限定】SPSSの月間サブスクリプションが今なら30％OFF」というタイトルの記事のバナー画像として使う場合の適合度を100点満点で表すと何点でしょうか？
80点と判定されました。
次に以下のプロンプトで別の記事につかった場合の点数も聞いてみます。
この画像を「どうなる国産自動車？2035年自動車業界の将来展望」というタイトルの記事のバナー画像として使う場合の適合度を100点満点で表すと何点でしょうか？
0点という結果が返ってきました。バナー画像は自動車は関連がないと判定できたようです。
参考
ショート動画でクイックに知る！ watsonxでマルチモーダルモデルを使いましょう #watsonx.ai - Qiita