はじめに

本記事では、2023年からIBM Cloudにて提供されはじめたAIサービス、NeuralSeekについて取り扱います。

皆さんはNeuralSeekという製品、聞いたことがありますか？

NeuralSeekは、CerebralBlue社が作成したIBM Cloudで扱える生成系AIのSaaS製品です。
企業ナレッジベースと連携させ、ユーザーの質問に対して投入した文書の文脈に応じた応答を提供することができます。

Google検索でもあまり多くはヒットしないところを見ると、まだまだ知名度が低く、製品ナレッジもそこまで蓄積されていないようです。
（AzureのOpen AIなど猛威を振るっている製品に埋もれてしまっているような感じ）

しかし実際に筆者が触ってみたところ、「NeuralSeek、結構いい感じかも？」となったため、他のAI製品に埋もれさすにはもったいないと思い、本記事を執筆するに至りました。
その第一歩として、まずはハンズオンでどのようなサービスかを実際に手を動かして知っていこう！という試みがこちらです。

本ハンズオンの成果物としては、watsonx Assistant上で触れる簡易的なチャットボットになります。

もしご興味がある方は、ぜひトライしてみてください。

前提

このハンズオンでは、NeuralSeekをIBM製品であるWatson Discovery、watsonx Assistant（旧：Watson Assistant）と連携し、以下の構成の簡易的なチャットボットを作成してみます。

よって、NeuralSeekの他にWatson Discoveryとwatsonx Assistantのインスタンスが必要です。

今回のハンズオンではナレッジベースをWDとしていますが、以下サービスとも連携可能です。

手順概要

チャットボット作成の大まかな手順は以下になります。

Watson Discoveryのセットアップ
a. インスタンス作成
b. project作成
c. 文書投入
NeuralSeekのセットアップ
watsonx Assistantのセットアップ
a. インスタンス作成
b. Assistant作成
c. Custom Extensionの作成
d. Actionの作成
回答確認
回答チューニング
運用Tips

詳細手順

1. Watson Discoveryのセットアップ

a. インスタンス作成

IBM Cloudにログインし、「Watson Discovery」と検索します。

IBM Cloudカタログの Discovery リソース・ページに移動し、プラス・プラン・サービス・インスタンスを作成します。

資格情報(API鍵/URL)をメモしておき、作成したWatson Discoveryを起動し、Projectを作成します。

b. project作成

任意の[Project name]を入力します。
[Project type]はConversational Searchを選択し、「Next」を選択します。*
次に、Data Sourceを選択します。Watson Discoveryは様々なデータソースやファイルタイプに対応していますが、今回は例として、 Web crawlを選択し「Next」を選択します。
*NeuralSeekとはConversational Search以外のProject typeは接続できないため、注意してください。

c. 文書投入

Web crawlについての各種設定を行います。
今回は日本IBMのWebページ (https://www.ibm.com/jp-ja)をクロールするため、URLを設定します。

ペンマークをクリックし、「5」を入力します。

[Integrate & Deploy]>[API Information]からProject IDをメモし、文書投入が終わるまで待ちます。

2. NeuralSeekのセットアップ

IBM Cloudのカタログから「NeuralSeek」を検索し、インスタンスを作成します。ここでは、無料のLiteプランを選択します。*
*Liteプランはインスタンス作成後、30日で消失する可能性があります。あらかじめご認識ください。

[Launch NeuralSeek]をクリックして、NeuralSeek を開きます。

NeuralSeekを起動すると、HomeタブのBasicsステップが選択された状態で開始されます。
Watson Discoveryに投入した文書と関連のある企業の名前を入力します。
言語は日本語を選択し、利用目的に合わせて外部/内部を選びます。
[Next]をクリックします。

続いて、連携するナレッジベースを指定します。
先ほどメモしたDiscoveryの情報を入力します。
[Test]を押下し、入力したDiscoveryとの接続確認をし、[Next]をクリックします。*
*1度目の押下時にビックリマーク（WDからレスポンスが返ってこない旨）が表示されることがありますが、再度Testしていただくと解消します。解消しない場合は入力内容を確認してください。

About ステップでは、NeuralSeek が入力した会社または組織についての紹介文を自動生成します。
上記の内容が正確であることを確認してください。
フレームワークは、今回はwatsonx AssistantのAction機能を利用するため、[Watson Assistant Actions]を選択します。
レスポンスに回答の根拠となるリンクを含めたい場合は、[Enable]とし、[Next] をクリックします。

文書コンテンツとデータに最も似た設定を選択し、コンテンツがどの程度最新であるかを最もよく表すオプションを選択します。

[Next]をクリックし、NeuralSeekのセットアップは完了です。

続いて、watsonx AssistantとNeuralSeek を統合するための情報を取得します。
[Integrate]タブに移動します。
APIキーをメモし、Custom Extension OpenAPIファイルをダウンロードします。
watsonx AssistantをNeuralSeekと統合するには、これらの両方が必要です。

3. watsonx Assistantのセットアップ

a. インスタンス作成

watsonx Assistantのインスタンスを作成します。ここでは、無料のLiteプランを選択します。*
*Liteプランは非アクティブな状態が30日間続くと、自動的に削除される可能性があります。あらかじめご認識ください。

watsonx Assistantを起動します。

b. Assistant作成

続いてAssistantを作成します。
Assistant Nameの入力や、languageを選択し、[Next]を選択します(環境によって画面が異なる場合があります)。

適宜情報を入力し、[Next]を選択します。

そのまま[Next]ですすみ、「IBM Watson Assistant Lite」のロゴを選択します。

c. Custom Extensionの作成

左サイドメニューから[Integration]に移動し、スクロールして[Build Custom extension] をクリックします。

「Next」を選択します。

拡張機能にNeuralSeekという名前を付け、簡単な説明を入力し、[Next]をクリックします。

こちらでダウンロードした、NeuralSeek OpenAPIファイル(NeuralSeek.json)をアップロードし、[Next]をクリックします。

レビューを確認して[Finish]をクリックします。

表示される新しい NeuralSeek 拡張タイルで、[Add] >[Add] >[Next] の順にクリックします。

認証画面で、API キー認証を選択し、p.19にて取得したNeuralSeekのAPIキーを入力します。
[Next] >[Finish] の順にクリックします。

以上でNeuralSeekと連携する準備が整いました。

d. Actionの作成

続いて、Actionを設定していきます。Actionは、外部APIとのやり取りを行う際に設定をします。
NeuralSeekは公式でNeuralSeekアクションのスターターキットを配布しているので、今回はそちらを利用します。
以下のWebサイトにアクセスし、[neuralseek-actions.json]ファイルをダウンロードします。
https://github.com/watson-developer-cloud/assistant-toolkit/tree/master/integrations/extensions/starter-kits/neuralseek

本手順ではAssistantの言語設定をJapaneseで作成しているため、ダウンロードしたActionのjsonファイルを開き、languageの設定を”ja”、off_topicの設定”false”に修正します。

language
off_topic

左のサイドメニューからActionsを選択し、表示された画面の右上にある歯車マークを選択します。
Upload/Downloadタブにて、ダウンロードした「neuralseek-actions.json」ファイルをアップロードします。

テンプレートが追加されると、Statusに赤色のインジケーターが表示されることがわかります。これに対処するために、 [NeuralSeek search]を選択し、アクションを開きます。

NeuralSeekテンプレートの3番目のstepが赤くなっていますが、このステップに、Extensionを設定する必要があります。
[And Then]セクション内で、 [Edit extension] をクリックします。

続いて、NeuralSeekからの応答を求めるように操作を更新します。
ドロップダウンメニューから先ほど作成したCustom Extensionの[NeuralSeek]を選択します。
Questionパラメータを[Session Variable]>[query_text] に設定します。
options.language文字列を[Expression]>”ja”に設定します。
[Apply]をクリックします。

保存してアクションを閉じます。Statusがグリーンになっていることを確認します。
以上でwatsonx Assistantのセットアップは完了です。

4. 回答確認

watsonx AssistantとNeuralSeekの連携が完了したので、Preview機能で質問をしてみます。
回答が返ってくることができたら、チャットボットの作成は完了です。

5. 回答チューニング

続いて、回答の細かい設定を行います。チャットボットの回答は、watsonx AssistantやNeuralSeekでカスタマイズすることが可能です。

ここでは、冒頭のあいさつが英語になっているので、日本語にします。

watsonx AssistantのActions>Set by assistantを選択し、[Greet customer]をクリックします。
Step1に既存で設定されている英語のあいさつを、任意の日本語文に変更します。

変更後、保存します。

続いて、NeuralSeekから得られる回答の内容をカスタマイズします。

回答の長さは、 NeuralSeekのConfigure>Answer Engineering & Preferencesにて調節できます。
より長い回答を得たい場合は、Very Verboseに近づけます。

設定値の変更による回答内容を比較してみます。
左：変更前
右：変更後

NeuralSeekのレスポンスには、回答の根拠となるリンクを付与する機能があります。しかし、デフォルト設定のままではうまく機能しないことがあるため、その場合は以下の手順を実施してみてください。
Actions>Created by youを選択し、[NeuralSeek search]をクリックします。

[Assistant says]セクション内に、aタグで囲まれたbody.urlが含まれていることを確認します。

NeuralSeekのConfigure>Confidence & Warning Thresholdsにて、Semantic Scoreを[Disable]にします。

Previewにて確認します。「こちら」をクリックすると、Watson DiscoveryでクロールしたWebページにアクセスできます。

6. 運用Tips

ユーザーとのQAのやりとりはNeuralSeek内に全て保存されており、Logsタブから確認できます。
また、日付、セッションID、質問、回答で効率的にフィルタリングすることができます。

回答の精度が思わしくない場合、その回答をトレーニングすることができます。
Curateタブを開き、回答の質問を開きます。これまで回答したAnswerの一覧が表示されるので、クリックして編集します。

まとめ

NeuralSeekを連携したチャットボット作成は以上になります。

いかがでしたでしょうか？
NeuralSeekの強みはなんといっても手軽さにあると思います。ノーコードで構築でき、チューニングもGUIで設定できるので、コードを書き慣れていない方でも簡単にプロビジョニングすることができます（＝ユーザー向き）。

筆者は未実施ですが、BYOLLM（Bring Your Own LLM）プランを利用すれば、サポートされたLLMを連携してプロンプトチューニングも可能になるので、より回答の精度を上げることもできると考えています。

日々アップデートされているのでこれからもキャッチアップして情報共有していければと思います。

以上、ご覧いただきありがとうございました。