Anwer Finding(Watson Discovery)のできること/できないこと #WatsonDiscovery

Answer Findingとは

自然言語検索を行うときに使用できるベータ機能で、質問を解釈して単語や短文でのピンポイント回答を行います。
Watson DiscoveryのWebコンソール上で直接使うことはできず、Watson AssistantのSearch Skillと組み合わせるかAPIによって実行します。
(ご参考)製品マニュアル

以下に実行例で使用したデータを記載します。
[データ1] livedoor ニュースコーパス
(https://www.rondhuit.com/download.html#ldcc)
トピックニュース
Sports Watch
IT ライフハック

[データ2] IBM OpenPages 製品資料
(https://www.ibm.com/support/pages/openpages-watson-documentation-version-82#opv8r2m0ja)

Answer Finding有効化 (Watson Assistant Search Skill)

Search Skill作成時に以下のキャプチャーのように"Emphasize the answer"をOnにします。
[Watson Assistant Webコンソール]

Answer Finding有効化 (API)

Pythonでの実行例を記載します。
※queryの実行例のみ記載します。Pythonパッケージのインストールや認証情報の記載などAPI実行全体については以下の記事を参照してください。
自然言語処理が楽になるDiscovery Query Language
Answer Findingは自然言語検索のオプションですので、"natural_language_query"の値として質問文を定義します。
自然言語検索の回答には、passageという本文の一部が含まれます。そしてAnswer Findingの回答は、passageという本文の一部から作成されます。つまり、文書全体からpassageとして一部が取り出されそこからAnswer Findingの回答が作られているのです。
passages以下の"enabled"と"find_answers"を'true'にすることでAnswer Findingが有効化されます。passageを元文書のどのフィールドから作成するか指定するのが"fields"です。"characters"はpassageの字数を定義します。

response = discovery.query(
  project_id = project_id,
  natural_language_query=\
  '2011年に生まれた男の子の名前の1位は’,
  passages={
  "enabled": 'true’, 
  "find_answers":'true’,
  "fields":['body’],
  “characters”:100
  }
).get_result()

Answer Finding 実行例

Search Skill連携 [データ1]

左側がAnswer Findingが有効化されていない検索、右側が有効化されている検索です。取得されている文書は同じですが、情報の見やすさに差があります。

API(抜粋) [データ1]

"document_passages": [
        {
          "passage_text": “……",
          "start_offset": 0,
          "end_offset": 200,
          "field": "body",
          "answers": [
            {
              "answer_text": "大翔",
              "start_offset": 95,
              "end_offset": 97,
              "confidence": 0.98137116

Answer Finding 5番勝負! ~答えを発見できるか!?~

Watson AssistantのSearch Skillと連携させて照会への回答を確認してみましょう。

1. 質問文全体を理解できるか検証 [データ1]

Answer FindinsがOffの場合は2011年の大河ドラマが検出されていますが、Onにすると2012年の大河ドラマが回答されました。

2. はい/いいえで答えられる質問にどう対応するか検証 [データ1]

Answer FindingがOffの場合はThinkPadに関する文書へのリンクがあるものの生産には関連しない文書を検出しました。一方Answer FindingをOnにするとNECで生産と書かれた文書を検出して回答できました。

3. 適切な長さで回答できるか検証 [データ2]

単語や単文での回答ができることはわかりました。では、手順のようにある程度の長さが必要になる回答はできるでしょうか。

文書内の手順が記載された部分を抽出して回答しています。単語、単文以外の回答もできました。

4. 複数の意味を持つ質問への回答を検証 [データ2]

意味があいまいな質問への対応を見てみます。

「どのように」と聞かれたら人間でも回答に迷いますが、Answer Findingによって2つの意味で解釈した回答が返されました。

5. 同義語や表現のバリエーションに対応できるか検証 [データ1]

同義語辞書を登録せずにAnswer Findingの機能でどこまで同義語に対応できるか検証します。

左側の2つの例では、ロンドンオリンピックをロンドン五輪に、金メダリストを優勝に変えてみましたが同じ回答が得られました。一番右の例では、オリンピックを示す語句を削ってみましたがやはり同じ回答が得られています。
バリエーションの対応範囲は検索対象のデータによって異なるようで、製品マニュアルのように同じような内容の文書が多い場合は語句や表現によって結果が変わりやすいです。