universal-sentence-encoder-multilingual-qaを試した記事です。
universal-sentence-encoder-multilingual-qaとは?
universal-sentence-encoder-multilingualでは、日英翻訳であったり、類似語検索であったりに使えるモデルでしたが、こちらはQAに使えるモデルです。
マルチリンガルということで日本語の質問に英語で回答するといったことが可能です。
サンプル
モデルの紹介ページにもサンプルはありますが、こちらのページの方がより分かりやすいサンプルかと思います。
実行
SQuADを使ってSimple Neighborsの処理を流しますが、ロースペックPCであっても然程時間はかからず処理終了します。(3年前のミドルスペックノートで15分ほど)
質問
サンプルのコードでは質問をランダムチョイスしているのでそこだけ変えてみましょう。
num_results = 5 # 欲しい回答数を設定
query =["今日の天気は晴れですか?"] # 質問文を設定
display_nearest_neighbors(query[0])
回答
日本語の質問に英語で回答されます。
英語回答をDeepLで翻訳すると以下のようになります。
1.南カリフォルニアは地中海性気候で、雨が少なく、晴れの日が多いのが特徴です。
2. 典型的な夏の午後には、雷雨が発生することもよくあります。
3. 深刻な雨が降ることも珍しくありません。
4. 北ペニン山脈の雨陰にあるため、英国で最も乾燥した都市のひとつです。
5. 夏は暑くて雨が多く、夏の雷雨で豪雨になることもよくありますが、短時間で終わります。
結果
そう外れていない回答が返ってきているように見えます。
何より日本語の質問にこのレベルで返せているのが凄いですね。
自社QAのデータをファインチューニングすると中々いいものが出来上がりそうです。