2
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

NLP concept extraction library using a pre-trained model - 組み込みAI セルフサービス型デジタル共創体験(DSCE)

Last updated at Posted at 2023-10-31

組み込みAI セルフサービス型デジタル共創体験(DSCE)とは

組み込みAI セルフサービス型デジタル共創体験に記載しておりますが、現在STT(speech-to-text)、TTS(test-to-speech)、NLU(natural-language-understanding)等のAIがサーバーに接続しなくても組み込んで利用することが可能となりました。

その情報がこちらのサイト、DSCE(Digital Self-Serve Co-Create Experience;"組み込みAI セルフサービス型デジタル共創体験"?)にて紹介されております。

今回はそのDSCEの中から、「NLP concept extraction library using a pre-trained model」 の実施方法を説明します。
※個人的な利用は無償ですが、商用利用は有償となります。

今回は 「NLP concept extraction library using a pre-trained model」

https://dsce.ibm.com/wizard/try/results/embed-nlp-concept-container-pt#try
この NLP concept extraction library は 入力テキスト内で直接参照していないけども直接参照されているか、言及されている一般的なコンセプトを識別し、抜き出すタスクです。このタスクの目的はテキスト文書の中から最も重要で関連性の高いコンセプトを識別して、その内容を意味ある方法で要約するところにあります。キーワード抽出に似ていますが、単語と句の間の意味関係を考慮することで単純なキーワード抽出の機能を超えることができます。

1. 前提

  • ターミナル環境
    mac : ターミナルを使います。ココ を見てターミナルを起動できるようにしてください。
    windows : powershellを使います。ココ を見てpowershellを起動できるようにしてください。
  • リソース取得
    下のURLにアクセスしリソースを取得します。
    https://github.com/IBM/dsce-sample-apps/tree/main
    ※コード改変&プルリクをするのであれば「git clone」コマンドを使うのですが、今回はソースコードの入手が目的ですので以下の様に Zip 形式でリソースを入手します。
    スクリーンショット 2023-08-12 22.28.26.png
    リソース取得後、zipファイルを展開すると以下のようなフォルダ構成になっていると思います。今回はその中の[sentimet-analysis]配下にあるリソースを使用します。

2. 手順

2.1. [relation-extraction]フォルダに移動

  • zipファイルを解凍した場所を起点として[relation-extraction]フォルダに以下のようにして移動します。

    cd dsce-sample-apps-main/concept-extraction
    

2.2. 必須ライブラリのインストール

  pip3 install -r requirements.txt

2.3. アプリ実行

 python3 relation-extraction.py

2.5. Access the local application

ブラウザを開き、localhost:8050 にアクセス
以下の様な画面が表示されます。
そこにはサンプル分文章とその文章のコンセプト抽出例が表示されております。
文章に関連の深いコンセプトが下に記載される数値と共にグラフとしても表示されます。

ご自身の文章を用いたい場合には、

  1. 画面上部のテキスト欄に文章を入力してください。
  2. テキスト欄右の「Extract concepts」ボタンをクリック
  3. 分析した結果が表示されます。

スクリーンショット 2023-10-31 13.27.43.png

参照:NLP concept extraction library using a pre-trained model

2
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?