COTOHA
実装
- COTOHAというNTTが提供している自然言語系のAPIを触ってみます。
- 文章と文章の類似度を算出するAPIを使います。
- Ipython形式で実装します。
ライブラリのインポート
import json
import numpy as np
import pandas as pd
import urllib.request
from os import path
情報の定義
- アカウントホームのデータを定義する。
- Developer API Base URLとAccess Token Publish URLは全ユーザー共通だと思いますが、念のため各自登録してお調べください。
base_url = [Developer API Base URL]
developer_id = [Developer Client id]
secret = [Developer Client secret]
token_url = [Access Token Publish URL]
'Content-Type': 'application/json',
}
アクセストークンの取得
- アクセストークンを取得するため、POSTでアクセストークン取得用のAPIにアクセスします。
data = {
'grantType': 'client_credentials',
'clientId': developer_id,
'clientSecret': secret
}
req = urllib.request.Request(token_url, json.dumps(data).encode(), headers=headers, method='POST')
with urllib.request.urlopen(req) as res:
access_info = json.load(res)
print(access_info['access_token'])
単語文章同士の類似度取得
*取得したアクセストークンをヘッダーに詰めて、類似度取得APIにアクセスします。
def similarity_api(s1: str, s2: str):
data = {
's1': s1,
's2': s2,
'type': 'default'
}
headers = {
'Content-Type': 'application/json;charset=UTF-8',
'Authorization': 'Bearer {}'.format(access_info['access_token'])
}
url = base_url + 'nlp/v1/similarity'
req = urllib.request.Request(url, json.dumps(data).encode(), headers=headers, method='POST')
with urllib.request.urlopen(req) as res:
body = json.load(res)
return body
similarity_api('近くのレストランはどこですか？', 'このあたりの定食屋はどこにありますか？')
所感
- 単語や文章の類似度の算出は、tf-idf、word2vecやdoc2vecで割と世の中に出回っているため、目新しさはないです。
- ただ、機械学習に慣れていない方には比較的に簡単に扱えるため、便利だと思います。
- また、wikipediaのデータで自分で学習したword2vecのモデルより、対応している単語も多くかつ、類似度の精度も高い印象でした。