import watson_nlp
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
# word embedding モデルをダウンロードして読み込みます
# CP4Dオンプレ環境では watson_nlp.load('embedding_glove_ja_stock') のようにします
glove_model = watson_nlp.load(watson_nlp.download('embedding_glove_ja_stock'))

# 検索語句
search_term = '人工知能'
# 表示する語句の数
num_display = 10

# 検索語がモデルの語彙に含まれていることを確認
try:
    term_index = glove_model.embedding.vocab_to_idx[search_term]
except KeyError:
    raise KeyError('「{}」 はモデルの語彙にありません'.format(search_term))

term_vector = glove_model.embedding.data[term_index]
term_mat = np.expand_dims(term_vector, axis=0)
vocab_sim = cosine_similarity(glove_model.embedding.data, term_mat).squeeze()
word_ranks = np.argsort(-vocab_sim)

# 語句とスコアを表示
idx_to_vocab = {v:k for k,v in glove_model.embedding.vocab_to_idx.items()}
for idx, rank in enumerate(word_ranks):
    if idx == 0:
        print('語句：{0} '.format(idx_to_vocab[rank]))
    else:
        print('{0}位： {1} 　, Score: {2:.2f}'.format(idx, idx_to_vocab[rank], vocab_sim[rank]))
    if idx > num_display:
        break

import watson_nlp
from watson_nlp.toolkit.embedding import train_glove_utils
from watson_nlp.blocks.embedding import GloVe

# Discoveryのマニュアルからテキストを抽出した入力ファイル（discovery_manual.txt）
glove_corpus = "discovery_manual.txt"
# 形態素解析(tokenize)した結果を保存するファイル(discovery_manual.tok)
glove_tokenized_corpus = "discovery_manual.tok"
language = "ja"
train_glove_utils.prepare_data_for_glove_train(glove_corpus, glove_tokenized_corpus, language)

# 作成したファイル（形態素解析した語句群）を使用して独自モデルを作成します。
corpus = "discovery_manual.tok"
my_model = GloVe.train(corpus=corpus)

# 作成したモデルをローカル環境に保存（フォルダが作成される）
my_model.save('./my_model')

zip -r my_model.zip my_model/

import watson_nlp
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
# linux環境で作成したモデル(zip形式)をプロジェクトにコピーしておき、以下のコマンドで読み込みます
# CP4Dオンプレ環境では watson_nlp.load(wslib.load_data("my_model.zip")) とします
my_model = watson_nlp.load(project.get_file('my_model.zip'))
glove_model = my_model

search_term = 'プラン'
num_display = 10

# 検索語がモデルの語彙に含まれていることを確認
try:
    term_index = glove_model.embedding.vocab_to_idx[search_term]
except KeyError:
    raise KeyError('「{}」 はモデルの語彙にありません'.format(search_term))

term_vector = glove_model.embedding.data[term_index]
term_mat = np.expand_dims(term_vector, axis=0)
vocab_sim = cosine_similarity(glove_model.embedding.data, term_mat).squeeze()
word_ranks = np.argsort(-vocab_sim)

# 語句とスコアを表示
idx_to_vocab = {v:k for k,v in glove_model.embedding.vocab_to_idx.items()}
for idx, rank in enumerate(word_ranks):
    if idx == 0:
        print('語句：{0} '.format(idx_to_vocab[rank]))
    else:
        print('{0}位： {1} 　, Score: {2:.2f}'.format(idx, idx_to_vocab[rank], vocab_sim[rank]))
    if idx > num_display:
        break