LoginSignup
1
1

More than 1 year has passed since last update.

自然言語処理の技術をAPI化し、レスポンス結果として受け取るとき、タイムアウトなどしてしまうときの対処

Posted at

・自然言語処理の技術をAPI化し、レスポンス結果で受け取るとき、ベクトル化の部分などで時間が掛かりタイムアウトエラーになることがある。
・その対処法として、ベクトル化データをnumpyフォーマットで保存する方法。

# モデルファイルのパスを取得
file_path = f'{os.path.dirname(os.path.abspath(__file__))}/data/SentenceBert_Triplet'
model = SentenceTransformer(file_path) # モデルを読み込み

## 結果で出力するクエリをベクトル化
#sentence_vectors = model.encode(sentences)

## ベクトルデータを numpy フォーマットでファイル保存
## モデルに変更があれば、作り直す必要がある
#np.save('/tmp/sentence_vectors.npy', sentence_vectors)

# ベクトルデータファイルのパス
vector_file_path = f'{os.path.dirname(os.path.abspath(__file__))}/data/sentence_vectors.npy'
# 保存しておいたベクトルデータファイルのデータを読み込む
sentence_vectors = np.load(vector_file_path)
1
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
1