はじめに

PDFのファイルを学習させて、PDFの内容についてChatGPTと連携して応答するLINEボットを作りました。
データベースはQdrantを使用。
応答速度についてボトルネックになっていたのが、Qdrantへのアクセスの処理でした。

ボトルネック解消にはいくつかアプローチが考えられますが、まずは手っ取り早く金で解決する方法（サーバーのスケーリング）について、覚え書きを。

Qdrantとは

ベクトル類似検索エンジンおよびベクトルデータベース。
高速で高精度なベクトル検索を実行できます。
例えば歴史上の人物や商品などの類似アイテムを抽出することが可能。

他のベクトルデータベースとして、Pineconeがあります。

Pythonでコーディングして、GCP(Google Cloud Platform)にデプロイ。
学習させたファイルは2つのPDFファイル(1.8MB 37ページ、1.8MB 24ページ）

QdrantでRetrievalを行う処理は、こちらの資料を参考にさせていただきました。

LINEボットとのやりとりはこんな感じ

ベクトルデータベースの諸元はこちらの通り

使用量に対してRAMやメモリのリソースは余裕なので、スケーリングによるパフォーマンスの向上はそんなに大きくならないかも...

1ヶ月あたりのコストは33ドル（1ドル150円で4,950円）

こちらのやり取り、5回の平均で 47.965秒。

結論から申しまして、コスト 2倍で 5% の処理時間が短縮。

15文字程度の回答であれば処理時間が
4.38秒　→ 3.93秒　と 10% 改善するケースも。

1ヶ月あたりのコストは67ドル（1ドル150円で10,050円）

別のベクトルデータベースのPineconeも試して、パフォーマンスを確認したい。