Llamaindex で最もダウンロードされているベクトルストアライブラリとは？

Last updated at 2024-11-27Posted at 2024-11-27

生成 AI アプリ開発フレームワークでおなじみ LlamaIndex は、ベクトルストアなどの機能と統合することで LLM を RAG で強化することができます。LlamaIndex は現在 20 種類以上のベクトルストアをサポートしており、開発者は好みのモジュールを選んで実装することができます。

このダウンロード数を見ることで何らかのインサイトが得られる？かもしれません。

Download Ranking (Last Month)

pypistats から検索可能な llama-index-vector-stores-* から全部盛りでデータを取得。2024/11/27 に実行。CI Download も含む。

注意
ダウンロード数は単純にモジュールが「どれだけ使用されているか」を正確に反映しない場合があります。例えば、継続的インテグレーション（CI/CD）システムが頻繁に依存関係を再インストールすることで、ダウンロード数が増加することがあります。ですのであくまで複数の指標のうちの一つとして捉える必要があります。

pypistats with Python

pip install pypistats

import pypistats
import json

result = pypistats.recent("llama-index-vector-stores-postgres", format="json")
json.loads(result)

{'data': {'last_day': 1489, 'last_month': 220037, 'last_week': 64206},
 'package': 'llama-index-vector-stores-postgres',
 'type': 'recent_downloads'}

TOP 10(Last Month)

PostgreSQL が 1位！

オープンソースの RDBMS でベクトルストアにも対応(pgvector 拡張)している PostgreSQL が最もダウンロードされているようです。Azure だけでなくさまざまなクラウドプラットフォームに対応しており、オンプレでも実行できるため数で勝るというところでしょうか。

^{DB-Engines Ranking (Vector DB + secondary database models, Nov.2024)}

DB-Engines Ranking でも PostgreSQL は上位のベクトルストア（セカンダリ DB モデルを含む）ですね。

azure_ai 拡張

Azure の話にはなりますが Azure Database for PostgreSQL - フレキシブルサーバーでは、azure_ai 拡張で Azure OpenAI と連携して Embeddings を格納したりできます。

-- Insert embeddings 
INSERT INTO conference_session_embeddings
    (session_id, session_embedding)
SELECT
    c.session_id, (azure_openai.create_embeddings('text-embedding-ada-002', c.session_abstract))
FROM
    conference_sessions as c  
LEFT OUTER JOIN
    conference_session_embeddings e ON e.session_id = c.session_id
WHERE
    e.session_id IS NULL;

-- Create a HNSW index
CREATE INDEX ON conference_session_embeddings USING hnsw (session_embedding vector_ip_ops);
    
-- Retrieve top similarity match
SELECT
    c.*
FROM
    conference_session_embeddings e
INNER JOIN
    conference_sessions c ON c.session_id = e.session_id
ORDER BY
    e.session_embedding <#> azure_openai.create_embeddings('text-embedding-ada-002', 'Session to learn about building chatbots')::vector
LIMIT 1;