近傍探索お試し

spotifyさんが新しく公開した近傍探索ライブラリのvoyagerを使用した類似画像検索を試してみます。

とりあえずパパっと動かしたメモなので詳細な性能検証ではないです。

先に結論いろいろ

追記：
ミス発見。
検索時間はもう少し速かったです。上記の0.23秒は近傍探索＋必要な情報の付与（テーブルのjoin処理）を行ったものでした。
実際に利用する場合はこんなもん、という程度で見ていただければ。

簡単。速い。すごい。

画像生成周りの情報も残しておきます。
案外、このへんの「個人向けPCでやると実際どのくらいかかるの？」という情報少ないので。

CPU: Core i7-13700
Mem: 64GB
GPU: RTX-4070(VRAM:12GB)

2024年時点の個人向けPCとしては最高スペックではないがそこそこモリモリぐらいの性能でどうなったかの記録です。

SDXL-turboを使用します。

SDXLでは1024pxの画像を生成しますが、SDXL-turboは512pxのサイズになります。
そして生成速度はめちゃくちゃ速くなります。
SDXLでは一枚あたり10~20秒程度で画像を生成できましたが、turboでは↓ぐらい。

SDXLは徐々に画像を生成していく動きをしますが、その生成ステップを何回行うか、の数字

A single step is enough to generate high quality images.

SDXLでは20stepぐらい。SDXL-turboでは1ステップで十分とのこと

今回は1~5をランダムに設定（数字を増やすと比例して時間はかかる）しました

CLIPの画像エンコーダを使用。
20秒/100枚ぐらい処理できました。

検索用のインデックスを作成＆ファイルに保存をデータ量ごとに比較。

top15の検索を5回やって平均

目視で評価。
対象に入っていない画像をクエリにして検索実験。
上側がクエリ画像、下側に９つ見えているのが検索結果です。

うまく車、特に黄色っぽいのが検索できています。

宇宙っぽい雰囲気を捉えた検索になってそう。

スマホ内の絵柄の方が強く反応したパターン
検索対象の画像の中にも似た構図（スマホを持っている画像）もあったが、宇宙っぽいイラストが優先された。