こんにちは！この記事では、OpenAI が開発した機械学習モデル「CLIP」とベクトルデータベース「Pinecone」を使って、アップロードした画像に似た商品を見つけるシステムを簡単に作れないかの試みを記載していきます！

この記事で紹介するシステムは、まだ完璧なものではありませんが、徐々に改善を重ねながら精度を高めています。ぜひこの記事を参考にして、みなさんも試してみてください！

どんなことができるの？

例えば、こんなシーンで活躍します：

AIを使えば、これらが驚くほど簡単に実現できるはず！

使うツールのご紹介

CLIPはOpenAIが開発したモデルで、画像と言語を同じ空間に変換する技術です。画像を「数字の特徴量」に変換することで、他の画像との類似度を計算できるようになります。

Pineconeは、大量のデータを高速で検索・保存できるクラウドサービスです。AIで生成された特徴量データ（ベクトル）を使った類似検索に最適です。

rembgは、画像の背景を除去するPythonライブラリです。背景を取り除くことで、商品の形状や色にフォーカスした特徴量抽出が可能になり、検索精度が向上します。

この仕組みは以下の手順で動作します：

このプロセスは現在も改良中であり、背景の処理や類似度計算の精度向上を目指しています！

今回の記事では、コードの詳細を省略し、GitHubリポジトリにまとめています。以下のリンクからソースコードを確認し、ぜひ試してみてください！

➡ マスタデータ登録リポジトリ：clip-pinecone-vectorizer

➡ 検索のサンプルコード：sample_query.py

必要なライブラリや環境設定は README に記載していますので、そちらを参考にしてください。

現在はまず、マスタデータの登録処理を作成し、簡単なデータをPineconeに登録できる状態を整えました。また、登録データを基に類似検索を試すための検証用スクリプトも準備済みです。

次のステップでは、アップロードされた画像から特徴量を抽出し、登録データとの類似度を比較する機能の実装を進めていきます。

随時改善を進めながら、より多くのデータセットや条件に対応できるようにしていく予定です。

検証では、ルイヴィトンのモノグラムのトートバッグを中心に評価し、5位以内に表示された確率は76.9%（10/13）という結果になりました。
ただし、今回使用したデータは十分に多いとは言えず、あくまで現時点での暫定的な結果です。

特に、光の当たり方やバッグの置き方によって検索結果が左右されることが確認できました。この点についても、さらなる検証や調整が必要です。これらを改善することで、さらなる精度向上が期待できると思います！

この記事では、CLIPとPineconeを活用して画像検索システムを構築する試みを紹介しました。現在も改良中のシステムですが、基礎的な部分は実現可能であり、応用次第では幅広い活用が期待できます。

技術的なチャレンジを重ねながら、少しずつシステムの完成度を上げていきたいと考えています。改良を重ねる中で、新たな可能性や応用の道が開けていくことを楽しみにしています🙌