はい、まとめて記事を出力します。
ChromaDBを使って初めてのドキュメント管理アプリを作ってみた！
はじめに
こんにちは！今回は、ChromaDBとStreamlitを使って、マークダウンファイルを管理・検索できるアプリケーションを作ってみました。ベクトルデータベースの勉強を兼ねて、実践的なアプリケーションを作る過程で学んだことを共有したいと思います。
🌟 完成したもの
- マークダウンファイルのアップロード（単一/フォルダ一括）
- ドキュメントの全文検索
- コレクション管理
- 埋め込みベクトルの可視化
- SQLiteデータの直接閲覧
🔧 使用した技術
- Python 3.x
- ChromaDB：ベクトルデータベース
- Streamlit：Web UI作成
- Pandas：データ処理
- SQLite3：データベース操作
💡 アプリケーションの特徴
1. シンプルなUI
menu = st.sidebar.selectbox(
"メニュー",
["コレクション", "ドキュメント", "SQLite", "ベクトル"]
)
サイドバーで4つの主要機能に簡単にアクセスできます。
2. 柔軟なファイルアップロード
if upload_type == "フォルダ一括":
folder_path = st.text_input(
"マークダウンファイルが含まれるディレクトリのパスを入力",
placeholder="/path/to/markdown/files",
help="指定したディレクトリ内のすべての.mdファイルが処理されます"
)
フォルダ内の全マークダウンファイルを一括処理できます。
3. メタデータの自動付与
metadata = {
"category": "ドキュメント",
"file_name": filename,
"upload_date": pd.Timestamp.now().strftime("%Y-%m-%d %H:%M:%S")
}
ファイル名や日時を自動で記録します。
🎓 学んだこと
1. ChromaDBの基本
- PersistentClientを使用したデータの永続化
- コレクションによるドキュメント管理
- 埋め込みベクトルの扱い方
2. Streamlitのテクニック
- キャッシュを使用したデータベース接続
- 動的なUIの構築
- データフレームの表示とフィルタリング
3. エラーハンドリング
try:
with open(file_path, 'r', encoding='utf-8') as f:
content = f.read()
except Exception as e:
st.error(f"ファイル {file} の読み込みに失敗しました: {str(e)}")
適切なエラーメッセージで使いやすさを向上。
🔍 ハマったポイントと解決策
-
ChromaDBのバージョン対応
- v0.6.0で一部APIが変更
- ドキュメントを参照しながら最新の書き方に対応
-
大量ファイルの処理
- メモリ使用量に注意
- ファイル読み込みを逐次処理に変更
-
UIの使いやすさ
- フィードバックを明確に
- 処理状況の可視化
📝 今後の改善点
-
検索機能の強化
- 類似度検索の実装
- メタデータによるフィルタリング
-
パフォーマンスの最適化
- 大規模データセット対応
- 処理の非同期化
まとめ
ChromaDBとStreamlitを組み合わせることで、手軽にドキュメント管理システムを構築できました。ベクトルデータベースの基本的な使い方を学びながら、実用的なアプリケーションを作れたのは良い経験になりました。