自分メモ用です。以下サイトのただの要約です
https://www.kdnuggets.com/11-python-libraries-every-ai-engineer-should-know
11のライブラリ一覧
- Hugging Face Transformers
- Ollama
- OpenAI Python SDK
- Anthropic SDK
- LangChain
- LlamaIndex
- SQLAlchemy
- ChromaDB
- Weaviate
- Weights & Biases
- LangSmith
各ライブラリの概要
1. Hugging Face Transformers
用途: 事前学習済みモデルとNLPタスクを扱うための強力なライブラリ。
主な特徴:
- BERT、GPT、T5など、多様なアーキテクチャに対応
- 数千の共有モデルが利用可能
- PyTorch・TensorFlow両対応
学習のためのドキュメント: Hugging Face NLP Course
2. Ollama
用途: オープンソースのLLM（例: Llama、Mistral）をローカルで動作させるためのフレームワーク。
主な特徴:
- CLI/APIを提供し、簡単にモデルを実行可能
- モデルのカスタム調整が可能
- 量子化モデルのサポート
学習のためのドキュメント: Ollama Course
3. OpenAI Python SDK
用途: OpenAIの言語モデル（GPTシリーズ）をPythonアプリケーションに統合。
主な特徴:
- OpenAI APIに対応
- ストリーミングレスポンスをサポート
- トークン管理機能付き
学習のためのドキュメント: OpenAI Developer Quickstart
4. Anthropic SDK
用途: ClaudeなどのAnthropicモデルを活用するためのPython SDK。
主な特徴:
- チャットコンプリートAPI対応
- ストリーミングサポート
- Claude 3シリーズなどの複数モデル対応
学習のためのドキュメント: Anthropic Python SDK
5. LangChain
用途: LLMアプリ開発を容易にするオーケストレーションフレームワーク。
主な特徴:
- チェーン・エージェントの構築支援
- メモリシステムを活用したコンテキスト管理
- ベクトルストア統合
学習のためのドキュメント: LangChain Course
6. LlamaIndex
用途: LLMとカスタムデータを接続し、データの取り込みや検索を容易にする。
主な特徴:
- PDFやSQLなどのデータコネクターを提供
- RAG（Retrieval Augmented Generation）対応
- 構造化出力の解析機能
学習のためのドキュメント: LlamaIndex RAG Guide
7. SQLAlchemy
用途: データベース操作をPythonで直感的に行うためのORM（Object Relational Mapper）。
主な特徴:
- 強力なORM機能
- SQLデータベースをサポート
- スキーママイグレーション対応（Alembic）
学習のためのドキュメント: SQLAlchemy Tutorial
8. ChromaDB
用途: AIアプリ向けのオープンソース埋め込みデータベース。
主な特徴:
- シンプルなAPIで埋め込みデータを管理
- 永続化オプション（メモリ、Parquet、SQLite）
- LLMフレームワークと直接統合
学習のためのドキュメント: Chroma Docs
9. Weaviate
用途: クラウドネイティブなベクトル検索エンジンで、セマンティック検索を実現。
主な特徴:
- GraphQLベースのクエリ対応
- テキスト・画像などのマルチモーダルデータをサポート
- リアルタイム検索
学習のためのドキュメント: Weaviate Docs
10. Weights & Biases
用途: 機械学習モデルの実験追跡・可視化ツール。
主な特徴:
- 自動ログ記録による実験管理
- モデルの可視化・比較
- GPU・メモリ監視機能
学習のためのドキュメント: W&B Docs
11. LangSmith
用途: LLMアプリの本番監視と評価を支援するプラットフォーム。
主な特徴:
- LLMチェーンのトレース可視化
- プロンプト/レスポンスのロギング
- A/Bテストやコスト分析機能
学習のためのドキュメント: LangSmith Docs
所感
「AIエンジニア」って銘打ってるけど「LLMエンジニア」「NLPエンジニア」って感じですね。
個人的には画像、動画系だとultralytics + roboflowが便利すぎて、AIコーダーはもういらないなって思ってしまうレベルです。