自分メモ用です。以下サイトのただの要約です
https://www.kdnuggets.com/11-python-libraries-every-ai-engineer-should-know

11のライブラリ一覧

Hugging Face Transformers
Ollama
OpenAI Python SDK
Anthropic SDK
LangChain
LlamaIndex
SQLAlchemy
ChromaDB
Weaviate
Weights & Biases
LangSmith

各ライブラリの概要

1. Hugging Face Transformers

用途: 事前学習済みモデルとNLPタスクを扱うための強力なライブラリ。

主な特徴:

BERT、GPT、T5など、多様なアーキテクチャに対応
数千の共有モデルが利用可能
PyTorch・TensorFlow両対応

学習のためのドキュメント: Hugging Face NLP Course

2. Ollama

用途: オープンソースのLLM（例: Llama、Mistral）をローカルで動作させるためのフレームワーク。

主な特徴:

CLI/APIを提供し、簡単にモデルを実行可能
モデルのカスタム調整が可能
量子化モデルのサポート

学習のためのドキュメント: Ollama Course

3. OpenAI Python SDK

用途: OpenAIの言語モデル（GPTシリーズ）をPythonアプリケーションに統合。

主な特徴:

OpenAI APIに対応
ストリーミングレスポンスをサポート
トークン管理機能付き

学習のためのドキュメント: OpenAI Developer Quickstart

4. Anthropic SDK

用途: ClaudeなどのAnthropicモデルを活用するためのPython SDK。

主な特徴:

チャットコンプリートAPI対応
ストリーミングサポート
Claude 3シリーズなどの複数モデル対応

学習のためのドキュメント: Anthropic Python SDK

5. LangChain

用途: LLMアプリ開発を容易にするオーケストレーションフレームワーク。

主な特徴:

チェーン・エージェントの構築支援
メモリシステムを活用したコンテキスト管理
ベクトルストア統合

学習のためのドキュメント: LangChain Course

6. LlamaIndex

用途: LLMとカスタムデータを接続し、データの取り込みや検索を容易にする。

主な特徴:

PDFやSQLなどのデータコネクターを提供
RAG（Retrieval Augmented Generation）対応
構造化出力の解析機能

学習のためのドキュメント: LlamaIndex RAG Guide

7. SQLAlchemy

用途: データベース操作をPythonで直感的に行うためのORM（Object Relational Mapper）。

主な特徴:

強力なORM機能
SQLデータベースをサポート
スキーママイグレーション対応（Alembic）

学習のためのドキュメント: SQLAlchemy Tutorial

8. ChromaDB

用途: AIアプリ向けのオープンソース埋め込みデータベース。

主な特徴:

シンプルなAPIで埋め込みデータを管理
永続化オプション（メモリ、Parquet、SQLite）
LLMフレームワークと直接統合

学習のためのドキュメント: Chroma Docs

9. Weaviate

用途: クラウドネイティブなベクトル検索エンジンで、セマンティック検索を実現。

主な特徴:

GraphQLベースのクエリ対応
テキスト・画像などのマルチモーダルデータをサポート
リアルタイム検索

学習のためのドキュメント: Weaviate Docs

10. Weights & Biases

用途: 機械学習モデルの実験追跡・可視化ツール。

主な特徴:

自動ログ記録による実験管理
モデルの可視化・比較
GPU・メモリ監視機能

学習のためのドキュメント: W&B Docs

11. LangSmith

用途: LLMアプリの本番監視と評価を支援するプラットフォーム。

主な特徴:

LLMチェーンのトレース可視化
プロンプト/レスポンスのロギング
A/Bテストやコスト分析機能

学習のためのドキュメント: LangSmith Docs

所感

「AIエンジニア」って銘打ってるけど「LLMエンジニア」「NLPエンジニア」って感じですね。
個人的には画像、動画系だとultralytics + roboflowが便利すぎて、AIコーダーはもういらないなって思ってしまうレベルです。