機械学習モデルのAPI化: FastAPI vs KServeの選択基準

1. はじめに

機械学習モデルを本番環境で運用する際、多くの場合「API化」が求められます。APIを通じて外部システムやアプリケーションと連携し、リアルタイム推論やバッチ推論を行うことが可能になります。

API化の方法として代表的なフレームワークに FastAPI と KServe（旧 KFServing） がありますが、「どちらを選べばいいのか？」という疑問を持つ方も多いでしょう。

本記事では、

FastAPI と KServe の違い
どんなケースでどちらを使うべきか？
実際の実装方法と注意点
を詳しく解説します。

2. FastAPIとKServeの基本概念

項目	FastAPI	KServe
用途	軽量なAPIの開発	Kubernetes上でのML推論サービスの提供
スケール	単一ノードまたは小規模クラスタ向け	大規模クラスタ向け（自動スケール）
デプロイ	手動でコンテナデプロイ	Kubernetes Operator により自動デプロイ
推論方式	同期処理（REST API）	非同期処理も可能（gRPC, REST）
サポートするモデル	任意のフレームワーク（ONNX, TensorFlow, PyTorch, scikit-learnなど）	TensorFlow, PyTorch, ONNX, XGBoost, Scikit-Learnなど
可観測性	ログ管理が手動	Prometheus, Grafana との統合が容易
スケールアウト	手動（ロードバランサー必須）	Kubernetesのオートスケール
適用対象	小規模・軽量なAPI	大規模な本番運用・分散環境

3. どんな場合にどちらを使うべきか？

✅ FastAPIを使うべきケース

FastAPI は軽量なPythonのWebフレームワークであり、以下のようなケースで適しています。

開発が素早くできる小規模な推論APIを作成する場合
- 例：機械学習モデルをAPI化し、フロントエンドやモバイルアプリからリクエストを受け付ける
Kubernetesが不要な場合
- 例：シンプルな推論サーバーを1台のVMやDockerコンテナ上で運用
軽量な推論エンドポイントを提供する場合
- 例：scikit-learn, XGBoostなどの小規模なモデルの推論
非同期処理を活用したい場合
- FastAPIは非同期処理（async/await）をサポートし、多数のリクエストを効率的に処理できる
gRPCのような複雑な通信プロトコルが不要な場合
- REST APIをメインに使うならFastAPIで十分

✅ KServeを使うべきケース

KServe（旧 KFServing）は、Kubernetes上でMLモデルのスケーラブルな推論を提供するためのツールです。以下のケースで適しています。

クラウド環境（AWS, GCP, Azure）でスケーラブルなML推論APIを運用したい場合
Kubernetesを使用してMLパイプラインを管理している場合
大量のリクエストを自動でスケールアウトしたい場合
- KServeは オートスケール をサポートし、リクエスト量に応じてPodの数を自動調整可能
複数のモデルを同時に管理したい場合
- 例：バージョニング（A/Bテスト）、複数のMLフレームワークのモデルを一元管理
高可用性・高耐障害性が求められる場合
- FastAPIは 単一ノードが落ちると影響を受ける が、KServeはKubernetesの仕組みを活用し耐障害性が高い

4. 実装方法（FastAPI vs KServe）

🛠 FastAPIによるML推論APIの実装

from fastapi import FastAPI
import pickle
import numpy as np

# モデルのロード
with open("model.pkl", "rb") as f:
    model = pickle.load(f)

app = FastAPI()

@app.post("/predict")
def predict(features: list):
    features = np.array(features).reshape(1, -1)
    prediction = model.predict(features)
    return {"prediction": prediction.tolist()}

# 実行
# uvicorn main:app --host 0.0.0.0 --port 8000

FastAPIを利用することで、手軽にML推論APIを作成 できる
しかし、スケーラブルな運用には ロードバランサー（NGINX, Kubernetesなど）が必要

🛠 KServeによるML推論APIの実装

apiVersion: serving.kserve.io/v1beta1
kind: InferenceService
metadata:
  name: my-ml-model
spec:
  predictor:
    tensorflow:
      storageUri: "gs://my-bucket/my-model"

Kubernetes上でKServeを使い、モデルをデプロイ
kubectl apply -f model.yaml でデプロイ完了
自動スケールが可能で、リクエスト量に応じてPod数が増減

5. 結論: FastAPIとKServeの共存は可能か？

FastAPIとKServeは基本的に 異なる用途 のツールですが、「共存は可能」です。

🔥 FastAPI + KServe の組み合わせ

実際のシステムでは、以下のように FastAPIをフロントエンドとして、KServeをバックエンド推論エンジンとして使う こともできます。

FastAPIでリクエストを受け取る
KServeにリクエストを転送し、スケーラブルな推論を行う
結果をFastAPI経由で返す

import requests
from fastapi import FastAPI

app = FastAPI()
KSERVER_URL = "http://my-ml-model.default.svc.cluster.local/v1/models/my-ml-model:predict"

@app.post("/predict")
def predict(data: dict):
    response = requests.post(KSERVER_URL, json=data)
    return response.json()

6. まとめ

選択基準	FastAPI	KServe
小規模API	✅	❌
大規模運用	❌	✅
Kubernetes環境	❌	✅
簡単な実装	✅	❌
自動スケール	❌	✅

👉 「ローカル or 小規模なら FastAPI」、「大規模クラウド運用なら KServe」 を選択するのがベスト！