はじめまして！
最近、エンタープライズ向けの SLM（小型言語モデル）および LLM 運用を最適化・保護するためのオープンソース API ゲートウェイ 「PhiGate」 を開発・公開しました。
本記事では、なぜ一般的な API ゲートウェイではなく SLM 専用のゲートウェイが必要なのか、その開発背景と主要機能についてご紹介します。
💡 開発背景：なぜ既存の API ゲートウェイでは不十分なのか？
クラウド型 LLM（OpenAI や Claude など）から、コスト削減やデータプライバシー（オンプレミス運用）を目的として、ローカルに構築した SLM/LLM（Phi-3, Llama 3, Qwen など）へ移行する企業が増加しています。
しかし、Envoy や Nginx、Kong といった既存の HTTP ゲートウェイは、インフェレンス（推論）特有のコンテキストを理解できません。
- HTTP リクエスト数ではなく トークン数 での帯域制限（Rate Limiting）が必要
- プロンプトに含まれる 個人情報（PII）や機密データの自動マスキング が必要
- ストリーミング応答（SSE）や セマンティック・プロンプトキャッシュ による GPU 負荷の低減が必要
これらを解決するために開発したのが PhiGate です。
🌟 PhiGate の主な特徴
1. トークンベースの動的レート制限 (Token Budgeting)
リクエスト単位ではなく、プロンプト＋生成トークンの合計消費量に基づいた制限を設定できます。
2. セマンティック・プロンプトキャッシュ (Prompt Caching)
過去の類似プロンプトを検出してキャッシュから応答を返すことで、無駄な GPU サイクルを削減し、レイテンシを大幅に短縮します。
3. オンプレミスでの PII / 機密データマスキング
外部 API やローカル推論エンジンにデータが渡る前に、個人情報や社内 IP アドレス、API キーなどをローカル環境で自動検知・除去します。
4. ゼロダウンタイムでの動的リロード (Hot Reload)
アクティブな TCP 接続を切断することなく、ルーティングルールやアップストリームの設定変更を即座に反映します。
🚀 1分で試せる Quick Start
Docker を使ってすぐに手元で動作確認が可能です。
docker run -d -p 8080:8080 \
-v $(pwd)/config.yaml:/etc/phigate/config.yaml \
phigate/phigate:latest
詳細な設定方法やアーキテクチャについては、GitHub リポジトリの README をご覧ください。
📝 おわりに
PhiGate はまだ初期段階のオープンソースプロジェクトです。
もし興味を持っていただけましたら、GitHub で Star ⭐️ をいただけると非常に励みになります！
- GitHub Repository: https://github.com/PhiGate/PhiGate
フィードバックや機能リクエスト、Issue / PR も大歓迎ですので、ぜひお気軽にコメントやコントリビューションをお願いします！