本記事はこちらのブログを参考にしています。
翻訳にはアリババクラウドのModelStudio(Qwen)を使用しております。

AIゲートウェイの進化とHigressの役割

著者：Zi You & Wang Cheng

大規模モデル技術の急速な発展に伴い、AIアプリケーションのエンジニアリングは基盤インフラストラクチャに対して多くの要件を生み出しています。特に、エンジニアリングプロセスにおけるセキュリティ、効率、およびパフォーマンスが重視されています。その中でも、AIゲートウェイはAIインフラストラクチャの重要なコンポーネントの1つです。AIゲートウェイは、大規模モデルシナリオ向けに最適化された従来のAPIゲートウェイの深化版であり、基本的なゲートウェイ機能を確保しつつ、AIサービスの特性に対応するため特別に強化されています。

シナリオ適応: 長時間接続、高同時実行性、大帯域幅に特化して最適化され、大規模モデルサービスの高レイテンシ特性に対応。
インテリジェントトラフィック管理: 複数モデルの動的ルーティング、インテリジェント負荷分散、API Keyローテーションスケジューリング、セマンティックリクエストキャッシングをサポート。
安全性とコンプライアンスの保証: コンテンツセーフティフィルタリング、トークンクォータ管理、多段階レート制限、サーキットブレーカーなどの組み込みセキュリティ機能。
コストの精密制御: 呼び出し監査と分析、トラフィックグレースケール配布、失敗したリクエストの自動再試行などの運用ツールを提供。

統一されたアクセス層プロトコルを通じて、AIゲートウェイは開発者がマルチソースのAIサービスを効率的に統合・管理し、複雑なシナリオでのアクセスおよび運用コストを削減するのに役立ちます。AIゲートウェイの中核機能とユースケースに関する詳細な説明は、次の2つの記事を参照してください：

AIゲートウェイの中核機能はまだ定義の初期段階にありますが、AIエージェントとLLM APIの迅速な統合と密接に関連しています。
Wang Cheng & Cheng Tan: HigressAI - The 10 Essential Capabilities of an AI Gateway

これらの8つのユースケースは、オープンソースおよび商用ユーザーへのサービスからまとめられた最も頻繁に見られるシナリオです。AIゲートウェイの機能が拡張・強化されるにつれて、ユースケースも徐々に多様化します。
Wang Cheng & Ji Yuan: Higress has organized for you the 8 Common Use Cases of the AI Gateway

Higressは、AIシナリオ専用の新しいサブサイトを立ち上げました。中国語版と国際版（ベータ版）を提供し、グローバルの開発者にサービスを提供します。
オリジナルメインサイト: https://higress.cn/
新しいサブサイト: https://higress.ai/

一般的なベストプラクティス（記事形式）、コミュニティサポート、エンタープライズ版、GitHub、ドキュメントなどに加えて、Higress.aiはAIゲートウェイを迅速に体験できる「シナリオ体験」機能を特別に設計しました。オープンソースとクラウドの両方の体験を提供します。さらに、このサイトでHigress AIゲートウェイの最新機能を初公開します。たとえば、近日中にAI Guideline機能をリリース予定で、これにより開発者はTongyi Lingma/CursorなどのAIプログラミングツールを使用してNginx/Kong LuaプラグインをHigress Wasmプラグインに迅速に変換できます。

Higress.aiのリリース後に考えられる質問

1. Higress.aiとHigress.cnの違いは何ですか？

HigressはIstioとEnvoyに基づくクラウドネイティブAPIゲートウェイであり、トラフィックゲートウェイ、マイクロサービスゲートウェイ、セキュリティゲートウェイ、AIゲートウェイを統合しています。Go/Rust/JSを使用してWasmプラグインを作成でき、数十の汎用プラグインとすぐに使えるコンソールを提供します。
Higress.cnはHigressのメインサイトであり、公式技術ポータルおよびワンストップリソースプラットフォームとして機能します。Higress技術スタックに関連するコア機能デモ、オープンソースエコシステムサポート、企業ユーザー向けのベストプラクティスを提供します。
AIゲートウェイは現代のAIインフラストラクチャの重要なコンポーネントであり、大規模言語モデルのエコシステム発展と深く結びついています。Retrieval-Augmented Generation (RAG)、Agents、MCPプロトコルなどの新技術の登場により、AIゲートウェイはプロトコル最適化、トラフィックガバナンス、モデルスケジューリングにおいて新たな次元を開拓しています。
AIゲートウェイの豊富なコンテンツをよりよく開発者に紹介するために、Higress.aiが生まれました。これは、AIゲートウェイを体験する独立したチャンネルを提供し、エージェント開発フレームワークの統合やLLM APIガバナンスなどの典型的なAIアプリケーションシナリオを展示することを目指しています。また、Higress.aiはAIゲートウェイに関するHigressの探求を強調し、AI開発者と協力して次世代のAIネイティブゲートウェイの技術方向性を定義します。さらに、Higress.aiはグローバルAI開発者向けのサービスの起点となります。
重要な点として、AIゲートウェイはAPIゲートウェイとは独立した新しい形態ではありません。本質的には依然としてAPIゲートウェイの一種ですが、AIシナリオにおける新しい要件に対応するために特別に拡張されたものです。それはAPIゲートウェイの継承と進化を兼ね備えています。

2. Higressは今後AIゲートウェイのみに焦点を当てるのでしょうか？

もちろん違います。AI時代において、エージェントや大規模モデルはサービス負荷を回避するためアクセス層により高い要求を課しています。これはAIゲートウェイにとって歴史的な発展機会をもたらします。昨年6月にv1.4をリリースした際には、すでにAIゲートウェイの多くの機能をオープンソース化しており、これは春節後の加速した大規模モデル開発に対する突然のアイデアではありませんでした。私たちは、AIワークロードと古典的なワークロードが引き続き統合され、AIの無限の可能性を解き放ち、アクセス層での統一管理を形成すると信じています。
そのため、Higressはトラフィックゲートウェイ、マイクロサービスゲートウェイ、セキュリティゲートウェイにも引き続き注力し、機能と体験を向上させます。

トラフィックゲートウェイでは、HigressはK8sクラスターのIngressゲートウェイとして機能し、多数のK8s Nginx Ingressアノテーションとの互換性を持ち、K8s Nginx Ingressからのスムーズかつ迅速な移行を可能に
● より多くの体験シナリオ: オープンソース版の10以上のプラグイン機能と商用版でのユーザーシナリオを基に、より多くの体験シナリオを提供します。オープンソース版で革新的な実践を行っている場合は、共同で構築するためにぜひご連絡ください。（wechat：zjjxg2018、備考欄に「Higress」と記載）