ますます多くの企業が生成AIの実験を行い本番環境へとデプロイしていくに従い、重要な疑問が浮かび上がって来ます：これらのアプリケーションは、企業にとって安全でスケーラブルなものなのでしょうか？ LLMメッシュを活用すれば、その答えはYESとなります。LLMメッシュとは、分析チームやITチームが生成AIのモデルやサービスに安全にアクセスする方法を再構成する、生成AIアプリケーションのための共通バックボーンです。

LLMメッシュは、コスト管理、コンプライアンス、技術的依存性に関する懸念に対処しながら、企業がエンタープライズグレードのアプリケーションを効率的に構築することを可能にします。また、増え続けるモデルやプロバイダーの中で、柔軟な選択を可能にします。

LLMメッシュ・ローンチパートナーには、Snowflake、NVIDIA、Pinecone、AI21 Labsが参加し、LLMを企業に統合するための効果的でスケーラブルかつ安全なプラットフォームという重要なニーズに取り組みます。ローンチパートナーに加え、DataikuのLLMメッシュでは以下のテクノロジーと統合が可能です

ホスト型LLM APIサービス:

Snowflake
AI21 Labs
Azure OpenAI Service
Google Vertex AI
AWS Bedrock
OpenAI
Anthropic
Cohere
MosaicML

セルフホスト型プライベートLLM:

Hugging Face (Llama2、Falcon、Dolly 2、MPT、その他数千の完全プライベートLLMメッシュ)

ベクトルストア:

FAISS
ChromaDB

アクセラレーテッドコンピューティング:

NVIDIA

この記事では、LLMメッシュが解決する主な課題（安全性、パフォーマンス、コスト管理）、LLMメッシュを活用することで得られる主なメリット、そしてDataikuがLLMメッシュを通じてエンタープライズグレードの生成AIアプリケーションの構築と導入を可能にする方法について概説します。

LLMメッシュで生成AIの障害を克服する

短期的な価値と持続的な価値の両方を生み出せる生成AIアプリケーションを構築するために、アナリティクスとITチームはいくつかの重要な課題を克服する必要があります。LLM メッシュはこれに対処するために設計されました：

選択肢と依存性： アプリケーション構築者は、さまざまなプロバイダーから自由にモデルを選択できるようになってきました。これは良いことです。さまざまなモデルとプロバイダーが存在するため、企業は特定のアプリケーションのコスト、パフォーマンス、セキュリティーのニーズに最も適したモデルとサービスを選択することができます。目まぐるしく変化する状況を考えれば、チームは選択肢を広げておくことが、ロックインの弊害に陥るよりも有益です。しかし、アプリケーションが基礎となるモデルやサービスに "ハードワイヤード "されている場合、設計段階で異なるモデルをテストすることが難しくなり、アプリケーションが本番環境にデプロイされると、それを解除するのが困難で、コストのかかる依存関係が生じます。

コスト： LLMの開発と運用にはコストがかかり、プロバイダーは当然そのコストをAPI料金に転嫁します。そのため、リクエストの適切な管理、とくに繰り返されるプロンプトの管理に失敗すると、予期せぬ多額のコストが発生し、ITオペレーションに深刻な打撃を与える可能性があります。データチームがLLMの性能を精度に基づいて評価するのに対し、IT部門はレイテンシーとSLAに着目しなければなりません。

プライバシー、セキュリティー、コンプライアンス： LLMアプリケーションのユーザーは、機密性の高い企業のIPやPIIを伝える可能性のあるプロンプトを作成します。このようなデータが一般に公開された場合、収益減、（規制当局からの）多額の罰金、または広報上の問題に発展する可能性があります。さらに、EUのAI法のような新たなAI規制では、LLMを使用する企業に対し、どこでその技術を使用しているのか、誰がその技術にアクセスできるのか、消費者へのリスクを制限しているか、を証明できるよう要求するでしょう。もしできなければ、多額の罰金に直面することになります。最後に、LLMからの回答には、不適切な、あるいは攻撃的な内容（有害性と呼ばれる）が含まれている可能性があります。このようなコンテンツを従業員や顧客に閲覧させると、顧客関係、法律、PRの観点からビジネスに深刻な影響を与える可能性があります

LLMメッシュのメリット

LLMメッシュは、LLMサービスプロバイダーとエンドユーザーアプリケーションの間に位置します。LLMメッシュにより企業は、ニーズに合わせて最もコスト効率の高いモデルを選択し、データとレスポンスの安全性を確保し、スケーラブルなアプリケーション開発のために再利用可能なコンポーネントを作成するアジリティーを得ることができます。これらの主な利点をもう少し掘り下げてみましょう：

1. アプリケーションとサービスレイヤーの分離

チームが構築しようとしているアプリケーションにとって、どのLLMが最良のアウトプットを提供できるかは必ずしもすぐにはわかりません。コスト、セキュリティー、パフォーマンス、スピードのバランスを取る必要があります。まず、設計段階では、異なるモデルを効率的にテストして、どれが最適かを判断する必要があります。そして、アプリケーションがデプロイされた後も、変更できる能力を維持する必要があります。このようにアプリケーションとAIサービスレイヤーを切り離すことで、可能な限り最高のアプリケーションを設計し、本番環境でも簡単に保守することが可能になります。

2. セキュアなゲートウェイの実現

標準的なIT実務では、組織はインフラに対して実行されたクエリーの完全な証跡を維持する必要があります。これは、パフォーマンス管理（例えば、非効率なジョインの原因を特定する）とセキュリティー確保（例えば、誰がどのデータをどのような理由でクエリーしているかを知る）の両方のためです。同様のニーズがLLMにもあります。

LLMメッシュは、セキュアなAPIゲートウェイとして機能し、ハードコードされた依存関係を解消し、アプリケーションと基礎となるサービス間のリクエストを管理、ルーティングします。誰がどのLLMを使用し、どのサービスをどの目的で使用したかを完全に監査可能なログに記録することで、コストの追跡（および社内への再請求）だけでなく、時に予測不可能なモデルへのリクエストとレスポンスの完全なトレーサビリティを実現します。

3.セキュリティー、許可、PII

個人情報のスクリーニングに関しては、LLMメッシュは、機密データや企業専有データ、顧客のPIIのような機密情報のリクエストごとに評価します。次にシステムは適切なアクションを取ります。LLM APIにリクエストを送信する前にこのセンシティブ情報を再編集する、リクエストを完全にブロックする、管理者に警告する、などです。標準的なPII検出モデルを使用したり、内部データベースを活用したり、高度な機能や業界固有の知識を提供するサードパーティのサービスを使用したりすることで、複数の形式のPII検出が共存します。

次に、ビジネスユーザーがパブリックチャットボットに管理されていないリクエストを出すリスクを減らすために、企業は安全なアクセス権を持つ有料のLLMサービスを利用することができます。OpenAI、Azure、Googleなどのこれらのサービスは、モデルのトレーニングのためのリクエスト情報を取得しません。LLMメッシュは、APIキーの保護をはじめ、AIサービスへの中央アクセスを提供します。これにより、LLMサービスへの制御されたアクセスが可能になり、キーがアプリケーションにハードコードされないため、アプリケーションの開発とメンテナンスが合理化されます。

4. コストとパフォーマンスのコントロール

LLM メッシュは、LLM へのクエリごとのコストを監視し、アプリケーションやサービスごとにコストを集計します。これにより、各チームはコストを予測し、サービス利用に関する情報に基づいた意思決定を行うことができます。

パフォーマンスモニタリングでは、LLMメッシュがLLMサービスとプロバイダーのラウンドトリップパフォーマンスを監視するため、チームは問題を診断し、アプリケーションのニーズとSLAに基づいて最適なサービスを選択することができます。さらに、一般的なクエリーに対するレスポンスをキャッシュすることで、レスポンスを再生成する必要性を回避し、コスト削減とパフォーマンス向上の両方を実現します。

5.検索拡張生成(RAG: Retrieval-Augmented Generation)とベクトルデータベース

LLMメッシュには、複数のアプリケーションで使用するための標準的なアプリケーション開発コンポーネントと機能が含まれています。例えば、検索拡張生成(RAG: Retrieval-Augmented Generation)です。RAGは、LLMのレスポンスに社内の知識を注入する標準的な方法となりつつあります。

RAGは、企業のインターナル情報（製品カタログ、サポートナレッジベースなど）をベクトルストアと呼ばれる特殊なデータ構造にインデックス化することで機能します。クエリー時に、ベクトルストアはユーザーのクエリーに基づいて最適なコンテンツを検索し、LLMに送信されるプロンプトに入力します。LLMメッシュはベクトルストアとの統合を提供し、コード不要でRAGパターン全体を実装します。

Dataikuがどのような役割を果たすのか

DataikuはLLMメッシュのパイオニアであり、Dataikuのプラットフォームは、最も厳しい企業環境で生成AIアプリケーションを構築、展開するために必要な機能を提供します。重要なことは、これらのLLM固有の新機能は、Dataikuのプラットフォームへのアドオンではなく、過去10年間で構築してきたコア機能（データ接続とセキュリティー、データ準備とパイプライン、データサイエンスとML、運用とガバナンス）に深く統合されているということです。また、これまでと同様に、開発者向けのフルコードUIだけでなく、ローコードやノーコードUIを提供するコラボレーション可能なマルチプロファイル環境で、すべてにアクセスすることができます。

上記のように、LLMメッシュは、今日の組織が生成AIを安全かつ大規模に活用することを阻む課題に対する、総合的なソリューションです。LLMメッシュのパイオニアとして、DataikuはすでにエンタープライズLLMアプリケーション開発に不可欠なコンポーネントを提供しています。これには以下が含まれます：

プロンプトエンジニアリングのためのプロンプトスタジオ
ネイティブLLMアプリケーション開発レシピ
ネイティブRAGサポート
LLM、ベクトルデータベース、高速計算、コンテナ化計算処理のケイパビリティーを持つ主要プロバイダーとのパートナーシップ

Dataikuが企業におけるアナリティクスとMLの共通標準を作り上げたように、LLMメッシュの導入は企業における生成AIの標準となるでしょう。私の共同創業者（兼DataikuのCEO）は2週間前に次のように言いました： Dataikuはこの瞬間のために作られました。次の10年の始まりです。

企業における生成AIのためのDataikuについて、さらに関心がありますか

LLMメッシュ（生成AIアプリを安全かつ効率的に開発・展開するための共通バックボーン）、Dataikuを使用した4段階のLLMカスタマイズなど、生成AI機能に関するDataikuの詳細については、こちらをご覧ください。

原文： Introducing the LLM Mesh: A Common Backbone for Generative AI Applications