大規模言語モデル (LLM) を活用して複数のアプリケーションを効果的に管理およびスケーリングするには、単なるノートブックによるアプローチ以上のものが必要です。Everyday AI New York Tech Day 2023 で、Dataiku のアマンダミルバーグ氏は、その日最も人気のある講演の 1 つを行いました。本番実装の LLM アプリケーションを構築する方法について、Operationalizing Large Language Modelsから、ハイライトをご覧ください。

→ 今すぐ読む: 企業が生成 AI を活用するには

ほとんどの人は生成AI(Generative AI)あるいはLLM アプリケーションをすでに試したことがあるでしょう。軽量なものを開発した場合、スタックはおそらく次のようになります。

概念検証 (POC) または実用最小限の製品 (MVP)を開始するには、ほとんどの場合、API を通じて利用可能な LLM に接続します。OpenAI、オープンソースモデル、クラウドプロバイダーの製品などから始めるのが最適です。

そこから、初期のパイプラインを開発します。これには、たとえば、プロンプトエンジニアリングや検索拡張生成 (RAG)が含まれる場合があります。生成された出力を取得します。これは、ある種のデータ製品を通じて表示されます。これは、チャットボット、Web アプリケーション、API としてのモデルなどです。

これは効果的です。経営幹部が自社のビジネスにおける生成 AI を理解する良い方法は、MVP を世に出すことです。しかし、これはおそらく製品化されるバージョンではありません。その理由はこちらの動画をご覧ください。

LLM アプリケーションの AI ガバナンス

現在、ほとんどの組織では、LLM を運用環境に導入するには、ガバナンスと安全性の要件を満たす必要があります。責任ある AI に関する考慮事項など、増大するリスクから保護するためです。
おそらくそれは、人間参加型の要素があることを意味します。これらのチェックは、生成された結果の一部の統計サンプルに対するものであっても、重要になる可能性があります。実稼働用の LLM アプリケーションを構築する場合は、出力を検証する必要があります。これは、たとえば顧客に結果を直接提示する場合に特に当てはまります。
これらの要件は、個人を特定できる情報 (PII) コンテンツを自動的に検出して削除する方法を備えていることも意味します。または、自動化 (有害性検出など) を追加して、有害なコンテンツが顧客に送信されるのを防ぎます。
ガバナンスとは、コストについて考えることを意味する場合もあります。たとえば、API 呼び出しのコストや、より大きな CPU やより大きな GPU など、潜在的な新しいインフラストラクチャのコストなどです。IT リーダーは、プロジェクトレベルとインスタンスレベルの両方のコストをダッシュボードで監視する方法を必要とする場合があります。

LLM を大規模に展開するための重要な要素

MVP パイプラインは機能するかもしれませんが、おそらく大規模にデプロイできる、またはデプロイすべきものではありません。

前述のガバナンスと安全性に関する考慮事項に加えて、追加の重要な要素がいくつかあります。これらの考慮事項は、IT およびビジネス全体の関係者の要件を達成するのに役立ちます。

アジリティー
今日の LLM によるイノベーションのペースは前例のないものです。おそらく、この段階では gpt-3.5 Turbo をコードにハードコードしたくないでしょう。さまざまなモデルを選択し、さまざまな LLM を切り替える機敏性が必要です。大規模な導入により、新しいテクノロジーが出現したときに、調整して方向転換することができます。
キャッシング
答えがすでにある場合は、同じ情報を使用して LLM を再生成し続ける必要はありません。これは、人間参加型チェックを実装しており、その回答が人間によって検証されている可能性がある場合にはさらに当てはまります。そのため、何らかのキャッシュ機能を提供する必要があります。
モニタリング
個々のクエリのコンテキストだけでなく、LLM サービス全体をモニタリングすることが重要です。複数のアプリケーションをデプロイし、複数の LLM サービスに依存している場合、それは根本的なことです。

そこで、生成 AI アプリケーションの共通バックボーンとしてLLM メッシュが登場します。LLM メッシュは、分析チームと IT チームが Generative AI モデルとサービスに安全にアクセスする方法を再構築することを約束します。

この LLM メッシュは、実稼働環境で 1 つだけでなく 2 つだけでなく、N 個の LLM アプリケーションをスケールするのに役立ちます。
— アマンダミルバーグ、シニアパートナーセールスエンジニア @ Dataiku

LLM メッシュの紹介

LLM メッシュは、企業が LLM を大規模に効率的に使用して安全なアプリケーションを構築するために必要なコンポーネントを提供します。LLM メッシュの利点について詳しくは、Dataiku のプラットフォーム戦略担当副社長の Jed Dougherty 氏から学びましょう。

⇨『LLM メッシュ』について詳しく知る

原文：How to Go From POC to LLM in Production