大規模言語モデル（LLM）に関して言えば、多くのITチームリーダーは「全体のコストはどれくらいになるのか」という問いに対処しようとしています。
LLMを使った実験が日常的に実施される中、多くのチームが使用に関するポリシーや内部手続きを開発し始めると、予期せぬ請求に直面する話を聞くことがあります。企業全体でさらに多くのチーム、ユースケース、アプリケーションが登場するにつれて、ITチームは、企業が投資から最大限の利益を得ていることを保証し、収益に大きな影響を与える前に使用パターンの問題を特定できるように、パフォーマンスとコストを簡単に監視する方法が必要です。
LLM使用に関連するコスト
一般的に、LLMに関連するコストは、組織によって次の２つのうちいずれかに分類されます：
1: OpenAI、Meta、MistralなどのプロバイダーからAPIを介して商用モデルにアクセスする
2: HuggingFaceのようなハブからダウンロードしたオープンソースモデルをセルフホスティングする
API経由で商用モデルにアクセスする
コストが大きく異なる理由の一部は、商用モデル間で標準化された価格設定がないためです。データチームが最適なパフォーマンスを測定するために異なるモデルで実験を試みる際、財務への影響を十分に注意していないかもしれません。
これらのタイプのモデルの価格設定は、通常、トークンに基づいており、これはおおよそクエリと応答の両方の単語数と一致しています。簡単に言うと、LLMに入力した各単語と、LLMが返す各単語に対して支払います。
セルフホスティングされたLLM
セルフホスティングされたLLMは、時としてコストが低い代替手段と見なされます。しかし、独自のインフラストラクチャ上でモデルをホスティングすることで、サーバー費用と、特定の目的のためにモデルをカスタマイズし、時間とともに更新するための高度にスキルを持つ人々のコストを直接支払うことになります。大規模なGPUやその他のハードウェアコンポーネントのコストは言うまでもありません。
Dataiku LLMコストガードとLLMメッシュがどのように役立つか
LLM使用に関連するさまざまなコストがある中で、ITチームと管理者は、財務への影響を積極的に予測し管理できるように、LLMのコストとパフォーマンスを簡単に監視する方法が必要です。LLMコストガードは、チームがコストを監視し管理する手段を提供します（アプリケーション、サービス、ユーザー、またはプロジェクトごと）および問題を診断します。
監査ログ
以前のブログ記事でほのめかしたように、Dataikuは、管理者が「誰が何をしているか」を簡単に特定できる包括的な監査ログを提供します。LLMコストガードは、誰がどのLLMをどのサービスで、どの目的で使用しているかを完全に監査可能なログを提供し、コスト追跡（および内部再請求）とこれらの時によって予測不可能なモデルへのリクエストと応答の完全な追跡性を可能にします。
パフォーマンス監視
Dataiku LLMコストガードには、管理者がLLMサービスおよびプロバイダーの使用とコストを追跡できるようにする、事前構築されたパフォーマンス監視ダッシュボードが含まれています。このようにして、チームは問題を診断し、アプリケーションのニーズに基づいて最適なサービスを選択できます。
キャッシング
LLMメッシュを使用して共通のクエリへの応答をキャッシュするオプションは、応答を再生成する必要を回避し、コスト削減とパフォーマンスの向上の両方を提供します。さらに、自己ホスティングする場合は、インフラストラクチャへのコストを削減するために、ローカルのhugging faceモデルをキャッシュする機能を持っています。
コストとリソース使用レポート
LLMコストガードでコスト監視と使用レポートを簡単に読めるダッシュボードで探索し、最も多くの支出がある箇所を特定できます。コスト見積もりは、完了したプロンプトと応答のサンプルに適用された、ホステッドサービスの公開されている「ステッカー」価格に基づいています。ユーザー、接続、LLMタイプ、キャッシュ状態、コンテキストタイプ、プロジェクトキーなどを切り替えることができるため、問題を簡単に診断し、積極的に対応可能です。
これらの機能により、ITチームはLLMOpsを理解し、成功に向けた設定をし、最適なコストとパフォーマンスを保証できます。見ての通り、プロジェクトごとに選択するモデル、方法、または技術的アプローチに関係なく、DataikuのLLMメッシュは、企業全体での設定でこれらのソリューションを安全かつ効率的に提供する能力を持つ、あなたのすべてのアプリケーションに共通するレイヤーとして機能します。
さらに進む LLMコストに関するWebinar
Generative AI Bootcampシリーズの最新ウェビナーでは、Dataiku CTOのClément StenacとTitanML CEOのMeryem Arikが、企業のユースケースにLLMを使用する際のテクニカル・トークを行い、コストとLLMの詳細について掘り下げます。
原文：Introducing LLM Cost Guard, the Newest Addition to the LLM Mesh