本記事は GAO 公式ブログからの転載となります。

LLMOpsとは？

LLMOps（Large Language Model Operations）とは、大規模言語モデル（LLM）を利用した生成AIアプリケーションの開発から運用、改善までを一貫して管理するための考え方や仕組み（フレームワーク）です。多くの企業では、自社でモデルをゼロから構築するのではなく、OpenAI、Google、Anthropic などが提供する基盤モデルを活用し、プロンプト設計やファインチューニング（微調整）を通じて目的に合った生成AIアプリケーションを開発しています。LLMOpsは、こうした開発・運用プロセスを効率化し、品質管理やガバナンスを実現する上で重要な役割を果たします。

MLOpsとLLMOpsの違い

従来のMLOps が一般的な機械学習モデルの開発と改善を対象とするのに対し、LLMOps はLLM を活用した生成AIアプリケーションやエージェント特有の課題に対応するためのものです。その主な特徴として運用プロセスにおいてモデルの出力に対するユーザーからのフィードバック収集や自動的な評価の実行結果などを改善に活用することが重視されます。これらの結果がプロンプトや自動評価自体の改善、モデル選定や評価データセットの構築などに活用されることになります (具体的なプロセスは後述）。

LLMOps とGenAIOps の違いと関係性

LLMOps と似た用語にGenAIOps（Generative AI Operations）があります。GenAIOps は、テキストだけでなく画像、音声、動画などの生成モデルを含む、あらゆる生成AIを対象とした、より広範な概念です。一方、LLMOps は生成AIの中でも特に「大規模言語モデル（LLM）」を利用した言語生成にフォーカスしています。つまり、LLMOps はGenAIOps の一部分（サブセット）と位置づけられ、特に言語生成に特化したプロセスが重視されます。



LLMOps は GenAIOps の一部

生成AIアプリケーションのデプロイ、その後の課題

IT部門やDX部門などにより開発・導入された生成AIアプリケーションが、通常のシステムと同様に最初から100% の品質でユーザニーズを満たすことはまずありません。そして、アプリケーションの使われ方、ユーザーフィードバックの獲得、定量的な評価などが何もない状況であれば、当然その状況は永遠に改善されません。結果として経営層がそのプロジェクトにROI を見出せなければ継続することが難しくなるかもしれません。

生成AI は一見すると正しいように見える出力をする特性があり、出力結果はそのまま使えないものの必ずしも全てが間違えているとも言い切れず、残念ながらユーザはモヤッとした不満を心に抱えることとなります。その状況で仮にIT部門がアンケートを定期的にとったところで、低い解答率で曖昧な回答を受け取ることになり、具体的な改善に繋げることは難しいでしょう。

このような問題を解決するために必要な手法が LLMOps です。

LLMOps に必要な構成要素

生成AIを利用したアプリケーションやエージェントの継続的な改善を実現させるためのLLMOps には以下のような構成要素が含まれます。

Tracing
ユーザ入力とモデルの出力 (Trace)の取得および保管、および処理内容の可視化
プロンプト管理
生成結果の品質向上のためのプロンプト修正、テスト、評価など
ユーザフィードバックの取得
ユーザがどの処理に対して、どのような評価をしたのかを具体的に収集・管理
Human Annotation
業務の専門家から見て、適切な回答をしているのかどうかの評価
自動評価
LLM as a Judge などを活用して、3や4の効率化・一次評価に利用
Dataset管理
ユーザの実際の入力などをデータセットとして管理し、テスト資材などのために管理
利用傾向の把握と分析
コスト, プロンプト, モデル, ユーザ, アプリケーションなどの様々な観点で、どのような傾向があるのかを分析

生成AIアプリケーションはこれらのプロセスを通じて継続的に改善し続けることで、初めてビジネスに価値を生み出すことが可能となります。

まとめ｜LLMOpsはLLM活用の鍵

LLMOps は、LLMをビジネスに導入し、その価値を継続的に生み出すために不可欠な運用手法です。特に、モデルプロバイダが提供する強力な基盤モデルの活用が一般的となった現在、LLMOps なしでの効果的な運用は困難と言えるでしょう。