DAIS2024セッションレポート：GenAI運用規模拡大と信頼性確保の最新戦略

■はじめに

DATA+AI Summit2024（DAIS2024）にて行われた一つのセッションについて書いていきます。
本記事では「Sponsored by: Capgemini | Accelerating the Operational Scale up of GenAI」についてのまとめです。

2024年6月10日~13日にサンフランシスコおよびオンラインにて開催されるDatabricks社主催の年間最大規模のカンファレンスイベント、「Databricks Data＋AI Summit 2024」が開催中！
ナレッジコミュニケーションではイベント開催に伴い、「生成AIの最新トレンドと業界別ビジネスインパクト」をコンセプトに最新アップデート情報やセッションレポートをお届けする特設サイトを公開しておりますのでぜひチェックしてください！

特設サイトURL：

「GenAIの運用規模拡大の加速」

スティーブ・ジョーンズ氏がDAIS2024で行ったセッションです。
スティーブ・ジョーンズ氏は、Capgemini社のデータ駆動型ビジネスの副社長であり、データ駆動型のサービスの製品化を担当しています。
GenAIのテクノロジーを既存のアプリケーションにどのように効果的に導入するかについて説明しました。

以下に記載していきます。

GenAI導入の現状

現在のGenAIの導入状況とその普及速度について述べています。

• 2023年初頭には、88％以上の組織がGenAIに投資し、予算計画に組み込んでいる。
• しかし、予算計画に組み込まれていても、実際に製品化し、運用する必要がある。
• GenAIは、従来のテクノロジーと比較して、主流になるまでにかかる時間は短い。
• 今後2年から5年で、GenAIは主流となり、多くのアプリケーションに組み込まれ、デフォルトになる。

急速な技術革新のスピードに驚かされますね。企業もその変化に迅速に対応する必要があります。

■GenAI運用における課題

このセクションでは、GenAIの運用に際して直面する課題について詳述しています。

• GenAI運用には、従来のアプリケーションとは異なる課題がある。
• 大きなモデルが1つあればすべてを解決できるという「誤った楽観主義」は現実的ではない。
• ベンダー間の競争により、多くのモデルとバリエーションが生じ、マルチクラウドインフラストラクチャとそのサポートについて考慮する必要がある。
• 従来のアプリケーションのガードレールとは異なる、GenAI特有のガードレールを導入する必要がある。
• GenAIは従来のシステムとは異なる方法で誤動作するため、一貫性と管理が重要となる。

便利な側面が目立ちますが、現実的な課題に直面することも多いようです。
これらの問題に対処するための戦略が重要です。

■GenAI運用規模拡大のためのRAISE

このセクションでは、GenAIの運用規模を拡大するための取り組みであるRAISE（信頼性の高いAIソリューションエンジニアリング）について説明しています。
RAISEは、Capgemini社が提供するフレームワークであり、GenAIの運用を標準化し、効率的かつ効果的に拡大するための包括的なガイドラインです。

• RAISE（信頼性の高いAIソリューションエンジニアリング）とは、GenAIの運用を標準化するための取り組みである。
• POCツールではなく、運用ツールに焦点を当てる必要がある。
• コスト管理、セキュリティ管理、導入範囲の管理、自動化、ビジネス継続性計画、廃止など、運用上の課題に取り組む必要がある。

RAISEについてはもう少し詳しく記載します。

•	RAISEは、以下の5つの主要な要素に焦点を当てている：

1. コスト管理
GenAI運用には多大なコストがかかるため、効率的なリソース配分とコスト削減の手法が求められる。
適切なモデルを選択し、無駄な支出を避けることが重要です。

2. セキュリティ管理
GenAIの導入に伴うセキュリティリスクを最小限に抑えるための管理策を講じる必要があります。
これにはデータ保護やアクセス制御、異常検知などが含まれます。

3. 導入範囲の管理
GenAIの導入範囲を明確に定義し、適切なスコープで展開することが求められます。
過度な拡大を防ぎ、必要な部分に集中することが重要です。

4. 自動化
運用プロセスの自動化を進めることで、効率を向上させ、人為的ミスを減らすことができます。
これにより、スムーズな運用が可能となります。

5. ビジネス継続性計画
予期せぬ障害やリスクに備えて、継続的なビジネス運営を可能にするための計画を立てることが重要です。
これには災害復旧計画も含まれます。

RAISEの取り組みが、実際の運用に大きな影響を与えることを期待です。

■信頼性確保の重要性

このセクションでは、GenAIの信頼性を確保するために必要な取り組みについて説明しています。

• GenAIのモデルの標準的なベンチマークは、データベースのベンチマークほど有用ではない。
• ビジネスのコンテキストに合わせて、信頼できる独自のメトリックを確立する必要がある。
• GenAIモデルには、意図しない動作を引き起こす可能性のある「トロイの木馬」が含まれている可能性がある。
• モデルの調達、オンボーディング、コントロールを適切に行い、セキュリティとビジネスリスクを管理する必要がある。

GenAIの信頼性を確保する取り組みは欠かせません。
独自のメトリックの確立と適切な管理が成功の鍵となります。

■コスト最適化について

GenAIの運用におけるコスト最適化の方法について説明しています。

• 大きなモデルをすべての用途に使用すると、コストがかかりすぎてしまう。
• 安価で効率的なモデルを組み合わせて使用できるような、カスケード型のアーキテクチャを導入する。
• モデルの監視とメトリクス分析を通じて、最適なモデルを選択し、コスト効率を高める。

コスト効率を追求する姿勢が重要です。
無駄な支出を避けるための工夫が求められます。

■GenAI運用における要点

• GenAI運用は、従来のシステムとは異なる課題とリスクが伴う。
• 一貫性と管理、コスト最適化、信頼性確保が重要となる。
• RAISEやアジェンティックアーキテクチャなどの手法を活用し、ビジネスに適した運用体制を構築する必要がある。

新しい技術に適応するための柔軟な運用体制が求められます。
適切な管理と最適化が成功への道です。

■Databricks Champion からのコメント

生成AIプロジェクトをPoCで終わらせず本番化まで推し進めるためには計画的な評価、運用プロセスを導入することが求められていると感じます。

生成AIのソリューションに対する評価手法は現在急速に発展している部分で、本記事のバックエンドでも利用されている MLFlow はその代表です。
特に、たくさんのモデルが利用可能になりファインチューニングのハードルも下がってきているなかで、自社のタスクに合わせた評価メトリクスの設計は今後より重要性になると思います。

■最後に

このセッションを通じて、GenAIの技術がどれだけ急速に進化しているかを再確認できましたが、
同時にその運用には多くの課題と工夫が必要であることも明らかになりました。

組織として、これらの課題に対応し適切な戦略を取ることで、GenAIの持つ可能性を最大限に引き出すことができると感じています。（特にRAISEの取り組みは、今後のGenAI運用のスタンダードになると期待大ですね）