AIの成功を左右するのは、単にモデルを構築することではなく、チームやプラットフォームを横断して、大規模に、本番環境で確実に機能させることであると考えています。特にDataikuやDatabricksのような複数のプラットフォームでモデルを開発する場合、拡張可能で管理されたMLOpsパイプラインが必要になります。
「Product Days」セッションにおいて、TitanMLのプリンシパル・ソリューションズ・エンジニア（元Dataikuのパートナーセールスエンジニア）であるAmanda Milberg氏と、Databricksのパートナー・ソリューションズ・アーキテクトであるPrasad Kona氏が、AIのスケール化における一般的な障壁を克服し、オペレーションを効率化し、DataikuとDatabricksを統合することで段階的なビジネス価値を生み出す方法について議論しました。
→「Product Days」セッションの全編を見る
しかし、解決策を深掘りする前に、まずAI活用をスケールする際に直面する可能性のある課題を見ていきましょう。
AIのスケール化における課題
多くの業界において、AIの導入が進むにつれ、共通の課題が浮かび上がっています。非効率性が積み重なることで、エラーの増加、運用上のボトルネック、コストの上昇を引き起こします。AIの導入初期は数モデルでスムーズに進行することが多いですが、規模が拡大するにつれ、小さな非効率が大きな障害へと変わります。結果として、運用チームはAIの革新を推進するのではなく、トラブルシューティングに追われることになります。
さらに、AIの複雑性が増すにつれて、コンプライアンスやガバナンスの問題も大きくなります。特に大規模言語モデル（LLM）の導入が進む現在、従来の機械学習(ML)モデルと生成AIモデルを別々に管理することは、ガバナンスのリスク、セキュリティの懸念、運用上の課題を生む要因となります。
AIの価値を最大化するための3つの障壁
DataikuとDatabricksが400人のシニアAI専門家を対象に実施した調査では、AIのスケール化を妨げる3つの主な障壁が明らかになりました。
-
MLOps戦略の欠如
シニアAI専門家の半数以上が、「データ、分析、AIプロジェクトを迅速に本番環境へ移行・反復できていない」と回答しています。これはMLOpsの構造化された戦略がないことに起因しており、その結果、AIが組織内で孤立し、ビジネスワークフローに統合しづらくなり、実際のビジネスインパクトが制限されてしまいます。 -
データ品質とアクセスの課題
AIのスケール化には強固なデータ基盤が不可欠ですが、多くの企業ではデータ品質やアクセス性、 ガバナンスを一貫して確保するためのインフラが不足しています。そのため、AIプロジェクトは価値を生み出す前に停滞してしまいます。 -
データ＆AI人材の不足
テクニカルなAI人材は非常に貴重ですが、組織がAIの導入を推進するためにデータサイエンティストのみに頼ることはできません。代わりに、アナリスト、エンジニア、そしてビジネスユーザーがDataikuのようなプラットフォームを活用し、AIをチーム全体で民主化できるようにする必要があります。
しかし、組織がこれらの課題に対応し始めた矢先、もう一つの変革要因が現れます。それが、進化し続ける生成AIの複雑さの増大です。
生成AI：価値創出とリスク管理のバランス
GenAIは大きなチャンスをもたらす一方で、新たな運用上のリスクも生み出します。DataikuとCognizantが実施した調査「CIOのための最新アナリティクスガイド」では、200人のシニアアナリティクスおよびITリーダーからの洞察を収集し、以下の3つの主要な懸念事項を特定しました。
- LLM（大規模言語モデル）のコスト管理
- 進化するAI規制（EU AI法など)への対応
- 生成AIと従来のMLモデルの両方に対するガバナンスの確保
これらのリスクに対処するため、多くの組織は追加のツールを購入しています。しかし、これはツールの分断、コストの増加、運用の複雑化を招くことが多いです。
- 44%の回答者が、現在のツールキットが分析およびAIのニーズを満たしていないと回答
- 43%の回答者が、現在の技術スタックを最新とは見なしていない
- 60%の回答者が、AIライフサイクルの異なるステップを管理するために5つ以上のツールを使用
分断されたツールを増やすのではなく、組織はAIスタックの統合と合理化に注力すべきです。ここで、DataikuとDatabricksが連携することで、構造化され、スケーラブルでガバナンスの効いたソリューションを提供できます。
柔軟性を損なうことなくAIオペレーションを簡素化
AI投資を最大化するためには、組織はAIライフサイクル全体で人、プロセス、ツールをシームレスに接続する方法が必要です。DataikuとDatabricksは、AIのスケーラビリティを支える統合ソリューションを2つの主要な方法で提供します。
1. 多様なユーザーペルソナのサポート
AIはもはやデータサイエンティストだけのものではありません。DataikuとDatabricksは、あらゆるスキルレベルのユーザーが共同作業できる環境を提供し、アナリスト、エンジニア、ビジネスユーザーでもAI開発を容易に行えるようにします。
2. 完全に統合されたML開発ライフサイクル
DataikuがDatabricksの上に統合されることで、すべてのデータはDatabricks内に安全に保持され、処理にはDatabricks Computeを活用します。さらに、データセットやモデルを含むすべての資産はDatabricksのUnity Catalogに記録・保存され、AIプロジェクト全体で一貫したガバナンスを確保します。
この統合により、AIの導入が加速し、セキュリティが向上し、AIガバナンスが簡素化されます。これにより、分断された複数のツールを管理する負担が軽減されます。
Databricks Unity Catalog：AIガバナンスの統合アプローチ
AIのスケールには、単なるモデル開発以上のものが求められます。中央集約型のガバナンス、セキュリティ、コンプライアンスが不可欠です。統合された戦略がなければ、組織はデータのサイロ化、分断されたAIワークフロー、規制上の課題に直面するリスクがあります。
ここで重要な役割を果たすのが Databricks Unity Catalog です。レイクハウスアーキテクチャ上に構築されたUnity Catalogは、AIおよびデータ資産のガバナンスを中央集約し、シームレスなデータ管理、セキュリティ、コラボレーションを実現します。
Unity Catalogを活用することで、組織は以下を実現できます：
- AIモデル、データセット、ノートブックを横断的に検索・発見し、安全にアクセス
- 細かいアクセス制御を設定し、AIワークフロー全体で一貫したガバナンスを適用
- ライフサイクル全体でモデルの系統を追跡・監視し、コンプライアンスと監査性を確保
さらに、Unity Catalogのガバナンスルールは Dataiku 内でも継承されるため、組織は両プラットフォームにわたって一貫したセキュリティポリシーを維持できます。つまり、適切なユーザーのみが適切なデータにアクセスできるようになります。しかし、ガバナンスだけでは不十分です。組織にはAIパイプラインのリアルタイム監視も必要です。ここで役立つのが、DataikuのUnified Monitoringです。
すべてを統合：Unified Monitoring の実際の活用を見る
私たちは、AIのスケールにおける課題、Unity CatalogによるAIガバナンスの重要性、そしてDataikuがどのように統合モニタリングを実現するかを探ってきました。しかし、これが実際にどのように機能するのかを見てみましょう。
👉こちらから動画をご覧ください。本機能に関するハンズオンの説明は、動画内15:00で説明しています
このライブデモでは、Amanda と Prasad が、DataikuとDatabricksを活用して組織がモデルを開発・デプロイ・監視する方法を紹介します。デモの内容は以下の通りです：
- DatabricksのモデルをDataikuに接続し、モニタリングする方法
- 特徴量の重要度分析や混同行列を活用したモデルパフォーマンスの評価
- DataikuとDatabricks間でのシームレスなモデルデプロイ
- Dataikuを中央監視ハブとして活用することで、組織はAIおよびMLパイプラインの全体像を把握し、ガバナンスを強化し、AIの導入を自信を持ってスケールできます。
自信を持ってAIを拡張させる
AIの拡張を成功裏させるには、単にモデルを構築するだけではなく、AIプラットフォームからチーム、ビジネス機能全体にわたって運用化（オペレーショナライズ）することが不可欠です。AIの取り組みが拡大するにつれ、組織はガバナンスの課題、コストの増大、そしてLLMや生成AIの台頭による複雑性の増加に直面します。
DataikuとDatabricksを統合することで、これらの障壁を突破し、スケーラブルでガバナンスの効いたAIエコシステムを構築し、実際のビジネス価値を生み出すことができます。
- Dataikuは統合AIプラットフォームを提供し、技術者と非技術者の両方が協力してAIモデルを構築・監視できる環境を実現
- DatabricksはUnity Catalogを通じて強固なガバナンスを確保し、データ、モデル、AIワークフロー全体を完全に管理可能に
- DataikuのUnified Monitoringにより、AIパイプラインの全体像を可視化し、ドリフト監視、モデルの系統追跡、パフォーマンス評価をプラットフォーム横断で実施可能
DataikuとDatabricksを活用すれば、組織はスケーラビリティとガバナンスのどちらかを選ぶ必要はありません。両方を兼ね備えた統合AIエコシステムを構築できます。
次のステップへ、プロダクトデイズセッションの全容を見る
DataikuとDatabricksが、AIを効率的に拡張し、監視を一元化し、測定可能な効果を促進するために、どのようにお客様のお役に立てるかをご紹介します。
▶︎ セッション動画を見る
原文: Dataiku and Databricks Streamline MLOps at Scale to Drive Business Value