How Confluent and Databricks Are Unlocking Real-Time AIの翻訳です。
本書は著者が手動で翻訳したものであり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
分析システムとオペレーショナルシステム間のインテグレーションを劇的にシンプルにするために、ConfluentとDatabricks間で拡大されたパートナーシップを発表できることを嬉しく思います。企業はAIとリアルタイムデータアプリケーションのデプロイに要する時間を短縮したいと考えていることから、これは特に重要なものとなります。このパートナーシップによって、これらの企業はサイロ化されたデータやガバナンスに対して悩む時間を削減し、自身の顧客に価値を提供することに多くの時間をかけられるようになります。
共に提供する最初の機能は、企業がリアルタイムアプリケーションと自身の分析、AIプラットフォームを橋渡しできるようにするための、ConfluentとDatabricks間のDelta Lakeファーストのインテグレーションです。これによってお客様は、KafkaログをDelta Lakeテーブルに変換するConfluentのTableflowと、DatabricksのUnity Catalog間での円滑かつ双方向のデータフローを手に入れることができます。このインテグレーションによって、インテリジェントなアプリケーションを強化するために、任意のソースからのリアルタイムかつ管理されたデータ製品を解放します。ConfluentとDatabricksは一緒になって、企業がプロダクションレベルのスピードと精度を持ってオペレーショナルシステム上でプロアクティブかつ自動化された意思決定を可能にするAIを構築、デプロイできるように支援します。
AIは信頼できるリアルタイムデータを必要とします
現在、企業は市場での競合姿勢のためには自分のプロプライエタリなデータでチューンされたAIが重要であることを理解しています。AIプロジェクトへの投資が増加するに従い、厳しい真実が明らかとなっています - AIは投入されるデータほどに良くなり、プロプライエタリデータの大部分はサイロ化、分断さえrており、AIのサービスで活用することが困難となっています。多くの企業は、自分たちのデータが連携しない異なるシステムにサイロ化されていることから、AIを本格稼働させることに苦戦しています。
多くの組織では2つの重要なデータサイロを有しています:
- アプリケーション、トランザクション、リアルタイムイベントをサポートするオペレーショナルシステム
- より良い意思決定のためにデータインテリジェンスとAIをドライブする分析システム
AIモデルは正確な予測を行うために、新鮮かつリアルタイムのオペレーショナルデータを必要としますが、リアルタイムアプリケーションは、精度を改善し、意思決定を自動化するためには、分析システムからえられるAIが生成した洞察を必要とします。現在では多くの場合、遅くて脆いバッチジョブでデータはこれらのサイロ間を移動しており、途中でガバナンスやリネージは失われています。これは、従来の機械学習でのオフラインのモデルトレーニングでは許容できるものでしたが、間違っていたり古いデータは貧弱な推論や間違った意思決定を意味するLLMやエージェントAIでは大きな問題となります。
ConfluentとDatabricksはこれを改革し、オペレーショナルシステムと分析システム間をデータがシームレスに移動しつつも、AIの信頼、コンテキスト、使いやすさを維持するために共に取り組んでいます。
ソリューションを定義: AIが活用できるリアルタイムデータ製品
AIを真に稼働させるための鍵は、諸元に関係なくAIと分析を強化するように設計された、単なる生データだけではなく、管理され再利用可能な資産である、リアルタイムで信頼されるデータ製品です。
ConfluentとDatabricks間のインテグレーションを通じて、連携したガバナンスに基づく基盤を用いて、2つの鍵となるフェーズでデータ製品を企業全体において現実のものにします:
- オペレーショナルデータをAIが活用できる資産に変換: ConfluentのTableflowはKafkaのイベントストリームを、Databricksが大規模なデータ変換処理、特徴量エンジニアリング、MLモデルトレーニングを提供するDelta Lakeにシームレスに構造化します。DatabricksのMosaic AIと組み合わせると、ユーザーはストリーミングデータに対して直接モデルをトレーニング、サービングすることができ、予測と意思決定を改善するために、AIはライブで信頼できるイベントストリームを継続的に学習するようになります。
- AIドリブンのインテリジェンスをリアルタイムアプリケーションに提供: DatabricksデータインテリジェンスプラットフォームのAIモデルが洞察を生成すると、それらの結果はTableflowと連携するDeltaテーブルを更新することで、Kafkaに流し戻すことができます。これによって、ビジネスは継続的にアプリケーションの効率を改善する能力を持って、対応に数時間、数日を要するのではなく、即座に意思決定を自動化することができます。
- リアルタイムデータとAIドリブンデータのガバナンスとアクセスの統合: DatabricksのUnity CatalogとConfluentのStream Governanceの連携によって、両方向を移動するデータは管理され、追跡可能な状態やコンプライアンスに準拠した状態を保つようになります。適切に理解され、リネージが追跡されたデータでAIモデルをトレーニングすることができつつも、オペレーショナルチームは、リアルタイムアプリケーションに流れ込むAI生成の洞察がガバナンスと説明可能性を維持しているということを信頼することができます。これによって、AIの導入を遅らせるデータのサイロと一貫性の欠如を排除し、大規模に責任を持ってAIをデプロイできるようにします。
この基盤を構築することで、アプリケーション開発者、データエンジニア、データアナリスト、AIエンジニアは、ついにリアルタイムの単一の信頼できる情報源で作業を行うことができ、手動での工数を削減し、AIの導入を加速することができます。
これによってAIイノベーションが開放される領域
AIがリアルタイムで信頼できるデータで動作することを確実にすることで、企業は受動的な洞察から、かつてないほどのスピードと精度を持ってプロアクティブで自動化された意思決定に移行することができます。
これまでは、AIモデルは古く、バッチ処理されたデータでトレーニングされており、変化する状況への適応が遅れていました。多くの場合、AIドリブンの洞察はプロダクションシステムに再配備するためには手動での介入を必要とし、遅れや非効率性を引き起こしていました。このインテグレーションによって以下を保証し、これらの障壁を取り除きます:
- より迅速な意思決定: AIモデルはバッチ処理を待つのではなくリアルタイムデータを継続的に順信するので、アクションまでの時間を数時間、数日からミリ秒に削減します。
- より高い精度: AIモデルは最新情報に基づいて動的に調整できるので、AIや従来の分析やデータサイエンスの両方からの優れた洞察につながります。
- シームレスな自動化: AIドリブンの洞察は手動の操作なしにオペレーショナルシステムにフィードバックされるので、ビジネスは人間によるプロセスに依存するのではなく、即座にレスポンスを自動化できるようになります。
このインテグレーションによって可能になるAIを活用した鍵となる能力には以下のようなものがあります:
- 異常検知: 不正、サイバーセキュリティの脅威、装置の障害をバッチ処理の後ではなく、それらが起きた瞬間に特定します。
- 予兆分析: 静的な過去のトレンドではなく、連続的に更新されるデータを用いて、サプライチェーンのリスク、顧客の需要、オペレーション上のボトルネックを予測します。
- ハイパーパーソナライゼーション: AIドリブンのレコメンデーションや顧客とのインタラクションは、古い嗜好に基づくのではなく、動的にリアルタイムで適応するようになります。
これは、データの移動をより高速にするということだけではありません。これは、AIがリアルタイムで稼働し、継続的に精度とインパクトを改善し、人間のボトルネックなしに直接ビジネス成果に影響を与えるということなのです。
次に来るのは？
このビジョンを現実なものにするディープな製品インテグレーションを構築しており、向こう数ヶ月でこれらをロールアウトする予定です:
- フローの方向1: TableflowからUnity Catalogへのインテグレーションによって、ConfluentのTableflowからUnity Catalogにリンクされるガバナンス、リネージ、セキュリティを用いて、AIや分析のためのDelta Lakeにリアルタイムのオペレーショナルデータが直接流れ込むようになります。
- フローの方向2: Unity CatalogからTableflowへのインテグレーションによって、この方向にも適用されるガバナンス連携を用いて、AIと分析の洞察をTableflow経由でアプリケーションにフィードバックする機能を提供します。
よりディープダイブするために、我々の製品、エンジニアリングチームは以下をカバーするブログ記事シリーズを公開する予定です:
- どのようにTableflowとDelta Lakeが共にリアルタイムで動作するのか。
- Unity CatalogとStream Governance横断でのメタデータガバナンスがどのように信頼とセキュリティを担保するのか。
- エンタープライズAIにおける現実世界の実装例。
AIを本格稼働させたいと考えている企業に対して、このパートナーシップはミッシングリンクを提供し、常にAIがリアルタイムで信頼できるデータで動作することを確実にします。