KX and Databricks Integration: Advancing Time-series Data Analytics in Capital Markets and Beyondの翻訳です。
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
KXとDatabricksでは、クオンツの研究や時系列取引データ分析を含む数多くのユースケースをサポートするために、資本市場セクターにおける時系列分析ソリューションを開発するためのパートナーシップを結んでいます。
これまでは、時系列分析においては、SQL、Python、Rのようなデータサイエンス、分析プログラミング言語は面倒で時間を浪費するものとなっていました。SQLはその人気とパワフルな問い合わせ言語であるにもかかわらず、時系列データの順序(時間ベースのjoinなど)や以前の状態などの調査において制限があります。Python、R、そしてSparkであっても、時系列の解析の実施には数ページのコードを必要とします。これらの制限は、時系列分析に関連する高次元のデータによる課題によってさらに大きなものとなります。
特にヘッジファンドや機関投資家のために、このコラボレーションではKXの時系列データ取り扱いの特殊性と、Databricksの包括的な計算資源と機械学習フレームワークを組み合わせることになります。時系列データにフォーカスすることで、このパートナーシップは金融業界における定量的かつデータサイエンスに関する研究、モデリング、取引分析における新たなスタンダードを確立することになります。
データエコシステムとインテグレーションのメリット
KXとDatabricksの強みを組み合わせることで、特にデータ管理におけるメリットを提供することになります。Delta Lakeは、統合されたガバナンス機能によってサポートされるコスト効率性、セキュリティ、信頼性を時系列データ管理にもたらします。Databricksを活用するクライアントによって管理される膨大な量のデータは指数関数的に増加しており、主要なデータプロバイダーとDatabricksのパートナーシップによって、Delta Sharingのようなメカニズムを通じて、クラウドネイティブに容易にデータにアクセスできるようになります。
複数のチームによって単一コピーのデータが活用される、統合データエコシステムへのアクセスを可能にすることで、部門間でのコラボレーションを醸成します。即時性の高い定量分析、取引ワークロードにおける開発者フレンドリーのプラットフォームを用いたドメイン横断のアプリケーションやデータパイプラインにおいてユーザーは、DatabricksのガバナンスプラットフォームであるUnity Catalogによって管理される、スケーラブルかつコストパフォーマンスの高い計算資源を用いて単一バージョンのデータにアクセスできるようになります。
インテグレーションの仕組み
高い評価を得ている時系列データベースであるkdb+に対するKXのPythonの相互運用性を持つインタフェースであるPyKXとDatabricksの組み合わせによって、Delta Lakeに格納されている膨大なデータセットに対する洗練されたクエリーや分析の実行のためのパワフルなプラットフォームをキャピタルマーケット機関に提供し、追加のデータストレージソリューションの必要性を排除し、分析ワークフローをシンプルにします。
スピードとエレガントさを持って増加し続けるデータセットに対応するために、Python Package Index (PyPI)を通じて、既存のDatabricksノートブックにPyKXをシームレスにインストールし、Databricksの単一のドライバーノードでネイティブに実行され、膨大なインメモリデータセットに対して素晴らしいパフォーマンスを提供します。
時系列データ分析にフォーカスすることで、このパートナーシップは、時間と共に変化する金融データに対する詳細な探索を可能とし、戦略的な洞察や即時性のある意思決定において重要なものとなります。
金融サービスのユースケース
時系列分析とは別に、キャピタルマーケットでは強化された戦略のバックテスト、市場調査、競合リスク分析、大ボリュームの顧客注文分析を含むユースケースでKXとDatabricksを活用することができます。資産管理ファームでは、予測ポートフォリオ分析やリスク管理戦略を実行することができます。銀行においては、低レーテンシーかつ継続的に不正検知モデルを改善するためのDatabricksの機械学習フレームワークとkdb+の最高クラスの時系列分析を活用することで、不正の兆候を示す不法な取引挙動を特定するために、トランザクション、注文、市場データに対する徹底的な分析を行い、不正検知・防御におけるKXのアプリケーションが顧客を支援します。このインテグレーションによって、銀行は不正と戦う効果的な手段を手に入れ、オペレーション上のセキュリティを確実なものとし、顧客の資産をガードします。
銀行やキャピタルマーケット以外にも、保険やペイメントセクターにおいても、値付け、主訴、プレミアムの予測や不正検知・対策のようなユースケースを改善するために、Delta Lakeのトランザクション機能とKXの高度な時系列分析からメリットを享受することができます。
先にあるもの(AI、MLのユースケース)
KXとDatabricksのインテグレーションは、Databricksの時系列データ分析能力を強化します。我々共通のお客様における機械学習(ML)の相互運用性の道を整備し、DatabricksでKXをシームレスに活用する既存の投資を前に進めることができます。我々はより重要で即時性のある洞察の抽出、トレンドの予測、ミッションクリティカルな意思決定の改善を行うために、KXやkdb+と共にDatabricksレイクハウスにおいて管理される膨大なデータセットに適用可能なMLアルゴリズムのインテグレーションに向けて共に取り組んでいます。このアプローチでは、大規模時系列データや解析への対応におけるkdb+の強みと、Databricksの高度なデータエンジニアリングやML/AIの能力を活用しており、次世代のキャプたるマーケットにおける包括的な分析プラットフォームを提供します。
さらに、このインテグレーションはオンプレミスあるいはクラウドにデプロイされている従来のKXのソリューションへのシームレスなアクセスも提供します。これによって、お客様はKXの分析能力のすべてのスペクトラムと、高度なデータサイエンス/MLのためのクラウドネイティブプラットフォームや、ノートブックによるお客様のKXの領域への接続性を持つDatabricksを活用できるようになります。これらのパワフルなツールへのシームレスなアクセスを実現することで、このパートナーシップはキャピタルマーケットの専門家たちに、履歴データ分析や低レーテンシーかつリアルタイムストリーミングの洞察に至る様々な分析ニーズに応えることができるデータ分析のための堅牢なセットを提供することになります。
このインテグレーションは、KXの特殊な機能とDatabricksのスケーラブルな分析プラットフォームを組み合わせ、キャピタルマーケットファームが現在の進化し続けるデータドリブンのランドスケープをより効果的にナビゲートできるようにするものです。
今年の3/6にNYで開催されるDatabricks Financial Services Forumにおいて、KXのリードアーキテクトのConnor Gervin、セールスヘッドのJack KiernanがKXとDatabricksのコラボレーションについてより詳細を共有します。4月にはオンデマンドのリプレイでKXのデモを参照することもできます。