Gaining Actionable Big Data Insights for MATLAB and Simulink with Databricksの翻訳です。
本日、我々は世界中のエンジニア、サイエンティストに使用されているMATLAB、Simulink製品ファミリーを有するMathWorksとのパートナーシップを発表しました。
医療機器から、ジェット機、自律自動車に至るまで、数多くのエンジニア、サイエンティストが、物理システムと相互作用するシミュレーションモデルを用いて自律システムを構築、テストするためにMATLABとSimulinkを使用しています。しかし、これらのモデルをクラウドの規模で動作させようとすると、計算資源を設定し、複雑なデータパイプラインを構築し、モデルやシミュレーションを実行するために新たなプログラミング言語を学ぶ必要があり、ドメインの専門家は様々な運用上の課題に苦悩することになります。これは、本来の目的であるシミュレーション、研究、そして、大規模データから得られる洞察、発見を妨害することになります。
クラウドにおけるMATLABシミュレーションをシンプルに
DatabricksとMathWorksのパートナーシップによって、ドメイン専門家は普段から使用しているMATLABのインタフェースを介して、Databricksのレイクハウスプラットフォームで大規模データを分析し、クラウドにおける大規模データ計算、シミュレーションをシンプルなものにし、上述した課題を解決します。
このパートナーシップによって、エンジニアリング部門のMATLABユーザーは、ITによって管理される中央データリポジトリにアクセスし、MATLABを使用して高速に正確な結果を取得し、仮想マシンやコンテナーなどの専門知識を必要とすることなしにDatabricksのクラスター上でアルゴリズムを実行することができます。ITや他の部門のDatabricksユーザーにとっては、MathWorksのMATLABユーザーとともに、クラウドで効率的にデータサイエンス、データエンジニアを実行するための新たなユーザーコミュニティを活用できるというメリットが生まれます。
1. 大規模データ処理のためにMATLABアルゴリズムをDatabricksにデプロイ
合同のソリューションによって、データエンジニア、データサイエンティストが大規模データセットから洞察を得るためのデータ処理、データ分析に活用できるように、MATLABアルゴリズムをDatabricksにデプロイすることが可能になりました。Databricksのレイクハウスプラットフォームによって、アルゴリズムを大規模データに適用するために普段からお使いのMATLAB環境を維持しつつも、高速、大規模、シンプルさを提供し、クラウドの複雑性を低減します。このソリューションによって、MATLABのコマンドラインやアルゴリズムコードから、フルマネージドのApache Sparkクラスター、ジョブスケジュールを設定することができます。
2. 企業規模のデータサイエンスコラボレーションの実現
Databricksに対し、馴染みのあるMATLABインタフェースを維持することで、ドメイン専門家はビジネスロジックに集中でき、スクラッチからプログラムを書くのではなく検証済みのツールボックスを活用できます。業界に特化されたMATLAB、 Simulinkのディープラーニング、予兆保全、財務分析などのツールボックスを活用することで、エンジニアはコーディングことなしに、それらのモデルやアプリケーションをシンプルにデプロイできます。
3. Delta Lakeを通じて大規模データへの高速アクセスが可能に
DatabricksのDBコネクトを活用することで、専門家はDelta Lake内のデータを活用することができます。信頼性の高い大規模データレイクを提供するオープンソースプロジェクトであるDelta Lakeによって、エンジニアはMATLABのビルトインインタフェースから、ストリーミングデータや蓄積データなど様々なデータに対して処理を行うことが可能になります。Delta LakeのACIDトランザクションやスキーマ適用の機能によって、クラウドのデータ規模でもMATLABアルゴリズム、Simulinkモデルが一貫性を維持できるように、データの破損を防ぎつつも大規模データへのアクセスを可能にします。
DatabricksでMATLABとSimulinkの利用を始める
DatabricksとMathWorksパートナーシップの詳細に関しては、ウェビナーBig Data for Engineers: Processing and Analysis in 5 Easy Steps webinarを確認してください。
このウェビナーでは、DatabricksのISVソリューションディレクターNauman PrasadとMathWorksのチーフソリューションアーキテクトArvind Hosagraharaが、詳細なインテグレーションのデモを通じて、どのようにこのソリューションが企業におけるMATLABビッグデータ処理を助けるのかを議論します。