Introducing Lakehouse Apps | Databricks Blog
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
レイクハウスアプリ(Lakehouse Apps) は、Databricksでネイティブアプリケーションを構築する新たな手段です。レイクハウスアプリは、Databricksの完全なセキュリティやガバナンス機能を用いて、お客様のデータとの隣に、Databricksレイクハウスプラットフォーム上で直接、革新的なデータ & AIアプリケーションを構築、配布、実行できる最もセキュアな手段を提供します。
データ & AIソリューションを構築している開発者にとっては、Databricksマーケットプレイス経由でレイクハウスアプリを配布することで、1万以上のDatabricksのお客様にアクセスを提供することで、導入の時間を劇的に削減することができます。お客様にとっては、レイクハウスアプリは自分たちのレイクハウスのデータの完全な価値を解放し、Databricksネイティブサービスを活用し、新機能でDatabricksを拡張するアプリケーションを実行する最もセキュアな手段となります。
データアプリケーションのジレンマ
Data & AIアプリケーションは、急速に成長しているソフトウェアカテゴリーであり、生成型AIや大規模言語モデル(LLM)がこのトレンドを加速しました。開発者は日々革新的なデータ & AIアプリケーションを開発しており、企業の開発チームは、レイクハウスのデータを直接活用する内製アプリケーションや、それらのデータで構築、トレーニングされたLLMやAIモデルを構築しています。
しかし、これらのソリューションをユーザーの手に届けることは、不必要に複雑なものとなっています。
- 企業のデータは、最も価値ののある資産であり、多くの場合、厳密なセキュリティや規制要件の対象となっています。そのようなデータに外部アプリケーションのアクセスを許可するには、通常は困難なリーガル、セキュリティ、商用のハードルを越えなくてはなりません。このプロセスは高コストで、時にはソフトウェアベンダーがお客様と先に進む際のブロッカーとなります。
- データ & AIワークロードには、膨大な計算能力と規模が必要となります。このようなサービスの構築と運用には、マルチクラウド、複数地域において信頼性とスケーラビリティを持ってこれらのアプリケーションを提供しなくてはならず、膨大な工数を必要とします。
- 企業で利用するアプリケーションは、お客様のセキュリティ、管理、ガバナンスシステムとインテグレーションされなくてはなりません。これらのインテグレーションは構築が効果であり、新規アプリケーションはこれらに欠けています。
これらの課題に対応するために、多くの場合、開発者は2つの選択肢のいずれかに落ち着きます:
- 妥協: 開発者は、お客様のデータプラットフォームで安全に実行するためにSQLやプロプライエタリのスクリプトで自分たちのアプリケーションの一部を書き直すことができます。これは、アプリケーションの完全な機能を提供することを困難にし、プラットフォームごとの複雑なコードの記述、テストを必要とします。
- 複雑性: 開発者は自分たちの製品の「オンプレミス」バージョンを構築、配布することができますが、お客様は手動で自分自身のVPCで手動でインストール、設定、セキュリティ保護、操作しなくてはなりません。
我々はもっと上手くやれます。
レイクハウスアプリ: 妥協なしのセキュリティ
レイクハウスアプリは、ネイティブ、セキュア、妥協なしのソリューションでこれらの課題に対応します。
レイクハウスアプリはお客様のDatabricksインスタンス(ワークスペース)で直接動作するので、お客様のデータとインテグレーションでき、Databricksサービスを活用、拡張し、ユーザーは単一のシングルサインオン体験でインタラクションすることができます。これら全ては、Databricksと同じセキュリティ、プライバシー、コンプライアンスコントロールです。データがお客様のインスタンスを離れる必要がありません。
Databricksマーケットプレイスを通じて、10,000以上のDatabricksのお客様に対して、レイクハウスアプリを即座に配布、収益化することができます。 お客様は、Databricksのネイティブの機能として、効率的にそれらを発見、インストール、セキュリティ保護、管理、統治することができます。アプリで使用される計算リソースは、Databricksによって直接お客様に課金されます。お客様の内部アプリも、インスタンスに直接インストールすることができます。
レイクハウスアプリは、セキュリティ保護、サンドボックス化、統治されます。 すべてのアプリは、セキュアで設定可能なサンドボックスで稼働します。お客様は、アプリがどのリソースがアクセスできるのかを選択し、誰がアプリを操作することができるのかをコントロールし、自動でアプリのアクティビティを管理するために、Databricksの統合ガバナンスソリューションであるUnity Catalogを活用することができます。
レイクハウスアプリはお好きなテクノロジーで構築することができます。 アプリは、事実上すべての言語で記述可能なコンテナ化されたコードを実行するセキュアでオートスケールする計算資源で実行されるので、開発者は特定のグレー無ワークでの開発に限定されません。現在Databricksとインテグレーションされているアプリケーションを容易にアプリに変換することができます。
レイクハウスアプリは完全にレイクハウスネイティブです。 Databricksプラットフォームには、高速なデータウェアハウス、ワークフロー、パイプライン、AI/LLMトレーニングやサービングを含むスケーラブルでコスト効率の高い一連のパワフルなサーバレスサービスがあります。レイクハウスアプリケーションは、これらの機能のすべてを活用することができます。また、アプリは、Unity Catalogのカタログを活用し、メタデータやリネージを生み出し、レイクハウスのファイルシステムと連携することで、カスタム機能でレイクハウスを拡張することができます。
レイクハウスアプリのメリット
開発者にとってのメリット:
- ご自身のデータ & AIソリューションで即座に10Kのお客様にリーチ。
- 導入スピードを劇的に改善。
- お好きなプラットフォームとコードを活用することで、既存の投資を再利用。
- アプリケーションとサービスをスケールするために、Databricksレイクハウスプラットフォームを活用。
- 数十万のデータ & AI実践者にリーチするようにDatabricksを拡張。
- DatabricksエコシステムやDatabricks for Startupsのようなプログラムの一員になることによるメリット。
お客様にとってのメリット:
- ユーザーに様々な革新的な新規アプリケーションへの安全で簡単なアクセスを提供。
- ノートブックやダッシュボードと同様に容易かつセキュアに内製アプリケーションを構築、配布。
- データ & AIアプリケーションの導入、インテグレーション、管理の工数の削減。
パートナーのコメント
間も無くDatabricksにレイクハウスアプリを提供できることを楽しみにしています。現在、我々はレイクハウスアプリとしての革新的なソリューションを構築するために、Retool、Posit、Plotly、Immuta、Kumo.ai、Lamini、Codeium、Habuを含む選抜された早期パートナーと取り組んでいます。
「いかなるデータスタックの上に構築される使いやすいGUIを持つカスタムのビジネスソフトウェアの構築、デプロイのために開発者はRetoolを活用します。RetoolのDatabricksとのネイティブインテグレーションによって、開発者はスピード、セキュリティ、信頼性に妥協することなしに彼らが最も必要とする情報を取得するアプリケーションを作成することができます。データエンジニア、データサイエンティスト、ソフトウェア開発者、データアプリケーションのエンドユーザーは、Databricksマーケットプレースに陳列されている我らのパワフルなオファリングによるすべてのメリットを享受することができます。」– Mark Schaaf, COO, Retool
「Databricksのとのパートナーシップを通じて、RやPythonユーザーにRStudio、Jupyter、VS Codeのようなお好きな開発環境にシームレスなアクセスを提供できることに興奮しています。Posit WorkbenchをDatabricksマーケットプレイスで提供することで、Databricksレイクハウスプラットフォームのセキュリティ、信頼性、スケーラビリティ、パフォーマンスを活用しつつも、セキュアなデータアクセスを我々共通のお客様に提供することで、彼らの障壁を劇的に引き下げます。前に進むことで、我々のPosit Connectユーザーが現在楽しんでいる、高度なパブリッシング機能で10,000のDatabricksのお客様をサポートすることになると予測しています。」– Tareef Kawaf, President of Posit Software, PBC
「Immutaのデータセキュリティプラットフォームは、お客様のクラウドデータの価値を解き放すことを可能とします。レイクハウスアプリによって、Databricksで管理されているデータに我々のオファリングを近づけることができ、我々共通のお客様がクイックにスタートできるようになります。Databricksアプリの柔軟性におyって、お客様は既存のコードやスキルを再利用でき、レイクハウスプラットフォームと密なインテグレーションを実現することができます。」– Mo Plassnig, Chief Product Officer, Immuta
「PlotlyのDash Enterpriseは、プロダクションレベルのデータアプリケーションの構築の先進的なプラットフォームです。3200の共通した企業は、Plotly & DashとDatabricksを活用しています。Plotlyは主要なDatabricksのデータ & AIパートナーです。Databricksレイクハウスプラットフォームのセキュリティ、ガバナンス、スケーラビリティのメリットを享受しつつも、データに認証と承認を含むこれまで以上の密連携された方法で、ユーザーが自分たちのデータを操作できることを保証するためにDatabricksと一緒に取り組みを行っていることを嬉しく思っています。」– Chris Parmer, Co-Founder of Plotly and Creator of Dash
レイクハウスアプリパートナーに興味がありますか？コンタクトして、アップデートにサインアップしてください！