BI、SQLに対する最低限の管理、およびコスト低減を実現するインスタントコンピューティング
Databricks SQLは、すでにデータレイクに対して直接SQL、BIを実行するためのファーストクラスの体験を提供していますが、本日、我々はDatabricksサーバーレスSQLによって、データとAIをシンプルするための新たな一歩を発表できることを嬉しく思います。このDatabricks SQLの新機能は、ユーザーにBI、SQLワークロードに対するインスタントコンピューティングを提供し、管理工数を最小化し、全体のコストを平均40%削減するためのキャパシティの最適化を提供します。これによって、レイクハウスにあるリッチかつリアルタイムのデータセットにアクセスしたいと考えているビジネスアナリストに、シンプルかつ高性能なソリューションを提供することで、企業におけるレイクハウスの導入を促進することができます。
この機能の背後には、Databricksによって完全に管理されている、アクティブなサーバーフリートが存在しており、ユーザーの要請に対して、計算キャパシティをおおよそ15秒で準備することができます。一番のメリットはなんでしょうか？ユーザーがレポート、あるいはクエリーを実行している間しかサーバーレスSQLの課金が発生しないということです。
お使いのBIツールでデータレイクのデータを解析したいと考えるビジネスアナリストがいる企業においては、この機能のメリットを享受することができます。第一に、サーバーレスSQLへの接続は簡単です。特に、最適化されたJDBC/ODBCドライバーを用いたビルトインのコネクターによって、認証のサポート、高性能が実現されます。
お使いのBIツールで接続できます
第二に、サーバーレスSQLは、自身のスケジュールを持ち、クラスターの起動やスケールアウトを待つことなしにすぐにクエリーを処理できる計算資源を必要とする、モダンなビジネスアナリスト向けに開発されています。管理者は、これらのユーザーのワークロードに先んじて、手動で設定、クラスターの起動、停止のスケジュールを行いますが、これはベストなものではなく、過大なプロビジョンや不要なアイドル時間による追加コストを引き起こします。
1クリックでサーバーレスSQLを有効化
ここで、サーバーレスSQLが提供するインスタントコンピュートが全てのユーザーに価値をもたらすことになります。ワンクリックで機能を有効化でき、パフォーマンスチューニングは不要で、パッチやアップグレードは自動で行われます。デフォルトでは、クラスターのアイドル状態が10分続くと、サーバーレスSQLは自動でクラスターをシャットダウンし、リソースを削除し、次のクエリーに対するインスタントコンピュートの起動を準備します。これによって、サーバーレスSQLは、過分なプロビジョンと、使用されていない時のアイドル状態の無駄なキャパシティを回避することで、全体のコストを引き下げます。
すでにサーバーレスSQLを使い始めているお客様には価値を感じていただいています。
「アドホックに数秒で計算資源を利用できる機能によって、我々のチームは迅速に答えを得られるようになりました。高速な起動時間および積極的にオートスケーリングを活用できることで、BI、レポーティングツールのワークロードのスパイクを容易にハンドリングできるようになりました。」
Anup Segu, Data Engineering Tech Lead, YipitData
「サーバーレスSQLは使いやすく、これまでと同じ価格で優れたパフォーマンスを得られるようになりました。我々のスパイクのあるBIワークロードに対して、この機能を用いることでクエリー性能の改善、コストの削減を確認できました。」
Ben Thwaites, Sr. Data Engineer, Intelematics
サーバーレスSQLの内部
サーバーレスSQLのコアは、Databricksアカウントに位置し、数秒でユーザーに割り当てられるKubernetesコンテナーを実行する、サーバープールのオペレーションを行うコンピュートプラットフォームです。
サーバーレスSQLコンピュートプラットフォーム
同時に多数のユーザーがレポートやクエリーを実行した際に、コンピュートプラットフォームは同時実行のロードをハンドルするために、さらにサーバーをクラスターに追加(これも数秒です)します。Databricksは、全てのサーバー設定を管理し、必要に応じて自動でパッチやアップグレードを行います。
それぞれのサーバーは、セキュアな設定で実行し、全ての処理は三層のアイソレーションで保護されます。ランタイムをホスティングするKubernetesコンテナー、コンテナーをホストする仮想マシン(VM)、ワークスペースの仮装ネットワークです。それぞれのレイヤーは、一つのワークスペース後とに分離され、ネットワークをまたがる通信、共有は許可されません。コンテナーは強固な設定が適用され、VMはシャットダウンされ再利用されません。ネットワークは同じクラスター内のノードに限定されます。
起動時間、実行時間、コストの比較
DatabricksサーバーレスSQLと現状のDatabricks SQL、いくつかの従来型のクラウドデータウェアハウスを比較するために内部で一連のテストを実行しました。結果、クラスターの起動時間、クエリー実行時間、全体のコストを検証した際、SQLワークロードを実行するためには、サーバーレスSQLが最もコスト効率性が高く、高性能な環境であることが確認できました。
2021クラウドデータウェアハウスベンチマークレポート：Databricks調べ
使い始めてみる
DatabricksサーバーレスSQLは、レイクハウスにおけるBI、SQLをシンプルにする第一歩となります。お使いのBI、SQLツールからアクセスできる高性能プラットフォームによって、インスタントコンピュート、最低限の管理、コスト削減のメリットを享受することができます。ユーザーの皆様は、生産性が改善されることを気にいるでしょうし、管理者は課題なキャパシティのプロビジョンや無駄なアイドル状態の計算資源によって予算超過することなしに、ユーザーが生産的でいられることで心の平穏を保つことができるでしょう。みんながwinです！
サーバーレスSQLは本日からAWSでパブリックプレビューとなります。アクセスをリクエストするには、以下からサインアップしてください。