本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
Databricksワークフローは、データ、分析、AIワークロードに対する高可用性かつ完全マネージドのオーケストレーターです。本日、Databricks SQLのクエリー、ダッシュボード、アラートをリフレッシュするワークフローを容易に作成、スケジュール、調査、オペレーションできる新たなSQLタスクタイプのパブリックプレビューを発表できることを嬉しく思っています。レイクハウスの完全なパワーをオーケストレーションするために、この新たなタスクタイプと、既存のノートブック、Pythonスクリプト、dbtプロジェクトに対する堅牢なサポートと組み合わせることができます。
実世界のワークフローは、レイクハウスにまたがる数多くの異なるアクティビティをオーケストレーションします。Delta Lakeにデータを取り込み、Delta Live Tablesを用いて変換するワークフローを考えてみます。データがアップデートされると、Databricksに1つ以上のダッシュボードをリフレッシュしたり、SQLクエリーを実行する様に指示することができます。また、様々なデータ品質ディメンションをチェックし、指定された条件が満たされた際にSlackやTeamsに通知するようにアラートを実行することができます。データを準備するワークフローの中でこれらのSQLタスクをオーケストレーションすることで、いくつかのメリットが生まれます: ワークフローの理解しやすくなるだけではなく、失敗時にリペアやピックアップがしやすくなります。
複数のクエリーとダッシュボードをリフレッシュするワークフロー
Databricks SQLタスクを作成するには、シンプルにDatabricksワークフローに移動し、タイプドロップダウンからSQLを選択します。
クエリーをリフレッシュするためにSQLタスクを作成
また、スケジュールの管理や以前の実行の調査など、ジョブスケジューラーによる可視性や安定性のメリットを得ることもできます。
SQLタスク実行の詳細
お使いの環境でのプライシングや利用可能状況については、Databricks SQLのプライシングページ(AWS、Azure)をご覧下さい。