Enhanced Workflows UI reduces debugging time and boosts productivity | Databricks Blogの翻訳です。
本書は著者が手動で翻訳したものであり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
データチームは、問題のトラブルシュート、パッチの適用、失敗したワークロードの再起動にあまりに多くの時間を費やしています。エンジニアが、自分たちの一日をワークロードの調査やデバッグに費やすことは珍しいことではありません。
我々は、データエンジニアたちが自分たちのジョブの問題を監視、診断しやすくなるようにしました。これらの機能によって、ジョブの実行が失敗したり、通常よりも長い時間を要していることを認識することができ、失敗の理由を理解し、クイックに問題の根本原因を対策できるようになります。
タイムラインビューにおけるジョブ実行の可視化
データエンジニアとして、ワークロードを最適化する最初のステップは、時間がかかっている箇所の理解です。複雑なデータワークフローにおいては、藁山から針を探し出すようなものに感じるかもしれません。新たなタイムラインビューでは、タイムラインにおける水平バーとしてジョブの実行を表示し、タスクの依存関係、期間、ステータスを表示します。これによって、あなたのDAG実行におけるボトルネックや非常に時間をかけている領域をクイックに特定できるようになります。タスク同士がどのように交差し、どこで遅延が生じているのかに関する包括的なオーバービューを提供することで、タイムラインビューはあなたの処理を円滑にし、効率性を改善する助けとなります。
実行イベント: ジョブの進捗に関する重要な情報を確認
ワークフロー実行の進捗の追跡は、時には不明瞭で面倒なものとなります: 重要なトラブルシュートの情報を収集するために詳細なログをレビューすることになります。我々は、製品内に処理の実行の進捗を直接可視化する実行イベントを構築しました。この機能によって、重要で適切なイベント(計算資源のセットアップやシャットダウン、ユーザーによるジョブの起動、リトライ、ステータスの変更、通知など)を容易に特定できるようになります。
より良い、よりシンプルでアクション可能なエラー
エラーメッセージを辿ることは、多くの場合、特にメッセージに一貫性がなく、高度に技術的なものである場合には、うんざりすることであり、混乱し、時間を浪費するものとなります。我々はエラーコードをシンプルにし、よりアクション可能なものにしました。これによって、ジョブにおける異常なエラーを監視し、エラーコードでフィルタリングし、より迅速に処理の失敗を解決できる助けとなります。これらのエラー記述によって、複雑なログを調査したり、コード全体を再度理解することなしに、何がうまくいっていないのかをクイックに理解できるようになります。例えば、処理実行におけるUnauthorizedErrorは、ジョブの実行に必要なリソースにアクセスする際の権限の問題があることを示しています。
Databricksアシスタントがワークフローにインテグレーションされました
AIを活用したデータインテリジェンスエンジンであるDatabricksアシスタントが、ジョブの失敗を診断し、解決策を修正してテストするステップを提供します。最も必要としたタイミングと場所で、Databricksワークフロー内でコンテキストアウェアなヘルプを活用することができます。この機能はノートブックタスクでのみサポートされていますが、まもなく他のタスクタイプでもサポートされる予定です。
あなたのジョブで使われているPythonライブラリを一覧
バージョンの競合、破損したパッケージ、意味不明なエラーは、ライブラリの問題のデバッグを、イライラさせ時間を浪費させる問題にさせます。今では、タスクで使用したPythonライブラリをバージョン番号とともに一覧することができます。Pythonパッケージはお使いのDBRイメージの一部としてプレインストールされていたり、コンピュートクラスターの起動時にインストールされるので、これは特に有用なものとなります。この機能では、最終的に使用されたパッケージバージョンがどれであるのかもハイライトします。
使い始めるには？
Databricksワークフローを使い始めるには、クイックスタートガイドをご覧ください。ワークフロータブをクリックするだけで、Azure、AWS、GCPでこれらの機能を試すことができます。
次に来るもの
我々は、監視、アラート、管理の機能の改善を継続していきます。検索やタグ付けの機能を改善することで、あなたが中止するジョブを特定する新たな手段に取り組んでいます。また、あなたが欲しいと考えている他の機能やあなたの体験に関して聞かせていただければと考えています。