こちらで触れられている新機能です。
Ganglia replaced with cluster metrics
Databricksランタイム13.0以降では、GangliaメトリクスがDatabricksクラスターメトリクスで置き換えられます。Databricksランタイム12以下では、Gangliaメトリクスを使用し続けることができます。クラスターメトリクスで充当できないGangliaメトリクスに依存するワークフローがある場合には、Databricks担当者にお問い合わせください。
クラスターのメトリクスタブからアクセスできます。左上のドロップダウンでハードウェアが選択されている際には、CPUやメモリーの使用量を確認することができます。
左上のドロップダウンでSparkが選択されている際には、Sparkタスクやシャッフルの状況を確認することができます。この他GPUのメトリクスも参照可能です。
右上のドロップダウンではクラスター全体、各ノードのメトリクスを選択することができます。