Databricksにおけるクラスター管理で触れているように、Sparkクラスターのメトリクスやログ情報をDatadogで監視することができます。
サンプルノートブックはこちらです。
Datadog APIの取得
Datadogでアカウントを作成し、APIキーを取得します。以下の画面のDD_API_KEY=以降がAPIキーです。
init scriptの作成
DBFS上にinit scriptを作成するので、サンプルノートブックのセルの4行目の<init-script-folder>に格納先を指定してください。
dbutils.fs.put("dbfs:/<init-script-folder>/datadog-install-driver-workers.sh","""
ノートブックのセルを実行してdatadog-install-driver-workers.shを作成します。
注意
デフォルトではログが出力されないので、echo "logs_enabled: true" >> /etc/datadog-agent/datadog.yamlでログを有効化する必要があります(サンプルノートブックの31行目)。
init scriptの設定
クラスターのinit scriptとして、datadog-install-driver-workers.shを指定します。
クラスターのAdvanced OptionsのSpark > Environment VariablesにDatadogのAPIキーを、DD_API_KEY=<your-api-key>の形式で指定します。
クラスターの起動
クラスターの起動に合わせてエージェントが起動し、Datadogにメトリクスとログが送信されます。
サンプルノートブック
参考情報
Databricks参考情報
- Manage clusters | Databricks on AWS
- Apache Spark Cluster Monitoring with Databricks and Datadog - The Databricks Blog
Datadog参考情報
- Databricks
- 最新のinit scriptはこちらから取得できます。 Spark