はじめに

Azure Databricks でクラスターの起動に失敗するケースがいくつかありますが、今回は下記 Instances Unreachable エラーが出力される場合のトラブルシューティングに焦点を絞ります。基本的にはクラスターノードからコントロールプレーンに接続できない際に発生するエラーです。

English

Cluster terminated. Reason: Instances Unreachable
An unexpected error was encountered while setting up the cluster. Please retry and contact Azure Databricks if the problem persists.
Internal error message: Timeout while placing node

日本語

クラスターが終了しました。 理由： 予期しない起動エラー
クラスターのセットアップ中に予期しないエラーが発生しました。もう一度試してもエラーが続く場合はDatabricksにお問い合わせください。
内部エラーメッセージ: Timeout while placing nodes.

トラブルシューティング

1. クラスター名の確認

クラスター名に日本語 (マルチバイト文字) が含まれているとクラスター作成時にエラーが発生します。
Azure Databricks でクラスターを作成するとき、デフォルトでは<ユーザー名>'s Clusterなので、ユーザー名が日本語の場合は注意する必要があります。

2. ネットワーク構成の確認

Databricks で VNet Injection を設定すると、クラスターノードからコントロールプレーンへの接続方式に様々な選択肢があります。4 つの接続方式例でのトラブルシューティングについて説明していきます。

例 2-1. 強制トンネリングをオンプレミス環境を経由する場合

強制トンネリングでオンプレミス環境を経由する場合は主に以下を確認する必要があります。

オンプレミス環境からインターネットに接続する際のアウトバウンドに公式ページに記載されたルールが許可されているか
ワークスペースのパブリックアクセス設定が有効かどうか

強制トンネリングで Hub VNet を経由する場合も同様となります。下図はオンプレミス環境を経由する際の構成例です。

例 2-2. Azure Firewall を経由する場合

Azure Firewall を経由する場合は主に以下を確認する必要があります。

公式ページに従い適切なルールが Azure Firewall で許可されているか
クラスターノードから Azure Firewall に疎通できているか (User Defined Route、VNet Peering、NSG の設定が正しいか)
ワークスペースのパブリックアクセス設定が有効かどうか

下図は Azure Firewall を経由する際の構成例です。

例 2-3. Private Endpoint を経由する場合

Private Endpoint を経由する場合は主に以下を確認する必要があります。

Private DNS Zone 等で名前解決できているか
(Private Endpoint が別の VNet にあるとき) VNet Peering や NSG アウトバウンドが正しく設定できているか

下図は Private Endpoint を経由する際の構成例です。

例 2-4. Databricks VNet から直接パブリックアクセスする場合

Databricks VNet からコントロールプレーンに直接パブリックアクセスする場合は主に以下を確認する必要があります。

NSG アウトバウンドに問題がないか
ワークスペースのパブリックアクセス設定が有効かどうか

Azure のデータセンター間通信はパブリックアクセスであっても外部インターネットを経由せず、構成としては下図となります。

なお、ワークスペース作成時に必須の NSG ルールをすべてのルールと設定すれば、NSG に必要なルールが自動で追加されます。

自動で追加される NSG ルールは下図となります。

3. Init Script の確認

Init Script で hosts 等のネットワーク設定を入れているかを確認します。なお、Init Script が実行される前にコントロールプレーンへの接続が発生します。ですので、adb-XXXXX.XX.azuredatabricks.net のプライベートエンドポイントを Init Script で追記した hosts で名前解決を行おうとしても、クラスター起動に失敗する可能性があるので注意しましょう。

おわりに

Azure Databricks でのクラスター起動時に Instance Unreachable エラーで失敗する際のトラブルシューティング方法について説明しました。他のエラーについては下記ページを参考にトラブルシューティングしましょう。