概要

databricksにおける環境情報を保持した構成ファイル（spark-env.sh、hive-site.xml等）を確認するためのノートブックで実行するBashコマンド群を共有します。

Databricks Workspaceのノートブックで実行することを想定しており、ベースとなる3つのコマンドを提示した上で、重要なファイルを表示するコマンドを共有します。

ベースとなるコマンド

%sh
cd {ディレクトリ}
find . -maxdepth 1

実施例

%sh
cd /
find . -maxdepth 1

%sh
cd {ディレクトリ}
pwd;find . | sort | sed '1d;s/^\.//;s/\/\([^/]*\)$/|--\1/;s/\/[^/|]*/|  /g'

実施例

%sh
cd /tmp
pwd;find . | sort | sed '1d;s/^\.//;s/\/\([^/]*\)$/|--\1/;s/\/[^/|]*/|  /g'

%sh
cat {表示するファイルのパス}

%sh
cat /tmp/driver-env.sh

%sh
cd /
find . -maxdepth 1

%sh
cd /databricks/spark
pwd;find . | sort | sed '1d;s/^\.//;s/\/\([^/]*\)$/|--\1/;s/\/[^/|]*/|  /g'

%sh
cat /databricks/spark/VERSION

%sh
cat /databricks/spark/conf/spark-env.sh

%sh
cat /databricks/spark/dbconf/hadoop/core-site.xml

%sh
cat /databricks/spark/sbin/spark-config.sh

%sh
cd /databricks/hive
pwd;find . | sort | sed '1d;s/^\.//;s/\/\([^/]*\)$/|--\1/;s/\/[^/|]*/|  /g'

%sh
cat /databricks/hive/conf/hive-site.xml

%sh
cd /databricks/driver
pwd;find . | sort | sed '1d;s/^\.//;s/\/\([^/]*\)$/|--\1/;s/\/[^/|]*/|  /g'

%sh
cat /databricks/driver/conf/spark-branch.conf

%sh
cat /databricks/driver/preload_class.lst

%sh
cd /databricks/common
pwd;find . | sort | sed '1d;s/^\.//;s/\/\([^/]*\)$/|--\1/;s/\/[^/|]*/|  /g'

%sh
cat /databricks/common/conf/deploy.conf