概要
databricksにおける環境情報を保持した構成ファイル（spark-env.sh、hive-site.xml等）を確認するためのノートブックで実行するBashコマンド群を共有します。
Databricks Workspaceのノートブックで実行することを想定しており、ベースとなる3つのコマンドを提示した上で、重要なファイルを表示するコマンドを共有します。
ベースとなるコマンド
1. 指定したディレクトリの直下にあるオブジェクトを表示
%sh
cd {ディレクトリ}
find . -maxdepth 1
実施例
%sh
cd /
find . -maxdepth 1
2. 指定したディレクトリの直下にあるすべてのオブジェクトをツリー形式で表示
%sh
cd {ディレクトリ}
pwd;find . | sort | sed '1d;s/^\.//;s/\/\([^/]*\)$/|--\1/;s/\/[^/|]*/| /g'
実施例
%sh
cd /tmp
pwd;find . | sort | sed '1d;s/^\.//;s/\/\([^/]*\)$/|--\1/;s/\/[^/|]*/| /g'
3. 指定したファイルの内容を表示
%sh
cat {表示するファイルのパス}
%sh
cat /tmp/driver-env.sh
重要そうなディレクトリとファイルを表示するコマンド
最上位の階層のディレクトリを表示
%sh
cd /
find . -maxdepth 1
/databricks/sparkディレクトリのすべてのオブジェクトを表示
%sh
cd /databricks/spark
pwd;find . | sort | sed '1d;s/^\.//;s/\/\([^/]*\)$/|--\1/;s/\/[^/|]*/| /g'
/databricks/sparkディレクトリにあるVERSIONファイルの内容表示
%sh
cat /databricks/spark/VERSION
/databricks/sparkディレクトリにあるspark-env.shファイルの内容表示
%sh
cat /databricks/spark/conf/spark-env.sh
/databricks/sparkディレクトリにあるcore-site.xmlファイルの内容表示
%sh
cat /databricks/spark/dbconf/hadoop/core-site.xml
/databricks/sparkディレクトリにあるspark-config.shファイルの内容表示
%sh
cat /databricks/spark/sbin/spark-config.sh
/databricks/hiveディレクトリのすべてのオブジェクトを表示
%sh
cd /databricks/hive
pwd;find . | sort | sed '1d;s/^\.//;s/\/\([^/]*\)$/|--\1/;s/\/[^/|]*/| /g'
/databricks/hiveディレクトリにあるhive-site.xmlファイルの内容表示
%sh
cat /databricks/hive/conf/hive-site.xml
/databricks/driverディレクトリのすべてのオブジェクトを表示
%sh
cd /databricks/driver
pwd;find . | sort | sed '1d;s/^\.//;s/\/\([^/]*\)$/|--\1/;s/\/[^/|]*/| /g'
/databricks/driverディレクトリにあるspark-branch.confファイルの内容表示
%sh
cat /databricks/driver/conf/spark-branch.conf
/databricks/driverディレクトリにあるpreload_class.lstファイルの内容表示
%sh
cat /databricks/driver/preload_class.lst
/databricks/commonディレクトリのすべてのオブジェクトを表示
%sh
cd /databricks/common
pwd;find . | sort | sed '1d;s/^\.//;s/\/\([^/]*\)$/|--\1/;s/\/[^/|]*/| /g'
/databricks/commonディレクトリにあるdeploy.confファイルの内容表示
%sh
cat /databricks/common/conf/deploy.conf
