0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

Databricks共有クラスターにおけるinitスクリプトの活用

Posted at

Databricksのクラスターにはいくつかの種類があります。Unity Catalogを活用する際には共有クラスターがお勧めなのですが、initスクリプトが使えないなどの制限がありました。

しかし、こちらの記事にありますように、共有クラスターでもinitスクリプトが使えるようになりました!

早速やってみます。

initスクリプトの作成

こちらで使っているinitスクリプトを使います。

taka_librosa_init.sh
#!/bin/bash
apt-get --yes install libsndfile1

ローカルマシンにこちらのシェルスクリプトファイルを保存します。

ボリュームへのアップロード

Databricksのデータエクスプローラにアクセスして、シェルスクリプトファイルをVol.にアップロードします。シェルスクリプトのファイルのパスをコピーします。
Screenshot 2023-08-25 at 13.05.25.png

許可リストにinitスクリプトを追加

データエクスプローラのタイトルの右にあるギアマークをクリックします。
Screenshot 2023-08-25 at 13.03.02.png

Allowed JAR/Init Scriptsタブを開きます。
Screenshot 2023-08-25 at 13.03.22.png

追加をクリックして、タイプはInit Script、ソースタイプVolume、ソースに先ほどコピーしたinitスクリプトのパスを指定して許可リストに追加します。
Screenshot 2023-08-25 at 13.05.47.png
Screenshot 2023-08-25 at 13.06.00.png

クラスターにおけるinitスクリプトの設定

共有クラスターを作成し、ランタイムには13.3以降を選択します。そうしないとinitスクリプトは設定できません。
Screenshot 2023-08-25 at 13.59.20.png

高度なオプション > initスクリプトで、上で指定したinitスクリプトを指定して追加します。
Screenshot 2023-08-25 at 13.07.16.png

クラスターの起動

クラスターを起動するとinitスクリプトが実行されます。
Screenshot 2023-08-25 at 14.03.19.png

%pip install librosa
# Beat tracking example
import librosa

# 1. Get the file path to an included audio example
filename = librosa.example('nutcracker')

# 2. Load the audio as a waveform `y`
#    Store the sampling rate as `sr`
y, sr = librosa.load(filename)

# 3. Run the default beat tracker
tempo, beat_frames = librosa.beat.beat_track(y=y, sr=sr)

print('Estimated tempo: {:.2f} beats per minute'.format(tempo))

# 4. Convert the frame indices of beat events into timestamps
beat_times = librosa.frames_to_time(beat_frames, sr=sr)
Estimated tempo: 107.67 beats per minute

動きました!

Databricksクイックスタートガイド

Databricksクイックスタートガイド

Databricks無料トライアル

Databricks無料トライアル

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?