20ノードのSparkクラスターを作成したのですが、私のpandasのコードが速くなりません。何が悪いのでしょうか？

シングルノードでの動作を前提としたライブラリを使用しており、Databricksに移行しても、これらは分散処理されません。Apache SparkのPython APIであるPySparkを使ってご自身のコードを書き直す必要があります。

あるいは、Apache Sparkデータフレームのデータにアクセスするために、pandasデータフレームAPIを使用できるPandas API on Sparkを活用することができます。

私が愛するアルゴリズムがsklearnにありますが、Spark MLではサポートしていません(例えば、DBSCAN)。どうすればこのアルゴリズムを使いつつSparkのメリットを活かせるのでしょうか？

ベストなデプロイメントの選択肢はアプリケーションのレーテンシーの要件に依存します。

バッチ予測に関しては、推論、予測のためにモデルをデプロイするを参照ください。
ストリーミングアプリケーションに関しては、構造化ストリーミングを参照ください。
低レーテンシーのモデル推論に関しては、MLflowモデルサービング、あるいはAmazon SageMakerのようなクラウドプロバイダーのソリューションの活用を検討ください。

ライブラリをインストール、アップデートする方法はいくつか存在します。

ファイルパスの先頭に/dbfs/を追加してください。ローカルファイルAPIをご覧ください。

注意
セルの出力には、Saving to: '<filename>'と表示されますが、実際には、file:/databricks/driver/<filename>に保存されます。

例えば、https://data.cityofnewyork.us/api/views/25th-nujf/rows.csv?accessType=DOWNLOADのファイルを以下のコマンドでダウンロードしたとします。

Bash

%sh wget https://data.cityofnewyork.us/api/views/25th-nujf/rows.csv?accessType=DOWNLOAD

このデータをロードするには以下を実行します。

Python

pandas_df = pd.read_csv("file:/databricks/driver/rows.csv?accessType=DOWNLOAD", header='infer')