先日リリースされたVolumesを活用すると、任意のフォーマットのファイルをお手軽に分析できるようになります。

ボリュームとは

簡単に言えば、Unity Catalogにマウントされるファイルシステムのようなものです。

ボリュームは、クラウドオブジェクトストレージロケーションのストレージの論理的ボリュームを表現するUnity Catalogのオブジェクトです。ボリュームは、ファイルのアクセス、格納、制御、整理する能力を提供します。テーブルは表形式のデータセットに対するガバナンスを提供しますが、ボリュームは非テーブルケー式のデータセットに対するガバナンスを追加します。構造化、半構造化、非構造化データを含むすべてのフォーマットのファイルの格納、アクセスを行うためにボリュームを活用することができます。

ボリュームへのファイルのアップロード

以下で公開されているCSVをダウンロードします。

あえてここではExcelで保存します。

Databricksのデータエクスプローラにアクセスし、必要に応じてスキーマを作成し、その配下にボリュームを作成します。

このボリュームにアップロードをクリックします。

先ほどのExcelファイルをドラッグ&ドロップします。

アップロードをクリックします。Excelがアップロードされました。

ボリュームのファイルへのアクセス

ボリュームのファイルには/Volumes/takaakiyayoi_catalog/exterenal_data/external_filesのパスでアクセスできるようになります。

display(dbutils.fs.ls("/Volumes/takaakiyayoi_catalog/exterenal_data/external_files"))

pandasを使ってロードしてみます。

最初に必要なライブラリをインストールします。

%pip install openpyxl xlrd
dbutils.library.restartPython()

ボリュームのパスを指定してロードします。

import pandas as pd

pdf = pd.read_excel("/Volumes/takaakiyayoi_catalog/exterenal_data/external_files/newly_confirmed_cases_daily.xlsx")
display(pdf)

読み込めました！

ボリュームによって、ファイルシステムの複雑性が抽象化されるので、お手軽にファイルを活用した分析ができるようになると思います。ぜひご活用ください！

Databricksクイックスタートガイド

Databricksクイックスタートガイド

Databricks無料トライアル

Databricks無料トライアル