はじめに
Google Spread Sheetと連携して、データをDatabricksに取り込んでみたいと思います。
いくつか、過去のライブラリーなど利用しようとしてハマったので、同じ轍は踏まないように書いておきたいと思います。
開発中止ライブラリー
まず最初に目についたのが、Spark APIを使ったライブラリーspark-google-spreadsheetsだったのですが、Spark3の環境にインストールしようとするとエラーになってしまい、互換性もないということから利用しない方が良さそうです。
ということで、SparkAPIを使ったものは諦めて、通常のPythonライブラリーを使いたいと思います。
gspread / gspread-dataframe ライブラリー
検索してみると、gspreadというライブラリーがあるようです。また gspread-dataframeライブラリーを使うと、pandasデータフレームとして取り込む事ができるとの事なのでこちらが良さそうです。
手順１：Google 側の設定を行う
こちらの記事が非常にわかりやすかったので、こちらを参考に以下のGoogle側の設定を行います。
https://virment.com/enable-google-spreadsheet-api/
- Spreadsheet API を有効化する
- Service Accountの作成と Account Keyの発行
- Spreadsheet への permission設定
手順２：Account KeyファイルをDatabricksのDBFS上にアップロードする
上記のサービスアカウント作成時にダウンロードしたAccount Keyファイル(json)を DBFS上にアップロードします。
(注意)
DBFS上におくと他のユーザーもアクセスできてしまうのでその点だけご注意ください。もし他のユーザーとキーファイ
ルを共有したくない場合は、S3などにファイルを配置して、Instance Profileなどを利用して直接アクセスするようにしてください。
今回はそのままDBFSにアップロードします。
#手順3：Databricks Notebookから利用してみよう
これで準備は完了です。それではノートブックから利用してみましょう。
今回利用するGoogle Sheetはこちらです。
ファイル名はtest_data
シート名はtest_sheet
Google SheetのURLに大事なSheetID情報があります。
https://docs.google.com/spreadsheets/d/<ここの部分>/edit#gid=xxxx
ライブラリーインストール
%pip install gspread
%pip install oauth2client
%pip install gspread-dataframe
Google認証情報とワークシート情報の設定＆シートの読み込み
以下の３つの入力情報を入力の上実行すると、エラーがなければスプレッドシートをオブジェクトとして取得する事ができます。
import gspread
import json
from oauth2client.service_account import ServiceAccountCredentials
from gspread_dataframe import get_as_dataframe, set_with_dataframe
#2つのAPIを記述しないとリフレッシュトークンを3600秒毎に発行し続けなければならない
scope = ['https://spreadsheets.google.com/feeds','https://www.googleapis.com/auth/drive']
#######################################
####. 入力情報 (必要事項を入力ください)#######
########################################
credential_path = '<file path of .json>' # アップロードした認証ファイルのパスを指定します。 ex) /dbfs/FileStore/xxx.json
sheet_key = '<spread sheet key>' # 読み込むスプレッドシートのキーを入力します。 ex) '13aaiSIDJkhhynFU-0HyTVb5NUuXv-C31TsXLEftr3bA'
sheet_name = '<sheet name>' # ex) 'test_sheet'
#認証情報を設定し、OAuth2の資格情報を使用してGoogle APIにログインします。
credentials = ServiceAccountCredentials.from_json_keyfile_name(credential_path, scope)
gc = gspread.authorize(credentials)
#スプレッドシートを開く
workbook = gc.open_by_key(sheet_key)
#ワークシート名からワークシートを取得
worksheet = workbook.worksheet(sheet_name)
pandas DataFrameとして読み込み
get_as_dataframe関数で読み込めます。オプションを指定する事で読み込む対象や、ヘッダーなどを付与できます。
オプションはこちらのread_csvオプションが利用できるようです。
df_sps = get_as_dataframe(worksheet, usecols=[2,3,4,5], nrows=6, skiprows=0, header=3, index_col=0)
df_sps
その他
せっかくなので、もう少し触ってみます。
Spark DataFrameとして読み込み
Schemaを変更（Timestamp）
DeltaLakeへの保存 ＆ TempView作成
参考サイト
サンプルノートブック
今回利用したサンプルノートブックはこちらから利用できます。