はじめに

皆さんはデータ分析をどの環境で行っていますか？
ダッシュボード用のデータマートには、GoogleのBigQueryを使っている方も多いでしょう。
一方で、機械学習や統計分析を行う場合は、AWSのSageMakerやDatabricksのNotebook環境など別のクラウド環境を使う方も多いはずです。

BigQueryにあるデータを機械学習のモデルに組み込みたいとき....あるかなと思います。
なんと、Databricksではそれができます！

Lakehouse Federation機能を使えば、Databricksのカタログ製品であるUnity Catalog上にBigQueryの情報を連携させることができます。また、DatabricksのNotebookやSQLエディターで、BigQueryのデータを扱うことができます。

また、BigQueryの環境を移行することなく、BigQuery側でもそのままデータを使うことが可能です。

今回はBigQueryのデータを題材に、DatabricksのLakehouse Federationを紹介していきます。

対象読者

DWHでBigQueryを使っているが、機械学習ではDatabricks環境を使っている方
Databricksの本格的な導入を考えているが、工数をかけずに環境移行を行いたい方

そもそもLakehouse Federationて何？

Unity Catalogでは、フェデレーション機能によって、Databricks以外の環境の外部テーブルの取り込みの機能があります。

Databricksのフェデレーション機能は、Lakehouse Federationと呼ばれます。

Lakehouse Federationは、他のシステム上にあるデータを、もとのデータを移行することなく、Unity Catalog上で閲覧・操作することができる機能です。

フェデレーション機能でUnity Catalogに登録したデータは、内部で管理しているデータと同様に、SQLクエリエディターやノートブックといった他のDatabricksの機能にも連携することができます。

Lakehouse Federationは、以下のデータベースタイプへの接続をサポートしています。

BigQueryをUnity Catalog(カタログ)に登録

では、実際にLakehouse Federationを用いて、BigQueryをUnity Catalog（以下GUI上の名称のカタログで説明)に登録していきます。

カタログの「⚙️」から「接続」を押下します。

次に接続の基本で、接続タイプをGoogle BigQueryを押します。

認証には、BigQuery側でサービスアカウントの発行が必要となります。

Step3では、実際に登録をするカタログ名を設定します。
この際に、BigQuery側との接続情報を確認します。

なおBigQueryのサービスアカウントには、bigquery.jobs.create（かそれ以上)の権限が必要になります。

Step4-5ではアクセス権限の付与と、メタデータ管理に使えるタグの設定が可能です。

Databricksで使える機能

Unity Catalogに登録すると、「履歴」以外のテーブル機能で使えるものが対応していました。

下記のように、概要のメタデータ機能や、サンプルデータもUnity Catalog上で確認することが可能です。
写真のデータは、気象庁が発布する最高気温の1週間分のデータになります。

その他、Unity Catalogのテーブル機能で利用できる項目に関しては、Databricksの公式ドキュメントの該当部分をご確認ください。

また、フェデレーション機能で登録したテーブルに関しては、Databricks内のSQLエディター、ノートブックで、BigQueryのデータを用いてSQLでのコーディングが可能なほか、ダッシュボードの作成も可能でした。

まとめ

今回はBigQueryを題材に、Lakehouse Federationをご紹介してきました。
なんといっても一番のメリットは、元の環境をそのままにBigQueryのデータをDatabrick上で扱える点だと考えています。

また、カタログへの登録方法も、GUI上で完結するもので、非常に楽な仕様になっていました。

BigQueryとDatabricksの両方を活用されている方、Databricksを今後本格的に活用したい方には、フェデレーション機能は非常に有用だと考えています。