Go to Qiita Advent Calendar Top
LoginSignup
6
6

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@taka_yayoi(Takaaki Yayoi)inデータブリックス・ジャパン株式会社

Databricks記事のまとめページ(その2)

Last updated at Posted at 2023-09-24

これまでに自身で翻訳した or 投稿したDatabricks記事をまとめています。随時更新していきます。

人気記事には以下のマークを付けています：

  • 🔥 いいね20件以上 または 閲覧数10,000以上
  • ⭐ いいね10件以上 または 閲覧数5,000以上

記事数が増えたので4つに分割しました。

  • その1 : イベント、チュートリアル、学習コンテンツ、コンセプト、生成AIクックブック、ユースケース、ソリューションアクセラレータ

  • その2（このページ） : ツール連携、ベストプラクティス、Apache Spark、Delta Lake、Unity Catalog、Lakeflow、DLT、Delta Sharing、Databricks SQL等

  • その3 : 機械学習、自然言語処理(NLP)、生成AI/LLM

  • その4 : AIエージェント、LLMOps、MLflow、Mosaic AI、Databricks Apps、AI/BI、Feature Store、AutoML

Databricks機能説明

Databricksにおけるツール・サービス連携

お使いのDatabricksレイクハウスと様々なデータ・ツールを容易に連携できるワンストップのポータルであるDatabricks Partner Connectも利用できます。

その2に続きます。

Databricksのベストプラクティス

Databricksにおけるゲノム解析

DatabricksにおけるCI/CD

Databricksにおける地理空間情報分析

Apache Spark

Apace SparkはDatabricks創始者たちが開発した並列分散処理フレームワークです。

DatabricksとSpark UIで学ぶSparkのパーティション

Apache Spark徹底入門

2024/4/12に翔泳社よりApache Spark徹底入門を出版しました！

以下では書籍で触れているサンプルをウォークスルーしています。

Delta Lake

Delta Lakeはデータレイクにパフォーマンスとガバナンスを提供するストレージレイヤーソフトウェアです。クラウドオブジェクトストレージ上でACIDトランザクションを実現し、検索・更新を高速にするための様々な最適化機能を提供します。

Auto Loader

Sparkの構造化ストリーミングとDelta Lakeを組み合わせることで、大量データを高速にロードすることができます。

Unity Catalog

Unity Catalogを用いることで、レイクハウスのアセットに対するセキュリティ、ガバナンス管理がシンプルになります。

レイクハウスモニタリング

レイクハウスモニタリングはDatabricksにおける監視ソリューションです。

Lakebase

DatabricksマネージドのPostgreSQLです。

Lakeflow

Databricksにおけるデータエンジニアリングの機能はLakeflowに統合されていきます。

DLT(Delta Live Tables)

Delta Live TablesはDLTに名称変更しました。Delta LakeをベースとしたETLパイプライン開発・運用のためのツールです。

Delta Sharing

Delta Sharingはセキュアにデータ共有を行うためのプロトコルであり、社外で利用されているクライアントからDelta Lakeのデータにセキュアにアクセスすることが可能となります。

Databricks SQL

Databricks SQLは、データレイクに対するBIを容易に行えるようにするためのビルトインのSQL開発環境です。

Databricks Partner Connect

Databricks Partner Connectは、お使いのDatabricksレイクハウスと、様々な検証済みデータ、分析、AIツールを容易に連携できるワンストップのポータルです。

Databricksマーケットプレース

データやノートブックなどをやり取りできるマーケットプレースです。

Databricksクリーンルーム

はじめてのDatabricks

はじめてのDatabricks

Databricks無料トライアル

Databricks無料トライアル

はじめてのDatabricks

はじめてのDatabricks

Databricks無料トライアル

Databricks無料トライアル

6
6
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
6
6

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?