最新版はこちらをご覧ください。
https://docs.databricks.com/llms.txt をベースにClaudeで生成したものとなります。
クイックリファレンスカード
Databricks の主要機能を1分で把握
| カテゴリ | 代表的な機能 | 一言説明 |
|---|---|---|
| データ基盤 | Delta Lake | ACIDトランザクション対応ストレージ |
| ガバナンス | Unity Catalog | 統合データカタログ・アクセス制御 |
| ETL | Lakeflow Spark宣言型パイプライン | 宣言的データパイプライン |
| ストリーミング | 構造化ストリーミング | リアルタイムデータ処理 |
| 生成AI | エージェントフレームワーク | AIエージェント構築基盤 |
| ML | MLflow | 実験管理・モデルレジストリ |
| BI | AI/BIダッシュボード | AIパワードの可視化 |
| 開発 | Databricksノートブック | 多言語対応開発環境 |
| 共有 | Delta Sharing | セキュアなデータ共有 |
逆引きインデックス(ユースケース別)
データを取り込みたい
| やりたいこと | 推奨機能 | 参照セクション |
|---|---|---|
| SaaSアプリからデータを取り込む | マネージドコネクタ | 2.2 データ取り込み |
| ファイルを増分で取り込む | Auto Loader | 2.2 データ取り込み |
| ストリーミングデータを処理する | 構造化ストリーミング | 2.1 データパイプライン |
| CSVやJSONを読み込む | DataFrame API | 2.3 サポートデータ形式 |
| 既存のParquetをDeltaに変換する | CONVERT TO DELTA | 1.1 データレイクハウス基盤 |
データを加工・変換したい
| やりたいこと | 推奨機能 | 参照セクション |
|---|---|---|
| ETLパイプラインを構築する | Lakeflow Spark宣言型パイプライン | 2.1 データパイプライン |
| データ品質チェックを入れる | エクスペクテーション | 2.1 データパイプライン |
| 定期実行ジョブを作る | Lakeflowジョブ | 2.1 データパイプライン |
| SQLで変換処理を書く | Databricks SQL | 4.1 データウェアハウス |
| 変更データを追跡する | チェンジデータキャプチャ | 2.1 データパイプライン |
AIモデルを開発したい
| やりたいこと | 推奨機能 | 参照セクション |
|---|---|---|
| LLMアプリを作る | エージェントフレームワーク | 3.1 生成AI / LLM |
| RAGを構築する | ベクトル検索 | 3.1 生成AI / LLM |
| 実験を管理する | MLflowエクスペリメント | 3.2 従来型機械学習 |
| モデルをデプロイする | モデルサービング | 3.2 従来型機械学習 |
| AutoMLで素早く試す | AutoML | 3.2 従来型機械学習 |
| 特徴量を管理する | 特徴量ストア | 3.2 従来型機械学習 |
データを分析・可視化したい
| やりたいこと | 推奨機能 | 参照セクション |
|---|---|---|
| SQLでアドホック分析する | SQLエディタ | 4.1 データウェアハウス |
| ダッシュボードを作る | AI/BIダッシュボード | 4.2 BI・可視化 |
| 自然言語で質問する | Genieデータルーム | 4.2 BI・可視化 |
| 閾値超えを通知する | アラート | 4.2 BI・可視化 |
| KPIを定義する | メトリクスビュー | 4.2 BI・可視化 |
データを共有したい
| やりたいこと | 推奨機能 | 参照セクション |
|---|---|---|
| 外部組織とデータを共有する | Delta Sharing | 9.1 外部共有 |
| プライバシーを保ちつつ共同分析する | クリーンルーム | 9.1 外部共有 |
| データセットを公開・購入する | マーケットプレイス | 9.1 外部共有 |
ガバナンス・セキュリティを強化したい
| やりたいこと | 推奨機能 | 参照セクション |
|---|---|---|
| 統合的にアクセス制御する | Unity Catalog | 1.2 Unity Catalog |
| 行・列レベルで制御する | 行フィルター・列マスク | 1.2 Unity Catalog |
| データの来歴を追跡する | データリネージ | 1.2 Unity Catalog |
| 監査ログを取得する | 監査ログ | 7.3 監査・コンプライアンス |
| シークレットを安全に管理する | シークレット管理 | 7.2 データ保護 |
開発・運用を効率化したい
| やりたいこと | 推奨機能 | 参照セクション |
|---|---|---|
| ローカルIDEから開発する | VS Code拡張機能 / Databricks Connect | 5.1 ノートブック・IDE |
| コードをGit管理する | Git連携 | 5.3 DevOps・CI/CD |
| CI/CDパイプラインを組む | Databricksアセットバンドル | 5.3 DevOps・CI/CD |
| コストを監視する | システムテーブル | 8.2 モニタリング・コスト管理 |
| Terraformで管理する | Terraformプロバイダー | 5.3 DevOps・CI/CD |
ロール別機能ガイド
👨💻 データエンジニア向け
| 優先度 | 機能 | 用途 |
|---|---|---|
| ★★★ | Lakeflow Spark宣言型パイプライン | ETLパイプライン構築 |
| ★★★ | Delta Lake | データストレージ基盤 |
| ★★★ | 構造化ストリーミング | リアルタイム処理 |
| ★★★ | Lakeflowジョブ | ワークフロー管理 |
| ★★☆ | Lakeflow Connect | データ取り込み |
| ★★☆ | Unity Catalog | データガバナンス |
| ★★☆ | Databricksアセットバンドル | CI/CD |
| ★☆☆ | システムテーブル | 運用監視 |
👩🔬 データサイエンティスト向け
| 優先度 | 機能 | 用途 |
|---|---|---|
| ★★★ | Databricksノートブック | 対話的分析・開発 |
| ★★★ | MLflowエクスペリメント | 実験追跡 |
| ★★★ | 特徴量ストア | 特徴量管理 |
| ★★★ | AutoML | 素早いモデル構築 |
| ★★☆ | モデルサービング | モデルデプロイ |
| ★★☆ | エージェントフレームワーク | LLMアプリ開発 |
| ★★☆ | ベクトル検索 | RAG構築 |
| ★☆☆ | 分散学習 | 大規模学習 |
📊 データアナリスト向け
| 優先度 | 機能 | 用途 |
|---|---|---|
| ★★★ | SQLエディタ | SQLクエリ実行 |
| ★★★ | AI/BIダッシュボード | 可視化・共有 |
| ★★★ | Genieデータルーム | 自然言語分析 |
| ★★☆ | サーバーレスSQLウェアハウス | 高速クエリ |
| ★★☆ | アラート | 通知設定 |
| ★☆☆ | メトリクスビュー | KPI定義 |
🔧 プラットフォーム管理者向け
| 優先度 | 機能 | 用途 |
|---|---|---|
| ★★★ | Unity Catalog | ガバナンス基盤 |
| ★★★ | ユーザー・グループ管理 | ID管理 |
| ★★★ | コンピュートポリシー | リソース制御 |
| ★★★ | 監査ログ | セキュリティ監視 |
| ★★☆ | SCIMプロビジョニング | IdP連携 |
| ★★☆ | ネットワークセキュリティ | ネットワーク設定 |
| ★★☆ | コスト管理 | 予算管理 |
| ★☆☆ | Terraformプロバイダー | IaC |
機能ステータス一覧
ステータスは2025年12月時点の情報です。最新情報は公式ドキュメントをご確認ください。
| 機能名 | ステータス | 備考 |
|---|---|---|
| Delta Lake | GA | コア機能 |
| Unity Catalog | GA | 推奨 |
| Lakeflow Spark宣言型パイプライン | GA | 旧DLT |
| 構造化ストリーミング | GA | |
| Lakeflowジョブ | GA | |
| MLflow | GA | |
| モデルサービング | GA | |
| AutoML | GA | |
| 特徴量ストア | GA | Unity Catalog統合 |
| ベクトル検索 | GA | |
| エージェントフレームワーク | GA | |
| エージェントブリックス | パブリックプレビュー | |
| AI/BIダッシュボード | GA | |
| Genieデータルーム | GA | |
| Delta Sharing | GA | |
| クリーンルーム | GA | |
| Databricksアプリ | GA | |
| サーバーレスコンピュート | GA | |
| サーバーレスSQLウェアハウス | GA | |
| サーバーレスGPU | パブリックプレビュー | |
| Lakebase (OLTP) | パブリックプレビュー | |
| Photonエンジン | GA | |
| Databricksアシスタント | GA |
凡例
- GA (General Availability): 本番利用可能
- パブリックプレビュー: 本番利用は自己責任、変更の可能性あり
- プライベートプレビュー: 申請制、限定公開
関連機能クロスリファレンス
データパイプライン構築時
Lakeflow Spark宣言型パイプライン
├── エクスペクテーション(データ品質)
├── 構造化ストリーミング(リアルタイム)
├── Delta Lake(ストレージ)
├── Lakeflowジョブ(オーケストレーション)
└── Unity Catalog(ガバナンス)
→ 2.1 データパイプライン | 1.1 データレイクハウス基盤 | 1.2 Unity Catalog
機械学習ワークフロー
MLflowエクスペリメント
├── 特徴量ストア(特徴量管理)
├── AutoML(自動モデル構築)
├── ハイパーパラメータチューニング(最適化)
├── モデルレジストリ(バージョン管理)
└── モデルサービング(デプロイ)
生成AIアプリ開発
エージェントフレームワーク
├── ベクトル検索(RAG)
├── 基盤モデルAPI(LLM呼び出し)
├── AIプレイグラウンド(プロトタイプ)
├── MLflow(GenAI向け)(トレーシング・評価)
└── モデルサービング(デプロイ)
→ 3.1 生成AI / LLM | 3.2 従来型機械学習
ガバナンス体制構築
Unity Catalog
├── カタログ管理(名前空間)
├── スキーマ管理(データベース)
├── アクセス制御(権限)
├── 行フィルター・列マスク(データ保護)
├── データリネージ(追跡)
└── 監査ログ(監視)
→ 1.2 Unity Catalog | 7.3 監査・コンプライアンス
セルフサービスBI
AI/BIダッシュボード
├── サーバーレスSQLウェアハウス(コンピュート)
├── Genieデータルーム(自然言語)
├── メトリクスビュー(KPI定義)
├── アラート(通知)
└── Unity Catalog(データアクセス)
→ 4.2 BI・可視化 | 4.1 データウェアハウス | 1.2 Unity Catalog
機能一覧(本編)
1. コアプラットフォーム
1.1 データレイクハウス基盤
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| データレイクハウス | 生成AI、ACIDトランザクション、データガバナンス、ETL、BI、機械学習を統合したパラダイム | https://docs.databricks.com/aws/ja/lakehouse/ |
| Delta Lake | ACID準拠のストレージプロトコル | https://docs.databricks.com/aws/ja/delta/ |
| Deltaテーブル | トランザクション対応のテーブル形式 | https://docs.databricks.com/aws/ja/tables/delta-table |
| Apache Iceberg | オープンテーブルフォーマットのサポート | https://docs.databricks.com/aws/ja/iceberg/ |
1.2 Unity Catalog(統合データガバナンス)
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| Unity Catalog | 統合データガバナンスソリューション | https://docs.databricks.com/aws/ja/data-governance/unity-catalog/ |
| カタログ管理 | カタログの作成・管理 | https://docs.databricks.com/aws/ja/catalogs/ |
| スキーマ管理 | データベース(スキーマ)の管理 | https://docs.databricks.com/aws/ja/schemas/ |
| ボリューム | 非表形式データのガバナンス | https://docs.databricks.com/aws/ja/volumes/ |
| アクセス制御 | 権限、ABACポリシー、オブジェクト所有権 | https://docs.databricks.com/aws/ja/data-governance/unity-catalog/access-control |
| 行フィルター・列マスク | 行フィルターと列マスクによるデータレベル制御 | https://docs.databricks.com/aws/ja/data-governance/unity-catalog/filters-and-masks |
| データリネージ | データの系譜追跡・分析 | https://docs.databricks.com/aws/ja/data-governance/unity-catalog/data-lineage |
| 動的ビュー | 動的なデータアクセス制御 | https://docs.databricks.com/aws/ja/data-governance/unity-catalog/create-views |
1.3 コンピュートリソース
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| 汎用コンピュート | 汎用クラスター | https://docs.databricks.com/aws/ja/compute/ |
| サーバーレスコンピュート | インフラ管理不要のオンデマンドコンピュート | https://docs.databricks.com/aws/ja/compute/serverless/ |
| GPUコンピュート | GPU対応クラスター | https://docs.databricks.com/aws/ja/compute/gpu |
| サーバーレスGPU | 大規模GPUトレーニング用サーバーレス | https://docs.databricks.com/aws/ja/compute/serverless/gpu |
| インスタンスプール | クラスター起動高速化のためのプール | https://docs.databricks.com/aws/ja/compute/pool-index |
| Photonエンジン | ネイティブ・ベクトル化クエリエンジン | https://docs.databricks.com/aws/ja/runtime/photon |
| Databricksランタイム | マネージドSparkランタイム | https://docs.databricks.com/aws/ja/release-notes/runtime/ |
2. データエンジニアリング
2.1 データパイプライン
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| Lakeflow Spark宣言型パイプライン | 宣言的ETLパイプライン(旧DLT) | https://docs.databricks.com/aws/ja/ldp/ |
| エクスペクテーション | データ品質管理の期待値定義 | https://docs.databricks.com/aws/ja/ldp/expectations |
| 構造化ストリーミング | インクリメンタル・リアルタイム処理 | https://docs.databricks.com/aws/ja/structured-streaming/concepts |
| チェンジデータキャプチャ (CDC) | Delta Change Data Feedによる行レベル変更追跡 | https://docs.databricks.com/aws/ja/delta/delta-change-data-feed |
| Lakeflowジョブ | ワークフローオーケストレーション | https://docs.databricks.com/aws/ja/jobs/ |
| ジョブタスク | タスクの作成・構成 | https://docs.databricks.com/aws/ja/jobs/configure-task |
| ジョブスケジューリング | スケジュール実行 | https://docs.databricks.com/aws/ja/jobs/scheduled |
2.2 データ取り込み(Lakeflow Connect)
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| Lakeflow Connect | データインジェストコネクタ群 | https://docs.databricks.com/aws/ja/ingestion/overview |
| 標準コネクタ | カスタマイズ可能な標準コネクタ | https://docs.databricks.com/aws/ja/ingestion/ |
| マネージドコネクタ | SaaSアプリ・DB向けマネージドコネクタ | https://docs.databricks.com/aws/ja/ingestion/lakeflow-connect/ |
2.3 サポートデータ形式
| 形式 | 説明 | ドキュメントURL |
|---|---|---|
| Delta | ネイティブ形式 | https://docs.databricks.com/aws/ja/delta/ |
| Parquet | Apache Parquet | https://docs.databricks.com/aws/ja/query/formats/parquet |
| CSV | カンマ区切り | https://docs.databricks.com/aws/ja/query/formats/csv |
| JSON | JSON形式 | https://docs.databricks.com/aws/ja/query/formats/json |
| Avro | Apache Avro | https://docs.databricks.com/aws/ja/query/formats/avro |
| ORC | Apache ORC | https://docs.databricks.com/aws/ja/query/formats/orc |
| XML | XML形式 | https://docs.databricks.com/aws/ja/query/formats/xml |
| バイナリ | バイナリファイル | https://docs.databricks.com/aws/ja/query/formats/binary |
3. AI・機械学習
3.1 生成AI / LLM
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| エージェントフレームワーク | コードファーストのAIエージェント構築 | https://docs.databricks.com/aws/ja/generative-ai/agent-framework/author-agent |
| エージェントブリックス | ドメイン特化AIエージェントの構築・オーケストレーション | https://docs.databricks.com/aws/ja/generative-ai/agent-bricks/ |
| 基盤モデルAPI | 基盤モデルへのクエリAPI | https://docs.databricks.com/aws/ja/machine-learning/foundation-model-apis |
| AIプレイグラウンド | LLMとのインタラクティブチャット | https://docs.databricks.com/aws/ja/large-language-models/ai-playground |
| ベクトル検索 | ベクトル検索ソリューション | https://docs.databricks.com/aws/ja/generative-ai/vector-search |
| MLflow(GenAI向け) | GenAIアプリのライフサイクル管理 | https://docs.databricks.com/aws/ja/mlflow3/genai |
3.2 従来型機械学習
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| MLflowエクスペリメント | 実験追跡・管理 | https://docs.databricks.com/aws/ja/mlflow/experiments |
| モデルレジストリ | モデルバージョン・ライフサイクル管理 | https://docs.databricks.com/aws/ja/mlflow/model-registry |
| モデルサービング | ML/GenAIモデルのデプロイ・サービング | https://docs.databricks.com/aws/ja/machine-learning/model-serving/ |
| AutoML | 自動機械学習 | https://docs.databricks.com/aws/ja/machine-learning/automl/ |
| 特徴量ストア | 特徴量エンジニアリング・管理 | https://docs.databricks.com/aws/ja/machine-learning/feature-store/ |
| 分散学習 | 分散学習 | https://docs.databricks.com/aws/ja/machine-learning/train-model/distributed-training/ |
| ハイパーパラメータチューニング | ハイパーパラメータ最適化 | https://docs.databricks.com/aws/ja/machine-learning/automl-hyperparam-tuning/ |
| ディープラーニング | PyTorch, TensorFlow, DeepSpeed対応 | https://docs.databricks.com/aws/ja/machine-learning/train-model/deep-learning |
4. SQL・アナリティクス
4.1 データウェアハウス
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| Databricks SQL | SQLベースのデータウェアハウス | https://docs.databricks.com/aws/ja/sql/ |
| SQLウェアハウス | SQLワークロード用コンピュート | https://docs.databricks.com/aws/ja/compute/sql-warehouse/ |
| サーバーレスSQLウェアハウス | サーバーレスSQLウェアハウス | https://docs.databricks.com/aws/ja/sql/admin/serverless |
| SQLエディタ | SQLエディタ | https://docs.databricks.com/aws/ja/sql/user/sql-editor/ |
| クエリ履歴 | クエリ履歴・パフォーマンス分析 | https://docs.databricks.com/aws/ja/sql/user/queries/query-history |
4.2 BI・可視化
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| AI/BIダッシュボード | AIパワードダッシュボード | https://docs.databricks.com/aws/ja/dashboards/ |
| AI/BI | セルフサービスデータ分析 | https://docs.databricks.com/aws/ja/ai-bi/ |
| Genieデータルーム | 自然言語チャットによるデータ探索 | https://docs.databricks.com/aws/ja/genie/ |
| アラート | 条件ベースの通知 | https://docs.databricks.com/aws/ja/sql/user/alerts/ |
| メトリクスビュー | メトリクスビューの定義・ガバナンス | https://docs.databricks.com/aws/ja/metric-views/ |
5. 開発ツール
5.1 ノートブック・IDE
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| Databricksノートブック | 多言語対応インタラクティブノートブック | https://docs.databricks.com/aws/ja/notebooks/ |
| ノートブックウィジェット | パラメータ入力ウィジェット | https://docs.databricks.com/aws/ja/notebooks/widgets |
| Databricksアシスタント | AIコーディングアシスタント | https://docs.databricks.com/aws/ja/notebooks/databricks-assistant-faq |
| VS Code拡張機能 | Visual Studio Code / Cursor拡張 | https://docs.databricks.com/aws/ja/dev-tools/vscode-ext |
| Databricks Connect | IDEからのリモート接続 | https://docs.databricks.com/aws/ja/dev-tools/databricks-connect |
5.2 CLI・SDK・API
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| REST API | 完全なREST API | https://docs.databricks.com/api/workspace/introduction |
| Databricks CLI | コマンドラインインターフェース | https://docs.databricks.com/aws/ja/dev-tools/cli/ |
| Python SDK | Python SDK | https://docs.databricks.com/aws/ja/dev-tools/sdk-python |
| Java SDK | Java SDK | https://docs.databricks.com/aws/ja/dev-tools/sdk-java |
| Go SDK | Go SDK | https://docs.databricks.com/aws/ja/dev-tools/go-sdk |
| Databricksユーティリティ (dbutils) | ノートブック用ユーティリティ | https://docs.databricks.com/aws/ja/dev-tools/databricks-utils |
5.3 DevOps・CI/CD
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| Databricksアセットバンドル | リソースのプログラム管理 | https://docs.databricks.com/aws/ja/dev-tools/bundles/ |
| Git連携 | Git連携・バージョン管理 | https://docs.databricks.com/aws/ja/repos/ |
| GitHub Actions連携 | GitHub Actions連携 | https://docs.databricks.com/aws/ja/dev-tools/github |
| Terraformプロバイダー | Terraformによるインフラ管理 | https://docs.databricks.com/aws/ja/dev-tools/terraform/ |
5.4 ドライバー・接続
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| JDBCドライバー | JDBC接続 | https://docs.databricks.com/aws/ja/integrations/jdbc-oss/ |
| ODBCドライバー | ODBC接続 | https://docs.databricks.com/aws/ja/integrations/odbc/ |
6. アプリケーション開発
6.1 Databricksアプリ
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| Databricksアプリ | Databricks上でのアプリ開発・デプロイ | https://docs.databricks.com/aws/ja/dev-tools/databricks-apps/ |
6.2 ユーザー定義関数
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| Python UDF | Pythonユーザー定義関数 | https://docs.databricks.com/aws/ja/udf/python |
| Scala UDF | Scalaユーザー定義関数 | https://docs.databricks.com/aws/ja/udf/scala |
7. セキュリティ・コンプライアンス
7.1 認証・アクセス制御
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| アクセス制御 | 認証・アクセス制御 | https://docs.databricks.com/aws/ja/security/auth/ |
| SCIMプロビジョニング | SCIMによるユーザープロビジョニング | https://docs.databricks.com/aws/ja/admin/users-groups/scim/ |
| サービスプリンシパル | サービスプリンシパル | https://docs.databricks.com/aws/ja/admin/users-groups/service-principals |
| 個人アクセストークン | 個人アクセストークン | https://docs.databricks.com/aws/ja/dev-tools/auth/pat |
7.2 データ保護
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| 暗号化 | 暗号化(保存時・転送時) | https://docs.databricks.com/aws/ja/security/keys/ |
| 顧客管理キー | 顧客管理暗号化キー | https://docs.databricks.com/aws/ja/security/keys/customer-managed-keys |
| シークレット管理 | シークレット管理 | https://docs.databricks.com/aws/ja/security/secrets/ |
| ネットワークセキュリティ | ネットワークセキュリティ | https://docs.databricks.com/aws/ja/security/network/ |
7.3 監査・コンプライアンス
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| 監査ログ | 監査ログ | https://docs.databricks.com/aws/ja/admin/account-settings/audit-logs |
| コンプライアンス | HIPAA, PCI-DSS, FedRAMP等への対応 | https://docs.databricks.com/aws/ja/security/privacy/ |
8. 管理・運用
8.1 ワークスペース管理
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| ワークスペースナビゲーション | ワークスペースナビゲーション | https://docs.databricks.com/aws/ja/workspace/ |
| ユーザー・グループ管理 | ユーザー・グループ管理 | https://docs.databricks.com/aws/ja/admin/users-groups/ |
| ワークスペース設定 | ワークスペース設定 | https://docs.databricks.com/aws/ja/admin/workspace-settings/ |
| アカウント設定 | アカウント設定 | https://docs.databricks.com/aws/ja/admin/account-settings/ |
| コンピュートポリシー | コンピュートポリシー | https://docs.databricks.com/aws/ja/admin/clusters/policies |
8.2 モニタリング・コスト管理
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| システムテーブル | システムテーブル | https://docs.databricks.com/aws/ja/admin/system-tables/ |
| コスト管理 | コスト管理・監視 | https://docs.databricks.com/aws/ja/admin/usage |
9. データ共有・コラボレーション
9.1 外部共有
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| Delta Sharing | セキュアなデータ共有 | https://docs.databricks.com/aws/ja/delta-sharing/ |
| Delta Sharing受信者 | 共有データの受信 | https://docs.databricks.com/aws/ja/delta-sharing/recipient |
| クリーンルーム | プライバシー保護共同分析環境 | https://docs.databricks.com/aws/ja/clean-rooms/ |
| マーケットプレイス | データ・AIアセットのマーケットプレイス | https://docs.databricks.com/aws/ja/marketplace/ |
9.2 パートナー連携
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| パートナーコネクト | サードパーティ統合 | https://docs.databricks.com/aws/ja/partner-connect/ |
| Tableau連携 | Tableau連携 | https://docs.databricks.com/aws/ja/partners/bi/tableau |
| Power BI連携 | Power BI連携 | https://docs.databricks.com/aws/ja/partners/bi/power-bi |
| Fivetran連携 | Fivetran連携 | https://docs.databricks.com/aws/ja/partners/ingestion/fivetran |
| Apache Kafka連携 | Kafka連携 | https://docs.databricks.com/aws/ja/structured-streaming/kafka |
| Apache Airflow連携 | Airflow連携 | https://docs.databricks.com/aws/ja/jobs/how-to/use-airflow-with-jobs |
| dbt連携 | dbt連携 | https://docs.databricks.com/aws/ja/partners/prep/dbt |
10. 対応言語
| 言語 | 説明 | ドキュメントURL |
|---|---|---|
| Python | Python開発 | https://docs.databricks.com/aws/ja/languages/python |
| SQL | SQL言語 | https://docs.databricks.com/aws/ja/sql/language-manual/ |
| Scala | Scala開発 | https://docs.databricks.com/aws/ja/languages/scala |
| R | R / SparkR / sparklyr | https://docs.databricks.com/aws/ja/sparkr/ |
11. その他の機能
11.1 OLTP
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| Lakebase | マネージドPostgreSQL OLTP | https://docs.databricks.com/aws/ja/oltp/ |
11.2 サンプルデータ
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| サンプルデータセット | 組み込みサンプルデータセット | https://docs.databricks.com/aws/ja/discover/databricks-datasets |
12. SQLリファレンス
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| SQL言語リファレンス | SQLステートメント一覧 | https://docs.databricks.com/aws/ja/sql/language-manual/ |
| SQL関数 | 組み込みSQL関数 | https://docs.databricks.com/aws/ja/sql/language-manual/sql-ref-functions |
| SQLデータ型 | サポートされるデータ型 | https://docs.databricks.com/aws/ja/sql/language-manual/sql-ref-datatypes |
13. 移行・ベストプラクティス
| 機能名 | 説明 | ドキュメントURL |
|---|---|---|
| 移行ガイド | 各種プラットフォームからの移行 | https://docs.databricks.com/aws/ja/migration/ |
| Apache Sparkからの移行 | Sparkワークロードの移行 | https://docs.databricks.com/aws/ja/migration/spark |
| Unity Catalogへの移行 | Hiveメタストアからの移行 | https://docs.databricks.com/aws/ja/data-governance/unity-catalog/migrate |
| ベストプラクティス | 全般的なベストプラクティス | https://docs.databricks.com/aws/ja/getting-started/best-practices |
| データエンジニアリングベストプラクティス | DE向けベストプラクティス | https://docs.databricks.com/aws/ja/data-engineering/best-practices |
| CI/CDベストプラクティス | CI/CD向けベストプラクティス | https://docs.databricks.com/aws/ja/dev-tools/ci-cd/best-practices |
| 最適化 | パフォーマンス最適化 | https://docs.databricks.com/aws/ja/optimizations/ |
英語名・日本語名対照表
A
| 英語名 | 日本語名 | セクション |
|---|---|---|
| Access Control | アクセス制御 | 1.2, 7.1 |
| Agent Bricks | エージェントブリックス | 3.1 |
| Agent Framework | エージェントフレームワーク | 3.1 |
| AI Playground | AIプレイグラウンド | 3.1 |
| AI/BI Dashboards | AI/BIダッシュボード | 4.2 |
| Alerts | アラート | 4.2 |
| All-Purpose Compute | 汎用コンピュート | 1.3 |
| Apache Iceberg | Apache Iceberg | 1.1 |
| Asset Bundles | アセットバンドル | 5.3 |
| Audit Logging | 監査ログ | 7.3 |
| AutoML | AutoML | 3.2 |
C
| 英語名 | 日本語名 | セクション |
|---|---|---|
| Catalog | カタログ | 1.2 |
| Change Data Capture (CDC) | チェンジデータキャプチャ | 2.1 |
| Clean Rooms | クリーンルーム | 9.1 |
| Cluster | クラスター | 1.3 |
| Compute Policy | コンピュートポリシー | 8.1 |
| Customer-Managed Keys | 顧客管理キー | 7.2 |
D
| 英語名 | 日本語名 | セクション |
|---|---|---|
| Dashboard | ダッシュボード | 4.2 |
| Data Lakehouse | データレイクハウス | 1.1 |
| Data Lineage | データリネージ | 1.2 |
| Databricks Apps | Databricksアプリ | 6.1 |
| Databricks Assistant | Databricksアシスタント | 5.1 |
| Databricks CLI | Databricks CLI | 5.2 |
| Databricks Connect | Databricks Connect | 5.1 |
| Databricks Notebooks | Databricksノートブック | 5.1 |
| Databricks Runtime | Databricksランタイム | 1.3 |
| Databricks SQL | Databricks SQL | 4.1 |
| Databricks Utilities (dbutils) | Databricksユーティリティ | 5.2 |
| Deep Learning | ディープラーニング | 3.2 |
| Delta Lake | Delta Lake | 1.1 |
| Delta Sharing | Delta Sharing | 9.1 |
| Delta Table | Deltaテーブル | 1.1 |
| Distributed Training | 分散学習 | 3.2 |
| Dynamic Views | 動的ビュー | 1.2 |
E
| 英語名 | 日本語名 | セクション |
|---|---|---|
| Encryption | 暗号化 | 7.2 |
| Expectations | エクスペクテーション | 2.1 |
F
| 英語名 | 日本語名 | セクション |
|---|---|---|
| Feature Store | 特徴量ストア | 3.2 |
| Foundation Model APIs | 基盤モデルAPI | 3.1 |
G
| 英語名 | 日本語名 | セクション |
|---|---|---|
| Genie Data Rooms | Genieデータルーム | 4.2 |
| Git Integration | Git連携 | 5.3 |
| GPU Compute | GPUコンピュート | 1.3 |
H
| 英語名 | 日本語名 | セクション |
|---|---|---|
| Hyperparameter Tuning | ハイパーパラメータチューニング | 3.2 |
I
| 英語名 | 日本語名 | セクション |
|---|---|---|
| Instance Pools | インスタンスプール | 1.3 |
J
| 英語名 | 日本語名 | セクション |
|---|---|---|
| JDBC Driver | JDBCドライバー | 5.4 |
| Job Scheduling | ジョブスケジューリング | 2.1 |
| Job Tasks | ジョブタスク | 2.1 |
L
| 英語名 | 日本語名 | セクション |
|---|---|---|
| Lakebase | Lakebase | 11.1 |
| Lakeflow Connect | Lakeflow Connect | 2.2 |
| Lakeflow Jobs | Lakeflowジョブ | 2.1 |
| Lakeflow Spark Declarative Pipelines | Lakeflow Spark宣言型パイプライン | 2.1 |
M
| 英語名 | 日本語名 | セクション |
|---|---|---|
| Managed Connectors | マネージドコネクタ | 2.2 |
| Marketplace | マーケットプレイス | 9.1 |
| Metric Views | メトリクスビュー | 4.2 |
| MLflow Experiments | MLflowエクスペリメント | 3.2 |
| MLflow for GenAI | MLflow(GenAI向け) | 3.1 |
| Model Registry | モデルレジストリ | 3.2 |
| Model Serving | モデルサービング | 3.2 |
N
| 英語名 | 日本語名 | セクション |
|---|---|---|
| Network Security | ネットワークセキュリティ | 7.2 |
| Notebook Widgets | ノートブックウィジェット | 5.1 |
O
| 英語名 | 日本語名 | セクション |
|---|---|---|
| ODBC Driver | ODBCドライバー | 5.4 |
P
| 英語名 | 日本語名 | セクション |
|---|---|---|
| Partner Connect | パートナーコネクト | 9.2 |
| Personal Access Tokens | 個人アクセストークン | 7.1 |
| Photon Engine | Photonエンジン | 1.3 |
| Python SDK | Python SDK | 5.2 |
| Python UDF | Python UDF | 6.2 |
Q
| 英語名 | 日本語名 | セクション |
|---|---|---|
| Query History | クエリ履歴 | 4.1 |
R
| 英語名 | 日本語名 | セクション |
|---|---|---|
| REST API | REST API | 5.2 |
| Row Filters / Column Masks | 行フィルター・列マスク | 1.2 |
S
| 英語名 | 日本語名 | セクション |
|---|---|---|
| Sample Datasets | サンプルデータセット | 11.2 |
| Scala UDF | Scala UDF | 6.2 |
| Schema | スキーマ | 1.2 |
| SCIM Provisioning | SCIMプロビジョニング | 7.1 |
| Secret Management | シークレット管理 | 7.2 |
| Serverless Compute | サーバーレスコンピュート | 1.3 |
| Serverless GPU | サーバーレスGPU | 1.3 |
| Serverless SQL Warehouse | サーバーレスSQLウェアハウス | 4.1 |
| Service Principals | サービスプリンシパル | 7.1 |
| SQL Editor | SQLエディタ | 4.1 |
| SQL Warehouse | SQLウェアハウス | 4.1 |
| Standard Connectors | 標準コネクタ | 2.2 |
| Structured Streaming | 構造化ストリーミング | 2.1 |
| System Tables | システムテーブル | 8.2 |
T
| 英語名 | 日本語名 | セクション |
|---|---|---|
| Terraform Provider | Terraformプロバイダー | 5.3 |
U
| 英語名 | 日本語名 | セクション |
|---|---|---|
| Unity Catalog | Unity Catalog | 1.2 |
| User & Group Management | ユーザー・グループ管理 | 8.1 |
V
| 英語名 | 日本語名 | セクション |
|---|---|---|
| Vector Search | ベクトル検索 | 3.1 |
| Volumes | ボリューム | 1.2 |
| VS Code Extension | VS Code拡張機能 | 5.1 |
W
| 英語名 | 日本語名 | セクション |
|---|---|---|
| Workspace | ワークスペース | 8.1 |
用語集・略語集
アルファベット略語
| 略語 | 正式名称 | 説明 |
|---|---|---|
| ACID | Atomicity, Consistency, Isolation, Durability | トランザクションの4特性 |
| API | Application Programming Interface | プログラム間のインターフェース |
| BI | Business Intelligence | ビジネスインテリジェンス |
| CDC | Change Data Capture | 変更データキャプチャ |
| CI/CD | Continuous Integration / Continuous Delivery | 継続的インテグレーション/デリバリー |
| CLI | Command Line Interface | コマンドラインインターフェース |
| DBFS | Databricks File System | Databricksファイルシステム |
| DBU | Databricks Unit | Databricksの課金単位 |
| DLT | Delta Live Tables | 旧名称(現:Lakeflow Spark宣言型パイプライン) |
| ETL | Extract, Transform, Load | 抽出・変換・ロード |
| GA | General Availability | 一般提供(本番利用可能) |
| GPU | Graphics Processing Unit | グラフィックス処理ユニット |
| IaC | Infrastructure as Code | コードによるインフラ管理 |
| IdP | Identity Provider | IDプロバイダー |
| JDBC | Java Database Connectivity | Java DB接続規格 |
| KPI | Key Performance Indicator | 重要業績評価指標 |
| LLM | Large Language Model | 大規模言語モデル |
| ML | Machine Learning | 機械学習 |
| MLOps | Machine Learning Operations | 機械学習運用 |
| ODBC | Open Database Connectivity | オープンDB接続規格 |
| PAT | Personal Access Token | 個人アクセストークン |
| RAG | Retrieval-Augmented Generation | 検索拡張生成 |
| RBAC | Role-Based Access Control | ロールベースアクセス制御 |
| REST | Representational State Transfer | REST API設計原則 |
| SCIM | System for Cross-domain Identity Management | ID管理の標準規格 |
| SDK | Software Development Kit | ソフトウェア開発キット |
| SQL | Structured Query Language | 構造化クエリ言語 |
| UDF | User Defined Function | ユーザー定義関数 |
| UI | User Interface | ユーザーインターフェース |
Databricks固有用語
| 用語 | 説明 |
|---|---|
| カタログ | Unity Catalogの最上位の名前空間。複数のスキーマを含む |
| スキーマ | テーブルやビューを含む名前空間(≒データベース) |
| ボリューム | 非表形式データ(ファイル)を管理するUnity Catalogオブジェクト |
| ワークスペース | Databricksの作業環境単位 |
| クラスター | コンピュートリソースの集合 |
| ノートブック | 対話型コード実行環境 |
| ジョブ | スケジュール実行されるワークフロー |
| ランタイム | クラスターで使用されるソフトウェア環境 |
| メタストア | Unity Catalogのメタデータを格納する最上位コンテナ |
| エクスペクテーション | データ品質を検証するための宣言的ルール |
| リネージ | データの来歴・系譜情報 |
| サービングエンドポイント | モデルをホストするRESTエンドポイント |
Delta Lake用語
| 用語 | 説明 |
|---|---|
| トランザクションログ | Delta Lakeの変更履歴を記録するJSON/Parquetファイル |
| タイムトラベル | 過去のテーブル状態を参照する機能 |
| OPTIMIZE | 小さなファイルを統合するコマンド |
| VACUUM | 古いファイルを削除するコマンド |
| Z-ORDER | データの物理配置を最適化する手法 |
| リキッドクラスタリング | 動的なデータクラスタリング機能 |
| チェックポイント | トランザクションログを集約したファイル |
| 予測的最適化 | OPTIMIZEとVACUUMを自動実行する機能 |
最終更新: 2025年12月
出典: Databricks公式ドキュメント日本語版 (https://docs.databricks.com/aws/ja/)
- ステータス情報は変更される可能性があります。最新情報は公式ドキュメントをご確認ください。
- 一部のページは日本語翻訳が完了していない場合があります。その場合は英語版にリダイレクトされます。