概要
「#p_UG 東京：新春！TROCCOで取り組むデータ活用LT大会というイベント’にて、「TROCCOで高めるDatabricksのポテンシャル～データレイクを生成AIで分析する新時代へ～」というタイトルでの発表を担当したため、その内容を整理します。
発表資料
発表内容補足
manabian について
データ分析基盤の構築方法論や関連テクノロジーの調査だけでなく、エラー対応方法などいわゆる上流から下流までの記事を投稿しています。
引用元：最強のデータ分析基盤を目指して～汎用的なデータ分析基盤の選定方法の提案～ #AWS - Qiita
引用元：データエンジニアリングの背景を踏まえてdbt（Data Build Tool）を少し深く理解してみる #Python - Qiita
引用元：Databricks にて Azure SQL Database の CHAR 型カラムから末尾の空白スペースを自動的に削除する方法 #SQLServer - Qiita
Databricks にて生成 AI により分析できる機能
Databricks には、生成 AI によりデータ分析ができる AI/BI Genieスペースという機能があります。チャットした内容に基づき、内部で SQL を発行してその結果を可視化できます。テーブルに設定したメタデータで参照することや事前に設定した Q&A に基づき回答するなど、最小減の操作により回答の精度を向上することができます。
引用元：AI/BI Genieスペースとは |Databricks on AWS
TROCCO × Databricks
引用元：Databricks と TROCCO の融合で実現するシームレスなデータパイプライン構築入門 #Python - Qiita
TROCCO 関連では下記の記事を投稿しています。
- TROCCO REST APIをPythonで操作：GitHub Copilot で試してみた結果 #AI - Qiita
- TROCCO が Databricks への書き込みをサポートしたので Salesforce のデータを転送してみた #データエンジニアリング - Qiita
- REST APIをPythonで操作：GitHub Copilot で試してみた結果 #AI - Qiita
- TROCCO が Databricks からのデータ読み込みをサポートしたので Salesforce へリバース ETL してみた #データエンジニアリング - Qiita
Salesforce との連携方法
Salesforce とデータ連携する方法として、下記のように整理しました。
引用元：Salesforce のデータを DWH と連携しておいて!!と言われた時に読む記事 #データエンジニアリング - Qiita
Salesforce 関連で下記の記事も投稿しています。
- Salesforce初心者がわずか1週間でRangerランクと認定アソシエイトを取得した達成の記録 #Salesforce認定アソシエイト試験 - Qiita
- Azure Data Factory にて Salesforce をソースとした場合のデータ連携パターン #データエンジニアリング - Qiita
- Azure Data Factory にて Salesforce をシンクとした場合のデータ連携パターン #データエンジニアリング - Qiita
レイクハウスについて
レイクハウスとは何かについて下記に記載されています。
多くのソフトウェアベンダーがレイクハウスへの対応を進めていることが下記の記事で確認できます。