はじめに
2023年6月26日から29日にサンフランシスコおよびオンラインにて開催されるDatabricks社主催の年間最大規模のカンファレンスイベント、「Databricks Data＋AI Summit 2023」が開催されました！
ナレッジコミュニケーションでは、イベント開催に伴い、最新アップデート情報やセッションレポートをお届けする特設サイトを公開しておりますのでぜひチェックしてください♪
キーノートday2ではGoogleの元CEO兼会長のエリック・シュミットさんら著名人の登壇もありましたが、本記事ではday2で発表されたサービスや機能を中心にご案内致します。
■DeltaUniForm
day1でもアナウンスされたDelta 3.0のDeltaUniFormについて発表がありました。
これまでレイクハウスのエコシステムは分断されたままでしたが、
UniFormで、Delta Lakeはすべてのエコシステムをサポートするようになりました。
UniFormに対応することで、データレイアウトの変更により性能も改善されるようです。
■Delta Sharing
Delta SharingはDatabricksによって開発された、プラットフォームに関係なく他の企業とデータを共有するためのセキュアなオープンプロトコルです。
今回の発表ではCloudflare、Dell、Oracle、Twilio などの新しいパートナーとデルタ共有のDelta Sharing Ecosystemを拡張し、システム間でデータをシームレスに共有することが強化されているとのことです。
■English SDK FOR Spark
English SDK FOR Sparkは、複雑なコードを理解する必要なしに、英語でのシンプルな指示で結果を得ることができます。英語の指示を生成AIを用いて、PySparkやSQLのコードに変換して利用致します。
day2では、English SDK FOR Sparkを使って自然言語でデータ処理、可視化するデモも披露されておりました。
ナレッジコミュニケーションでは、アマゾン ウェブ サービス（AWS）及びMicrosoft AzureへのDatabricks導入のアセスメント、データ分析基盤構築、運用ソリューションを提供しております。
無料でAI/ML導入に関する相談会も開催してますので、お気軽にご相談、お問い合わせください。