はじめに
NTTデータ デザイン＆テクノロジーコンサルティング事業本部でマーケティングを担当している後藤です。
本日は2023/6/25-29に渡って米国ラスベガスで開催された、Snowflake Summit 2023についての熱いイベント模様をお届けしたいと思います！
今回は2023/6/26 Day2のレポートをお届けします！
【Day２】Snowflake Summit Opening Keynote
Opening keynoteでは、Snowflake会長兼CEOのFrank Slootman氏、Snowflake共同創業者兼プロダクト担当社長のBenoit Dageville氏、Snowflakeプロダクト担当上級副社長（SVP）のChristian Kleinerman氏、Snowflake SVP兼Neeva共同創業者のSridhar Ramaswamy氏が登壇。
Snowflakeが描くData Cloudの未来、そしてその世界を実現に近づける新機能拡張紹介です。
Frank Slootman氏によるプレゼンテーション
最も印象的だったのは、Data Cloudの未来です。
【現在】今までのData Cloudの世界はSnowflakeも含めた様々な「部品」で構成されていて、その「部品」の組み合わせで全体のアーキテクチャを描いている。
↓
【未来】これからはデータを中心に複数の機能が宇宙のようにデータを取り囲む世界になる。それによって、利用者は使いたい機能レイヤーに直接アクセスできる未来を描くことが可能になる。
この未来に近づくためにNative App Frameworkが発表されました！
Native App Frameworkは、Snowflake上でアプリケーションの構築、配布、収益化することができます。
顧客側はそのアプリケーションをダウンロードし、すぐに使用することができるようになるのです。（つまりiPhoneのように、欲しいアプリはアプリストアからダウンロードして、、と同じようなことが起こります！）
そしてSnowflakeはALL DATA、ALL WORKLOAD、ALL USERSを合言葉に、すべてのデータ・ワークロード・ユーザに向けてサービスを提供していくという力強い言葉もありました！
ALL DATAとは
・非構造化データ
・半構造化データ
・構造化データ
ALL WORKLOADとは
・データウェアハウス
・データレイク
・ユニストア
・コラボレーション
・サイバーセキュリティ
・データエンジニアリング
・AI/ML
・アプリケーション
ALL USERSとは
・アプリケーション開発者
・MLエンジニア
・データサイエンティスト
・SQL分析者
・ビジネスユーザー
そしてNO LIMITS!!
Data Cloudにいかなる制限を設けず限界に挑戦し続けるSnowflake。アプリケーションもインサイトもデータも全てリミットなく、思ったことができるようになる世界を目指していきたいとのことでした。
それにはユーザのイマジネーションが重要で、常に夢を持ち続けることがNO LIMITSの世界を作り上げるとのことでした！
【絶対に不可能】と無碍にするのではなく、【こうなったらいいな！】と夢を持たないと技術は進歩しなということですね。とても奥が深いです・・・
Christian Kleinerman氏による新機能紹介
新機能やアップデート機能/情報について盛りだくさんのため、3つの章立てで行われました。
①SINGLE PLATFORM
②DEPLOY, DISTRIBUTE, MONETIZE
③PROGRAMMABILITY WITHOUT TRADEOFFS
内容を簡単に記載します↓
①SINGLE PLATFORM
・Unified Iceberg Table (Unmanaged / Managed)
昨年Iceberg Tableが発表されましたが、引き続き大幅アップデート。
データをSnowflakeにコピーする必要なく外部にデータ保存したままSnowflakeのパフォーマンスとガバナンスを獲ることができる。
パフォーマンスが２倍以上向上。
・Document AI
PDFなど自然言語も対応。
・Platform for Comprehensive Privacy
セキュリティ強化の実施。
・パフォーマンスの向上
Snowflakeパフォーマンスインデックスの開発によりクエリ時間は15％向上。
・Budgets, Warehouse使用状況の確認
ウェアハウスの利用率や予算状況を測定したいと要望があり追加。
②DEPLOY, DISTRIBUTE, MONETIZE
アプリケーションのデプロイ、分散化、マネタイズができるプラットフォーム。
・Snowflake Marketplace
今までデータの共有しかできなかったが、Marketplaceを通じアプリケーションの共有が可能に。
・cybersyn社設立
Snowflakeにデータを送るためのデータ共有のサービスの会社が誕生！
・Native App Framework
Snowflake上でアプリケーションの構築、配布、収益化が可能。データの共有はせずにアプリの共有だけを行うことができる。
・Custom Event Billing
Marketplaceにてデータやアプリの課金形態を選択が可能に。
③PROGRAMMABILITY WITHOUT TRADEOFFS
トレードオフなしで効率よくプログラミングをすることができる機能。
・Python API, REST API, Snowflake CLI, Gitについて
Python API, REST APIだけでなく、完全にオープンソースのツールであるSnowflake CLIを新たに提供開始。
・Snowpark関連
Python3.9/3.10ができるようになった。UDFやUDTFを活用し画像/ビデオなどの日構造データの加工が可能に。
・Snowpipe Streaming
KafkaやKinesisなどストリーミングサービスを利用して、直接テーブルにロード可能。低レイテイジでのデータ取り込みが可能に。
・Dynamic Table
DDL内で指定するクエリの実行結果をもとに自動的、継続的にデータを実体化。
・AI/ML関連
特徴量エンジニアリング・学習・評価まで実施可能に。
・Snowpark Modeling API
一般的なMLフレームワークをSnowparkで利用可能。
・Snowpark Model Registry
Snowpark Modeling APIで学習したモデルを管理可能に。
・Streamlit 新関数
st.chat_input()
st.chat_message()
2つの新関数が使えるようになりました！
・Snowpark Container Services
Snowflakeプラットフォーム内で、AIや機械学習（ML）モデル、API、社内開発アプリケーションなどのワークロードを実行できるサービスを開始。任意のプログラミング言語をコードを含めることができ、Snowparkを使用して Snowflake データに導入されるAI/ML及びアプリのワークロードの範囲がさらに拡大。
最後に、Snowpark Container Serviceに対応したサードパーティ製品のデモ10連発が行われ会場は熱気の渦になりました。
デモが行われた製品↓
・Astronomer
・Alteryx
・SAS
・HEX
・CARTO
・RelationalAI
・W&B
・NVIDIA
・Dataiku
Day2 振り返り
Snowflake Summitの本番が始まりました。
改めて通常のクラウド型DWH製品でないのがSnowflakeだと実感し、進化し続けるデータ活用プラットフォームなんだと思いました。
その中でもNative App Frameworkは衝撃的でした。今やiPhoneでアプリを作ったり・購入したりするのは日常的になりましたが、Native App Frameworkが日常となったら次はどんな世界が待っているんだろうと来年・再来年のSnowflake Summitが今から楽しみになりました（早すぎか！？）
Frank Slootman氏が話していた「夢を持ち続けることがNO LIMITSを作り出す」というのは、Snowflakeだけに留まらず私たち個人にも言える事かもしれません。
Technicalだけでなく私にはマインドにも響き、改めてSnowflakeのかっこよさを感じた日となりました。