前書き
株式会社NTTデータ デザイン＆テクノロジーコンサルティング事業本部 デジタルテクノロジー＆データマネジメントユニット 所属の@Yuri_Hoshinoです。
現在、サンフランシスコで開催されている DATA CLOUD SUMMIT 24 に現地参加しています。DATA CLOUD SUMMITは、Snowflake社が年次で開催する最大規模のカンファレンスです。
今年のテーマは「BUILD THE FUTURE TOGETHER WITH AI AND APPS.」で、6月3日から6月6日までの4日間にわたって開催されており、400セッション以上、180以上のパートナー企業が参加しています。
本記事ではDay2に行われたPLATFORM KEYNOTEの内容をお届けします。
概要としては、待望の新機能発表がかなりのボリュームとなりました！
AIを動かすための基盤、アプリケーション、AI本体のチューニングなど、まさに生成AIが台頭している2024年にふさわしいコンテンツが盛りだくさんで会場も大変盛り上がっていました。
Sridhar Ramaswamy氏(Snowflake CEO)の講演
Snowflake社のビジョンと共同創業者の2人とのエピソードについて語られました。
- 共同創業者の2人はとても多忙ですがオフィスに毎日現れ、信じられないほど寛大に時間を割いてくれました。
- テクノロジーはシンプルで効率的であるべきだという特定のデザイン哲学を体現することに情熱を注いでおり、その理論が会社として本日まで続いています。
- 全ての機能が1つの製品に深く統合されており、企業向けの最高のデータ基盤であることに誇りを持っています。
Benoit Dageville氏(Snowflake Co-Founder & President of Product)の講演
Snowflakeが企業向けのアーキテクチャとして最適である理由を語られました。
AIアプリケーションのプラットフォームとして優れた点が複数あります。
- 安価である。
- CPU と GPU の両方でオンデマンドで柔軟に構築できるため、あらゆるワークロードを簡単に構築して実行できる。
- サーバーレス方式で世界クラスのモデルにアクセスし、効率を最適化し、統合セキュリティとすべてのレイヤーで使用できる。
- 組織内だけでなく、クラウドや主要企業、さらには企業全体でAIエンジンやアプリを共有してアクセスできる。
全ての種類のデータを保存出来るだけではなく、構造化・半構造化データの両方を使用したデータパイプラインの構築が容易に実現できます。具体的には、顧客が大量のビデオのRAWデータをインプットとしたAIチャットボットを作成するようなことがシームレスにSnowflakeのみで実現することが可能です。
-
Snowparkコンテナエンジン
通常のコンピュートリソースと分離されています。データフローエンジンはストレージとコンピュートを分離するだけでなく、コンピュートとコンピュートを分離することで効率化を実現しています。SnowflakeはSQLエンジンではなく、他の言語も含めた最適なデータフローエンジンで、GPUエンジンにオンデマンドでアクセスできます。クラスターとコンピューティングの両方でセキュリティを確保し分離しており、アカウントごとにネットワークレベルで個々の顧客を互いに分離しています。 -
ARCTIC
複雑な企業ワークロードに対応するためにSnowflakeによって開発されたAIモデルです。検索ユースケースで優れた埋め込みモデルだけでなく、汎用LLNも含まれるハイブリッドモデルです。最大限の効率と極限のシンプルさにより、パラメータは少なく競争力のある性能を実現しています。
Snowflakeはクラウドやリージョン間でデータモデルとAIアプリを安全に共有できる唯一のプラットフォームです。
Christian Kleinerman氏(Snowflake EVP,Product)の講演
新機能について以下の3つのテーマに沿って発表、パートナー企業との対談を実施されました。
- データ基盤の強化
- アプリケーション
- AI
Document AI：近日GA
Snowflakeは数年前からドキュメント、画像、テキストなどの非構造化データに対応しておりますが、これによりAIにより最適なデータ選択が可能となり、様々なユースケースに対応可能です。
Document AIは非常に使いやすいソリューションです。
- 自然言語を使用してドキュメントに質問し、構造化データが抽出可能です。
- Document AIに回答の品質に関するフィードバックを提供することでこれらのモデルを微調整し、モデルがお客様のユースケースに合わせてどんどん改善されるようにすることができます。
- 莫大な入力データに対する処理は独自のMulti Modal ModelであるArctic-TILTで実現しています。
Dynamic Table：GA
データパイプラインにおいて、ストリーミングであろうとなかろうと、テクノロジーの選択やスキルの選択をしなくて済むようにすることが非常に重要です。
Dynamic Tableにより、必要なビジネス変換を再構築するための宣言的ツールが提供され、Snowflake はソースの変更を識別して段階的に処理します。1秒あたり150万行がSnowflakeに取り込まれます。そして、変換を開始するのに10秒もかかりません。
統計を見ると、230,000 を超えるテーブル、3,000 を超える顧客が使用している人気の機能の1つです。
Icebergテーブル：GA
Snowflake上に自分たちのデータが安全に存在し、他のツールや他の製品上のデータと組み合わせて利用したいという要望があり、オープン形式に特化したハイブリッドテーブルであるIcebergテーブルが本日利用可能となりました。
オープンソースの異なるレイヤーへの潜在的な相互運用性におけるリスクを、昨日お知らせしたPolaris Catalogが解決します。
ARUN ULAGARATCHAGAN(Microsoft Corporate Vice President,Azure Data)との対談
Microsoftの新しい取り組みであるMicrosoft FabricとSnowflakeのIcebergテーブル、Polaris Catalogのエコシステムについて語られました。
Microsoft Fabricは、生データからAIに移行し、ビジネスユーザーがビジネス バリューを享受するために必要なすべてのものを提供します。中核となるのは、Fabricに組み込まれたオープンソースデータ形式を採用したデータレイクです。
1 つのレイクに表示される Snowflake データは、Microsoftエコシステムを自動的に双方向の統合により活性化します。
Snowflake Horizon
Snowflake Horizonはデータのガバナンスやポリシー設定だけでなく、移行におけるデータ管理やAI利用を助ける基盤となります。
また、Snowflake Horizonを利用することでパフォーマンスコントロールが可能です。
2023年8月以降で、27%のパフォーマンスが改善しています。また過去数か月間で12%の改善を達成しました。これは、ワークロードの一部を比較したものであり、ワークロードの高速化と、コスト削減または経済性の向上も意味します。
Universal Search：GA
膨大なアセットからWeb UIで適切なリソース、データを検索することが可能です。
Internal Marketplace：近日PuPv
会社の中でシームレスに利用可能なマーケットプレイスです。
気に入ったリストやデータセットがあり、マーケットプレイスがない場合、その URLをクエリに挿入できます。そして、他の人の作業やメール、会社をよりシームレスに活用して、データのクエリを開始できます。
また、後述するCortexを利用してデータをより見やすい形で利用することが可能です。
Cortex
DASH DESAI氏(Snowflake Lead Developer Advocate)による デモ が行われました。
マーケットプレイスでSearchタブにキーワードを入力すると関連するデータが出てきます。
- すべてのテーブルが利用可能。
- どのユーザがプランに入っているか見ることが可能。
- ガバナンス観点でどういうデータを自分が持っているか、機密データなのかを知ることが可能。
- スキーマレベルのプロパティなどを見ることが可能。カスタムの分類を追加することが可能。
- 自動で再分類することが可能。
- 自動でTag Propagationが可能。
ガバナンスタブにおいて、テーブルに対して実行されている上位のクエリから、このテーブルについて必要なすべての情報（利用状況、ロールやユーザ等）を確認できます。
Cortex Pilotタブでテーブルに対し自動で説明文を追加することが可能です。
Trust center：近日GA
Snowflakeではスコープの構成のセキュリティ担保を重視しています。
Trust centerを利用することで、リスク分析やセキュリティ対策が可能となります。
Lineage
Snowflakeはコンプライアンスを遵守し、認定を受けるために多くの作業を行っており、顧客の作業支援をする必要があるとも考えています。
Data Lineageを利用することで動的なデータフローの可視化・定量化が可能であり、MLに対しても拡張されています。
DIETMAR MAUERSBERGER氏(Siemens VP of Data,Siemens AG)との対談
Snowflakeを利用したシステム移行とAI利用について語られました。
Siemensは150万人の顧客をもち全ての人の日常に影響しています。データプロダクトが750以上あるようなレガシーシステムを改善するために大手ハイテク会社と協力したが失敗しました。その後Snowflakeと協力して、MIGRATIONを実施しました。
その結果、43憶のパフォーマンス管理において99.8％のコスト改善がありました。すべてのプロセスがクラウド上にあり、長期的な開発においてデータのメンテナンス・開発・保守をつなぎ続けることが重要です。拡張性やガバナンスなどSnowflakeが変革の中核となっています。GenAIと融合することでデータの潜在能力を引き出すことが可能です。
Snowpark Container Services(AWS:GA,Azure:PuPr)
目標は、顧客がアプリを構築するときに価値を生み出すまでの時間を短縮することです。
Snowparkは多数のライブラリを用意しています。また、より柔軟なコンピューティング、インスタンスの柔軟性、GPU サポートにアクセスできるSnowpark Container Servicesも導入しています。現在AWSで一般提供されており、Azureではパブリックプレビュー中です。3 つのクラウドすべてにできるだけ早く移行する予定です。
Snowflake Native Apps with Snowpark Container Services：PuPr
アプリケーションの消費者のためにNative Appsが存在していますが、Snowpark Container Servicesとの統合が本日パブリックプレビューとなります。
（モニターにNTT DATAのロゴが！！！）
ASHLEY TRAVIS氏(Pizza Hut Senior Director of Media & Loyalty)との対談
Snowflakeを利用したビジネス課題の解決について語られました。
関連性の高い体験を提供し、新規顧客を獲得し、即時アクティベーションの契約の頻度を高めることで、ビジネス全体で顧客の成長を促進する責任を負っています。そして、アプリのコンテンツカードと電子メールのプッシュ通知を提供する顧客エンゲージメントプラットフォームで、パーソナライズされた関連性の高い体験を提供しています。そして、Snowflakeにより、アイデンティティ解決を行い、リアルタイムでセグメントを作成して、パーソナライゼーションを推進できます。
PRATHIBA SUGUMARAN氏(AT&T Director of Technology)との対談
Snowflakeを利用したAIソリューションについて語られました。
AT&Tの運用効率とコスト削減を実現する実質的なAIとソリューションを提供します。
クラウドネイティブの有名なGraphソリューションであるリレーショナルAIを使用しています。これをデータに適用し、不正行為や脅威を主に検出するグラフを作成します。主な目標は、無駄な損失を削減することです。
JEAN-FRANCOIS BOUDREAU氏(CN - Canadian National Railway Assistant Vice President Financial Planning)との対談
Snowflakeを利用したアプリケーションについて語られました。
ビジネスインサイトを使用して財務情報を自動化するためにアプリケーションを使用しています。
このアプリケーションでは、さまざまなオペレーティングシステムから何かが起こっており、パフォーマンス管理を改善しながら、レコードベースの予測を実施することができます。
Application Development
JEFF HOLLAN氏(Snowflake Director of Product, Snowpark and Developer Platform)による デモ が行われました。
Snowflakeの様々なアプリケーションを組み合わせたデモとなっています。
- Snowpark ContainerでGen AIの学習が可能。
- CUDAを利用してPythonコードを迅速に実行可能。
- Notebookでサービスを作成可能。
- Streamlitで表面化させるためのUIを利用可能。
- 生成AI、Hybrid TableでPrimary keyを設定可能。
- SnowflakeにはGraph Analasysを調達する必要がありますがNative Appsで検索可能。
Git Integration：PuPr
GitとSnowflakeの双方の同期をより簡単にし、読み取りと書き込みの両方の操作を可能にします。今日の時点で、パブリックプレビューになっています。
Database Change Management：PuPr
データベース変更管理を可能とします。これにより、Snowflake内のオブジェクトの望ましい状態をファイルで指定できます。Snowflakeは、以前のバージョンとの違いを識別し、オブジェクトを変更して段階的に更新します。
Snowflake CLI：近日GA
適切なプロジェクトとデプロイメントを使用して、お気に入りのIDEからあらゆる種類の操作を自動化できます。
Snowflake Trail
Spark パイプラインをSnowflakeに移行したい場合、トラブルシューティングと一般的な監視に関する支援が必要です。
Snowflake Trailを利用するとSnowflakeで実行しているコードのテレメトリをすべて1か所で確認できます。また、すべてのSnowflakeアカウントでイベントテーブルを作成、カスタマイズを行い、UIで見ることが可能です。パートナー製品との統合もあります。
ZOOM社のVIDEO
Snowflakeを利用したAIの導入について語られました。
Snowflakeで適切な構成を整え、次のステップとして高度な分析機械学習を技術として構築しました。最近では、Gen AI と融合して機械学習機能を強化していますが、これは以前は不可能だった成果です。
事前トレーニング済みの大規模言語モデルをデータに取り入れ、数日以内に概念実証を作成できるようになりました。今では、データと自然言語でチャットしたり、顧客とのセッションで利用しています。
Notebooks：PuPr
MLやAIで何をするにしても、対話型のプログラミング環境であるノートブックが必要です。
今日、オープンノートブックがパブリックプレビューになりました。
Container Runtime：PuPr
パイプラインや変換、プログラムによるトレーニングの構築の基礎となる、スケジュール設定についても考えることができます。インストールした計算のほとんどを実行するときに、ウェアハウスで引き続き実行できますが、環境をさらに制御したり、インスタンスの柔軟性やそのまま使用したい場合は、Container Runtimeを選択できます。
Copilot：GA
INLINE COPILOTでSQLの性能改善が可能であり、個々のニーズに合わせたカスタマイズも可能となっています。
20,000人を超えるユーザーが、生産性の向上にCopilotを活用しています。フィードバックは非常に肯定的です。
Snowpark Pandas API：PuPr
Snowpark上でPandasのコードを実行することが可能です。
MLのデータ準備を行うためのライブラリとしてPandasは大変人気です。
Cortex Fine-Tuning：PuPr
Cortex AIはMODEL CHAT STUDIOの三層になっています。
組織のニーズに合わせて、これらのモデルを調整したい場合はCortex Fine-Tuningで調整可能となります。
AMANDA KELLY氏(Snowflake Director of Product)による デモが行われました。
- LLMについて2つのモデルのうち大きいモデルを利用するとよりベターですが、Cortex AIで小さいモデルをチューニングすることでより性能を高めること、コスト削減が可能(デモでは1/10のコストで同等の性能)。
- FINE TUNIGには最大30分ほどかかる。
- すべてSnowflake内で完結するためセキュア。
Cortex Analyst：近日PuPr
構造化データに対しCortexを利用して誰でも簡単にチャットボットを作成可能です。
簡単さを示すため、手を挙げた観客がデモを実施しました。
Web UIから3stepほどでCortex Searchを誰でもエンタープライズレベルで作成可能です。
観客がその場で作成した「子供にインターネットをどのように教えたらいいですか？」といった質問にも適切な回答を返すチャットボットが作成されていました。
Dark Mode：PuPr
待望のダークモードが実装されました！！！！
直前のユニークなデモの後、発表した機能の振り返りとまとめに入り、これで新機能の発表は終わりだと見せかけてからの発表だったため、本日1番の盛り上がりを見せていました！！
後書き
DATA CLOUD SUMMIT 24は、NTT DATAもSnowflakeのパートナーとして出展しております。ブース番号1201ですので、現地に参加される方は是非見に来てください。
DATA CLOUD SUMMIT 24 関連記事
いよいよだ！ Snowflake Data Cloud Summit 2024！～ライブストリーミングもあるよ～
Snowflake Summit 直前！データアプリケーション機能をおさらいしておこう
Snowflake DATA CLOUD SUMMIT 24 現地レポート Day1 - OPENING KEYNOTE
Snowflake Summit 2024で発表されたアプリケーション機能群のアップデートポイント
Snowflake DATA CLOUD SUMMIT 24 現地レポート Day2 - PLATFORM KEYNOTE
Snowflake DATA CLOUD SUMMIT 24 現地レポート Day3 - BUILDERS KEYNOTE
Snowflake DATA CLOUD SUMMIT 24 現地レポート Day3 - PARTNER SUMMIT KEYNOTE
仲間募集
NTTデータ テクノロジーコンサルティング事業本部 では、以下の職種を募集しています。
1. クラウド技術を活用したデータ分析プラットフォームの開発・構築(ITアーキテクト/クラウドエンジニア)
クラウド／プラットフォーム技術の知見に基づき、DWH、BI、ETL領域におけるソリューション開発を推進します。
https://enterprise-aiiot.nttdata.com/recruitment/career_sp/cloud_engineer
2. データサイエンス領域（データサイエンティスト／データアナリスト）
データ活用／情報処理／AI／BI／統計学などの情報科学を活用し、よりデータサイエンスの観点から、データ分析プロジェクトのリーダーとしてお客様のDX／デジタルサクセスを推進します。
https://enterprise-aiiot.nttdata.com/recruitment/career_sp/datascientist
3.お客様のAI活用の成功を推進するAIサクセスマネージャー
DataRobotをはじめとしたAIソリューションやサービスを使って、
お客様のAIプロジェクトを成功させ、ビジネス価値を創出するための活動を実施し、
お客様内でのAI活用を拡大、NTTデータが提供するAIソリューションの利用継続を推進していただく人材を募集しています。
https://nttdata.jposting.net/u/job.phtml?job_code=804
4.DX／デジタルサクセスを推進するデータサイエンティスト《管理職/管理職候補》
データ分析プロジェクトのリーダとして、正確な課題の把握、適切な評価指標の設定、分析計画策定や適切な分析手法や技術の評価・選定といったデータ活用の具現化、高度化を行い分析結果の見える化・お客様の納得感醸成を行うことで、ビジネス成果・価値を出すアクションへとつなげることができるデータサイエンティスト人材を募集しています。ソリューション紹介
Trusted Data Foundationについて
～データ資産を分析活用するための環境をオールインワンで提供するソリューション～
https://enterprise-aiiot.nttdata.com/tdf/
最新のクラウド技術を採用して弊社が独自に設計したリファレンスアーキテクチャ（Datalake+DWH+AI/BI）を顧客要件に合わせてカスタマイズして提供します。
可視化、機械学習、DeepLearningなどデータ資産を分析活用するための環境がオールインワンで用意されており、これまでとは別次元の量と質のデータを用いてアジリティ高くDX推進を実現できます。
TDFⓇ-AM（Trusted Data Foundation - Analytics Managed Service）について
～データ活用基盤の段階的な拡張支援（Quick Start) と保守運用のマネジメント（Analytics Managed）をご提供することでお客様のDXを成功に導く、データ活用プラットフォームサービス～
https://enterprise-aiiot.nttdata.com/service/tdf/tdf_am
TDFⓇ-AMは、データ活用をQuickに始めることができ、データ活用の成熟度に応じて段階的に環境を拡張します。プラットフォームの保守運用はNTTデータが一括で実施し、お客様は成果創出に専念することが可能です。また、日々最新のテクノロジーをキャッチアップし、常に活用しやすい環境を提供します。なお、ご要望に応じて上流のコンサルティングフェーズからAI/BIなどのデータ活用支援に至るまで、End to Endで課題解決に向けて伴走することも可能です。
NTTデータとTableauについて
ビジュアル分析プラットフォームのTableauと2014年にパートナー契約を締結し、自社の経営ダッシュボード基盤への採用や独自のコンピテンシーセンターの設置などの取り組みを進めてきました。さらに2019年度にはSalesforceとワンストップでのサービスを提供開始するなど、積極的にビジネスを展開しています。
これまでPartner of the Year, Japanを4年連続で受賞しており、2021年にはアジア太平洋地域で最もビジネスに貢献したパートナーとして表彰されました。
また、2020年度からは、Tableauを活用したデータ活用促進のコンサルティングや導入サービスの他、AI活用やデータマネジメント整備など、お客さまの企業全体のデータ活用民主化を成功させるためのノウハウ・方法論を体系化した「デジタルサクセス」プログラムを提供開始しています。
https://enterprise-aiiot.nttdata.com/service/tableau
NTTデータとAlteryxについて
Alteryx導入の豊富な実績を持つNTTデータは、最高位にあたるAlteryx Premiumパートナーとしてお客さまをご支援します。
導入時のプロフェッショナル支援など独自メニューを整備し、特定の業種によらない多くのお客さまに、Alteryxを活用したサービスの強化・拡充を提供します。
NTTデータとDataRobotについて
NTTデータはDataRobot社と戦略的資本業務提携を行い、経験豊富なデータサイエンティストがAI・データ活用を起点にお客様のビジネスにおける価値創出をご支援します。
NTTデータとInformaticaについて
データ連携や処理方式を専門領域として10年以上取り組んできたプロ集団であるNTTデータは、データマネジメント領域でグローバルでの高い評価を得ているInformatica社とパートナーシップを結び、サービス強化を推進しています。
https://enterprise-aiiot.nttdata.com/service/informatica
NTTデータとSnowflakeについて
NTTデータではこれまでも、独自ノウハウに基づき、ビッグデータ・AIなど領域に係る市場競争力のあるさまざまなソリューションパートナーとともにエコシステムを形成し、お客さまのビジネス変革を導いてきました。
Snowflakeは、これら先端テクノロジーとのエコシステムの形成に強みがあり、NTTデータはこれらを組み合わせることでお客さまに最適なインテグレーションをご提供いたします。