ビックデータソリューションでよく登場する分析サービスこと Azure Synapse Analytics を勉強する際に活用できる、マイクロソフトが公開している学習コンテンツをまとめました。これから Synapse を勉強し始める人にもお役に立てれば嬉しいです。
学習の進め方としては、以下の方法がお勧めでしょうかね。
- Microsoft Docs のクイックスタートを実施する
- YouTube で Synapse の概要を説明した動画を閲覧する
- Microsoft Cloud Workshop のハンズオントレーニングを実施する
- Microsoft Docs の個々の機能のチュートリアルを実施する
- YouTube で個々の機能詳細を説明した動画を閲覧する
- Microsoft Learn で掘り下げて勉強したい機能のモジュールを実施する
- Microsoft Certification で Synapse に関連する資格(DP-203)を取得する
これを全部行えば、Azure Synapse Analytics の基本知識は身についているはず！
Microsoft Docs (チュートリアル)
Microsoft が公開している公式ドキュメントこと Microsoft Docs にあるクイックスタートとチュートリアルです。クイックスタートは、まずサービスを試しに使ってみる時に使えます。個々の機能のチュートリアルは、個々の機能を深く使い始める際に使用できるかと思います。
クイックスタート
- Synapse ワークスペースを作成する
- サーバーレス SQL プールを使用したデータ分析の概要
- Data Explorer プールを使用して分析を開始する (プレビュー)
- Spark を使用して分析を開始する
- 専用 SQL プールを使用したデータ分析の概要
- ストレージ アカウント内のデータの分析を開始する
- パイプラインとの統合を開始する
- Power BI でワークスペース データを視覚化する
- Synapse ワークスペースを監視する
- Synapse ナレッジ センターの探索を開始する
- 管理者の追加の概要
サーバーレス SQL プール
Spark プール
- Apache Spark を使用したデータの視覚化
- Azure Synapse Studio ノートブック
- Synapse Analytics のサーバーレス Apache Spark プールで、Pandas を使用して ADLS データの読み取り/書き込みを行う
- FSSPEC を使用して Synapse Analytics のサーバーレス Apache Spark プール内の ADLS データの読み取りと書き込みを行う
- Apache Spark MLlib で機械学習アプリをビルドする
- Synapse Studio で Apache Spark ジョブ定義を作成する
パイプラインとマッピングデータフロー
Machine Learning 統合
- Apache Spark を使用したデータの視覚化
- Apache Spark MLlib で機械学習アプリをビルドする
- 自動機械学習を使用してモデルをトレーニングする
- 自動機械学習で Python のモデルをトレーニングする
- 専用 SQL プール向けの機械学習モデル スコアリング ウィザード
- サーバーレス Apache Spark プールで PREDICT を使用して機械学習モデルをスコア付けする
Cognitive Services 統合
- Cognitive Services を使用した感情分析
- Cognitive Services を使用した異常検出
- コグニティブ サービスを使用した Text Analytics
- Computer Vision と Cognitive Service
- Azure Applied AI Services での Form Recognizer
- Cognitive Service を使用する Translator
- Synapse Machine Learning を使用して機械学習アプリケーションをビルドする
Microsoft Cloud Workshop (ハンズオントレーニング)
Microsoft が Azure サービスに関するワークショップを実施するためのコンテンツを Microsoft Cloud Workshop にて公開しています。Azure Synapse Analytics に関するハンズオントレーニングもその中で公開されています。英語コンテンツなので、Webブラウザの翻訳機能を使って利用しましょう。
- MCW-Azure-Synapse-Analytics-and-AI/Before the HOL (※ハンズオン前に実施)
- MCW-Azure-Synapse-Analytics-and-AI/HOL step-by step (※ ハンズオン本編)
以下のことをこのハンズオンを通して学ぶことができます。
- Azure Data Lake Store v2 のデータ(Parquet/CSV)をデータフロー＆パイプラインを使って専用SQLプールへコピーしてクエリ実行(SQL)を行う
- Azure Data Lake Store v2 のデータ(Parquet/CSV/JSON)をサーバレスSQLプールでクエリ実行(SQL)を行う
- Azure Data Lake Store v2 のデータ(Parquet)をSparkプールで処理(ノートブック/Spark SQL)を行う
- 専有SQLプールでの列レベルセキュリティ
- 専有SQLプールでの行レベルセキュリティ
- 専有SQLプールでの動的データマスキング
- Synapse 経由で Azure Data Lake Store v2 のデータを使って Azure ML の AutoML で分析モデルを作成する
- 作成した分析モデルを使って専有SQLプールのデータを分析する
- 専用SQLプールでのワークロードの管理
- 専用SQLプールでの動的管理ビューを使った監視
- Synapse Pipeline と Azure Cognitive Search の連携
- Microsoft Purview との統合
このトレーニングは、2022/7/30 をもって廃止され、リポジトリもアーカイブされる(使えなくなる)みたいです。急いで利用しましょう。
YouTube (動画学習)
日本マイクロソフトは YouTube のチャネル (日本マイクロソフト株式会社 公式チャンネル, Microsoft Partner Network Japan など) にて Azure サービスを学ぶための多くの動画を公開しています。以下が Azure Synapse Analytics に関する動画です。ハンズオンやドキュメントでの学習も良いですが、動画による目と耳による学習も効果的だと思われます。
- Azure Synapse Analytics 技術編 ～ 最新の統合分析プラットフォームによる新しい価値の創出（前編）- de:code 2020 (2020/07/20公開)
- Azure Synapse Analytics 技術編 ～ 最新の統合分析プラットフォームによる新しい価値の創出（後編）- de:code 2020 (2020/07/20公開)
- Azure Synapse Analytics 概要 ( 前編: Synapse SQL ) (2021/01/18公開)
- Azure Synapse Analytics 概要 ( 後編: Synapse Pipeline and Spark ) (2021/01/18公開)
- Azure Synapse Link 概要 (2021/04/08公開)
- Azure Machine Learning - Synapse Analytics 連携 (2021/04/12公開)
- Azure Synapse Analytics のパフォーマンス最適化 ( Dedicated SQL Pool ) (2021/01/19公開)
- Azure SQL と Synapse workspace のセキュリティ (2021/04/12公開)
- GitHub による Azure Synapse Studio のソースコード管理と CI/CD (2021/04/07公開)
- Power BI と Azure Synapse Analytics 連携 (2021/04/07公開)
- Dynamics 365 Customer Insights と Azure Synapse Analytics 連携 (2021/04/07公開)
- Qlik データ統合製品と Synapse による SAP データの活用 (2021/04/07公開)
- Microsoft Cloud Workshop: Synapse Analytics and AI による自習方法解説 (2021/04/08公開)
Microsoft Learn (座学)
Microsoft は自主学習コンテンツとして様々なコースを Microsoft Learn にて公開しています。様々なテーマでの 4,000 以上のコース(モジュール)が公開されていて、特定の Azure サービスを学ぶのに活用できます。モジュールの中には演習(ハンズオン)を伴うものもあります。以下が Azure Synapse Analytics に関するモジュールです。
基本
- Azure Synapse Analytics の概要
- Azure Synapse Analytics のコンポーネントを確認する
- Azure Synapse Studio の紹介
- Azure Synapse Analytics でレイク データベースを作成する
サーバーレス SQL プール
- Azure Synapse サーバーレス SQL プールからデータを提供する
- Azure Synapse サーバーレス SQL プールを使用してレイク内のデータのクエリを実行する
- Azure Synapse サーバーレス SQL プールを使用してレイク内のデータを変換する
- Azure Synapse Analytics の SQL サーバーレスを使用して Azure Cosmos DB に対するクエリを実行する
- Azure Synapse サーバーレス SQL プールでデータを保護し、ユーザーを管理する
Spark プール
- Azure Synapse Analytics の Apache Spark を使用したビッグ データのエンジニアリングについて
- Azure Synapse Analytics で Apache Spark ノートブックを使用してデータを取り込む
- Azure Synapse Analytics の Apache Spark プールで DataFrame を使用してデータを変換する
- Azure Synapse Analytics で Apache Spark を使用して Azure Cosmos DB に対してクエリを実行する
- Azure Synapse Analytics の Apache Spark を使用して Data Engineering ワークロードを監視および管理する
- Azure Synapse Analytics で SQL プールと Apache Spark プールを統合する
パイプライン
- Azure Data Factory または Azure Synapse パイプラインを使用したペタバイト規模のインジェスト
- データを Azure Data Factory または Azure Synapse Pipeline と統合する
- Azure Data Factory または Azure Synapse パイプラインを運用できるようにする
- Azure Synapse Analytics パイプラインで緩やかに変化するディメンションを設定する
- Azure Data Factory または Azure Synapse パイプラインでデータの移動と変換を調整する
- Azure Data Factory または Azure Synapse Pipeline で既存の SSIS パッケージを実行する
設計/最適化
- Azure Synapse Analytics を使用して最新のデータ ウェアハウスを設計する
- Azure Synapse Analytics でデータ読み込みのベスト プラクティスを使用する
- Azure Synapse Analytics 内でデータ ウェアハウスのクエリ パフォーマンスを最適化する
- Azure Synapse Analytics を使用したハイブリッド トランザクションおよび分析処理ソリューションの設計
- Azure Synapse Analytics でデータ ウェアハウス ストレージを分析および最適化する
その他の機能
- コードを書かずに Azure Data Factory または Azure Synapse パイプラインを使用して大規模な変換を実行する
- Azure Cosmos DB を使用して Azure Synapse Link を構成する
- Azure Databricks を Azure Synapse と統合する
- Azure Synapse Analytics 内で Power BI を使用してレポートを作成する
- Azure Synapse Analytics 内で機械学習を統合する
- Azure Synapse Analytics のデータ ウェアハウス開発者向け機能について
- Azure Synapse Analytics でのデータ ウェアハウス アクティビティの管理と監視
- Azure Synapse Analytics でデータ ウェアハウスを保護する
Microsoft Certification (資格受験)
Azure Synapse Analytics の基礎を勉強したら、資格(MCP)を取得してみましょう。資格勉強と受験の過程で新たに学ぶことも多いかと思います。以下が Azure Synapse Analytics に関する資格です。
Whizlabs
Whizlabs は、私が MCP 取得の際に利用しているサービスです。有償サービスですが、各MCP(や他のクラウドベンダーの試験)の模試を受けることができます。上記の DP-203 試験の模試も提供されています。模試を通じて、自分の Azure Synapse Analytics の理解度を知ることができ、知らなかったことも学ぶことができると思います。英語コンテンツなので、Webブラウザの翻訳機能を使って利用すると良いかと思います。
Whizlabs - Implementing an Azure Data Solution (DP-203)
私は模試は１問も答えずすぐに終了させ、問題と答えをひたすら読む、という使い方をしています