はじめに
2021.9.6から3日間開催されたOpenHack for Modern Data Warehousingに参加してきました。
その参加レポートです。
OpenHackとは
Microsoftが主催する参加型のイベントです。
Microsoft OpenHack
『OpenHack』とある通り、自分たちで手を動かして与えられた課題をクリアしていく形式のイベントです。
今回のテーマは『Data Warehouse』でした。
Azure環境を使って、データウェアハウスの開発、実装、運用をします。
普段はオフラインで開催しているイベントだそうですが、今回初めてオンラインでの開催でした。
今後も同じ内容で定期的にOpenHackを開催されるそうなので、課題の内容については非公開となっています。ネタバレしない程度にイベントの概要や学んだことを書きます。
イベント内容
4〜5人ずつでチームになり与えられた課題を1つずつクリアしていきます。課題は実務に近い内容となっており、全部で7の課題がありました。最後まで進められたチームは過去ほとんどいないそうです。
1つのチームにMicrosoftのコーチがついてくれて、アドバイスを貰いながら進めていきます。コーチは答えを教えてはいけない、というルールがあるため、自分たちで考える必要があります。
- 実務に沿った課題
- チームでの開発
- コーチは答えを教えていけない
といったところが、このOpenHackの大きな特徴です。
Microsoftのコーチによるミニセッションもいくつか用意されており、かなり豪華で濃い3日間でした。
参加した感想
結論から言うと自分はこのイベントに参加してよかったです。
よかったと感じた点をいくつかあげてみます。
- Azure製品の事が理解できる
- 自分で実際に手を動かすことによって、経験を伴った知識が身につく
- チームで協力して作業ができるので、スキルレベルにばらつきがあってもお互いをフォローできる
- オンラインなので参加しやすい
以前は東京での開催が主だったようですが、今回からオンラインでの開催になり、参加のハードルがかなり下がったのはとても良いと思いました。
オンラインはコミュニケーションが取りづらいというデメリットもありますが、自分のチームに関してはコーチがお昼休みに雑談の時間を作ってくれたため、他の参加者の方とも話ができたのでよかたったです。
あとは大枠の趣旨とは外れますが、知らない技術を学ぶ上での質問力や、スケジュール管理力なども試すことが出来て勉強になりました。
Azure製品のツールの特性や操作方法の知識以外にも、データ分析のアーキテクチャなどの概念的なところの理解も深められて良かったです。
学んだこと
イベントで学んだ知識についてまとめます。
※普通に検索すれば出てくる情報ではありますが、ここに載せてるツールを使った課題なんだな、と軽くネタバレになるかもです。もし今後イベント参加予定で、まっさらな状態で受講したい人は見ないほうがいいかもです。
そもそもAzureとは
Microsoftが提供するクラウドサービスの総称です。
Azure Portalから操作ができます。
Azure Portalとは
Azureのサービスを統合的に管理するためのツールです。
ストレージサービスについて
データレイクに適しているツールは主に2つあります。
Azure Blob Storageは、パスにスラッシュをいれて疑似的にディレクトリを表現しているが、実態はディレクトリ構造ではない。
Azure Data Lake Storage Gen2は、通常のファイルシステムと同様の階層型でフォルダ・ファイル管理ができる。
などの違いがあります。
データ分析サービスについて
データ分析するためのツールは主に3つあります。
-
Azure Data Factory
- データ統合に特化したツール
-
Azure Databricks
- ビッグ データ分析に特化したツール
-
Azure Synapse Analytics
- データ統合、エンタープライズ データ ウェアハウス、ビッグデータ分析が1つになった分析サービス
データ分析・活用におけるデータ階層化の考え方
データクレンジングの進行度によってデータを階層化しようという考え方のこと。
Medallion Architecture という。
- ブロンズ → 何も加工していないRawデータ
- シルバー → IT部門の人がみて綺麗な形のデータ
- ゴールド → ユーザが見やすいデータ
おわりに
OpenHack形式のイベントに初めて参加したので、かなりドキドキでした。が、いざ参加するとMicrosoftのコーチの方に親切に教えてもらったり、他の参加者の方々に助けてもらいながら課題を進めることができました。
Azure製品の事やデータウェアハウスの知識がつくのはもちろん、他の参加者の方と一緒に作業したりとかなり刺激をうけました。参加してよかったです。
次回は2021年11月24日～26日に開催されます。
OpenHack Modern Data Warehouse
気になっている方はぜひ参加してみてください。