普段 AWSサービス(Opsworks,Kinesis,EMR,Lambdaやら)をメインに触っていますが、
そこからMicrosoft Azure Data Lakeの気になるサービスなどの思ったところなどを書いてみたり、
さわってりしてみようかと。
Microsoft関連は VisualStudioを最後にさわったのが、8年くらい前なんで
C#やらなんやらもこれから覚えながら触ってみようと思っています。
とりあえず、公式ドキュメントやらを眺めてきたのでそこで思ったことなど。
Azure Data Lakeってなんだ？
Azure Data Lakeは、開発者、データ サイエンティスト、アナリストを対象に
ビジネスのニーズを最大限に満たすことのできるデータ解析プラットフォームとか
そういうことでいいんですかね？これってサービスなの？名前の位置づけがよくわかりません。
ソリューションの一覧にも、商品の一覧にも出てこないのでよくわからなかった。
Cloudera の Enterpize DataHubと似てるかも。
（ツッコミどころ満載だ！とかあると思いますが・・・・。）
Azure Data Lakeのサービス
Azure Data Lake Analytics
Azure Data Lake Analyticsは、U-SQL,各言語、HDinsightなどを使いビッグデータ処理を
実行することができるクラウド解析プラットフォーム。
U-SQL（Microsoftが開発したC#とSQLを統合した言語）
C♯がつかえるから簡単に利用できるよって解説されてたりするけど、C#ってそんなに簡単だっけ（汗
新しいことをするには結局何か覚えないといけないのは仕方ないですね。HDInsight（クラスタ）
Hadoop, Apache Spark, Stormなど、ビッグデータ処理に利用されるオープンソース分散処理クラスターのマネージドHadoopサービス。
このサービスは、普段EMRつかってるものとしては気になってる。
特に、一つのクラスターに対してクエリの並列実行が簡単にできるのかどうかとか、バグがもし見つかったら対応できるのかどうかとか。
Azure Data Lake Analyticsで思ったこと
- チュートリアルのページ眺めてると、いろんなサービスが、画面からぽちぽちと設定するだけ簡単に実行できるように ように見える。でもそれ以上のことはどこまでできるのか、よくわからなかったので動かしてみて確認したい。
Azure Data Lake Store
現在,米国中部、米国東部２のみで利用が可能なサービス。
Azure Data Lake Store は、ビッグ データの分析アプリケーション用のハイパースケールリポジトリです。
Azure Data Lake Store はギガバイトからペタバイトまでのデータに合わせてオンデマンドで簡単にスケール調整でき、
お支払いは最低料金なしで使った分だけの従量課金制です。
Azure Data Lake Store は冗長性を提供するために複数のデータ コピーを保持します。
公式ページより抜粋してきました。
なるほど、Amazon S3みたいなものなんですかね。
Azure Data Lake Analytics関連のサービスは、このAzure Data Lake storeを通してデータの連携ができますよと。
Azure Data Storeの特徴
- Azure Data Lake Store ファイル システム (adl://) Hadoop 分散ファイルシステム (HDFS)互換のストレージ ほとんどのHadoopエコシステムと連携することができる。
- 料金は、データ量とトランザクションと、サイズごとの割り引きがあるようです。
Azure Data storeで思ったことなど
- Azure Data Lake Storeはアーカイブがない？ テラバイト、ペタバイト級のデータを保存できるのは良いが、アクセス頻度の低いデータまでずっと同じ値段で 保存しておくのは高い気がする。 アーカイブサービスとかないのかな？
- APIのアクセス制限はあるのか？ バッチ処理などで単一のIPから連続でAPIアクセスがあった場合などの制限があるのかな？ 実際にAPIをたたいて試してみたい。
全体を通して
Microsoft Azureのサービスって画面ばかりでほとんど出来ちゃいますね。
ドキュメント読んでるだけだと、プログラマでできることがどこまで出来るのかが見えにくいので、
次回から実際に触ってみようかと思います。