2015年11月29日現在、AzureのHadoopサービスであるHDInsightはWindowベースのものしか無く、「うーん」という感じでしたが、一方、簡単に（sshトンネリング無しに）Zeppelinやjupyterが使えるということで、ならば、コンソールいらないな・・・と思い試して見ました。
##やりたいこと
- HDInsightでSparkの使い方を調べる
- Zeppelinを使ってみる
- jupyterを使ってみる
- Power BI（MSのBIツール）との連携を確認する
せっかくAzureなので、PowerBIと連携を確認してみます。
###参考
基本、下記の記事を参考にしました。最近のMSの記事はまとも。やっと開発者が書くようになったからでしょう。
##準備
Azureのアカウントの取得が必要ですが、省きます。
「Azureなんか使えるか！」っていう方はこの機会にどうぞ。
##Sparkクラスターの構築
Sparkクラスタの構築は簡単です。が、個人的には難が2つ。
- Windowsベースであること
- 他のサービスを標準で共存できない？こと（PowerShellとかで確認すると動くのかな？）
早くLinuxベースのが欲しい（Linuxはメールくれたら使わせてやる的なメッセージがあったので期待）。
createを押してしばらく待ちます。
##Sparkの利用
###Sparkクラスタの管理画面
20分くらいでプロビジョニングが完了します（Linuxと変わらない）。
作成したサービスを選択しURLをクリックするとsparkの画面に移動します（LinuxだとここでAmbariベースの管理画面に移動します）。
###Sparkの画面へ
いろいろメニューがりますが、Notebooksを選択します。
###Notebooks
標準でjubyterとZeppelinが利用できます。素晴らしい！Notebookとは新しい概念だが、使ってみればわかる。
まあ、Hueの高度版みたいな。
##Zeppelin
###Zeppelin TOP
ZeppelinのTop。なんとMacのSafariではおそらくJSのエラーか何かでConnectedになりませんでした！ChromeはOK。
いつもはChromeなので問題はりませんが。。。
###Notebookの作成
新しいNotebookを作成します。
###Notebookへのアクセス
作成したNotebookには、+Create New noteのメニューからアクセスします。。
###スクリプトを書く（テーブル定義）
標準で表示されているコンソール行に実行したスクリプトを書きます。今回は、ここのコードを利用させてもらいました。
テストデータを元にテーブルの定義をやります。
###スクリプトを書く（SparkSQLを書く）
次にSparkSQLを実行してみる。
いろいろな形式で結果を見ることができる。
Notebookはこのように分析のブロセス（コード）＋結果を保存しておける。今風。
##jupyter
###jupyter TOP
次にjubyter。基本的にZeppelinと概念は同じだが、その名の通りpythonを利用する。
グラフ表示とかはできない。新規Notebookを作成します。
Power BIとの連携の元データを作りたいので、[ここ](https://azure.microsoft.com/ja-jp/documentation/articles/
###Notebook
hdinsight-administer-use-management-portal/)を参考に進めます。
基本コピペ。Hive Tableとして保存しておくとPower BIからアクセスできるようです。
##Power BI
###Power BIサイトへのログイン
Power BIのサイトのアクセスし、アカウントを取得します。
###データ取得先の選択 1
Sparkにアクセスするには「データの取得」を選択します。普通はダッシュボードの左下にあるはずです。
###データ取得先の選択 2
データのインポートまたは接続からデータベースを選択します。
どうやらフリー版ではSparkにアクセスできないようです。今回はProの60日無償期間というのを利用してみました。
###Sparkサーバの指定
最初に管理画面でみたURLを入力します。
###ID, PWの入力
クラスタ設定の時に入力したIDとPasswordを入力します。標準のIDはadminでした。
###読み込み完了
しばらく待つとデータセットにsparkが読み込まれ？ます。
###読み込みテーブルの確認
右ペインのフィールドにテーブルが読み込まれています。
###レポートの作成
可視化してみます。
一通り試せました。
##その他
###Webアプリケーションからクエリを投げたい
いくつか方法があるようですが、まだ調べきれていません。誰か教えて。
###パフォーマンスチェック
自分のデータでSparkのパフォーマンスチェックをしてみたい。特にHive, Impalaとの比較。