Qwik labs を引き続きやっていきます!!
今日はAmazon Elastic Mapreduce をやります。
そもそもAmazon Elastic Mapreduceとはなんぞや??
要するに Hadoop をAWSに埋め込んだみたいな感じらしいです。
この解説がとても分かりやすいです。
https://www.youtube.com/watch?v=kNsS9aDf6uE
https://www.youtube.com/watch?v=Hhj3fOdt7zo
ここで前提としてHadoopの理解があげてあるのでslideshareで載せておきます。
http://www.slideshare.net/hamaken/hadoop-cloudera-world-tokyo-2014
要するにHadoopとは。。。?
➡大量のデータを処理するときに複数のサーバーを利用してよりスムーズにしていくもの。
googleの論文を元に開発されたとか。。。
早速 やっていきましょーーー
ここでbucketを作成
名前のところでemr-bucket-○○○ *○○○のところには名前のイニシャルを入れる
また、リージョンは今いる場所以外のものを選ぶと高くなるらしいのでTOKYOを選択。
bucket完成!!
次にEMRのコンソールへ
次にHardware configurationセッション
次にsecurity and access
クラスターをモニタリングできます。まずは、クラスターリストをクリック
ここで問題発生。結果を見ようとS3へ
ここでの指示が「output folderを選択してください」
すげーーー
恐るべし。。。
僕も無事できました。!
stackoverflow やばいっすね。
みなさん、コメントお待ちしております。