2
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

Amazon Elastic Mapreduce

Posted at

Qwik labs を引き続きやっていきます!!

今日はAmazon Elastic Mapreduce をやります。

そもそもAmazon Elastic Mapreduceとはなんぞや??

要するに Hadoop をAWSに埋め込んだみたいな感じらしいです。
この解説がとても分かりやすいです。

https://www.youtube.com/watch?v=kNsS9aDf6uE
https://www.youtube.com/watch?v=Hhj3fOdt7zo

ここで前提としてHadoopの理解があげてあるのでslideshareで載せておきます。
http://www.slideshare.net/hamaken/hadoop-cloudera-world-tokyo-2014

要するにHadoopとは。。。?

➡大量のデータを処理するときに複数のサーバーを利用してよりスムーズにしていくもの。
 googleの論文を元に開発されたとか。。。

早速 やっていきましょーーー

まずはサインインをしてS3のコンソールを選ぶ
スクリーンショット 2015-07-06 16.17.37.png

ここでbucketを作成

名前のところでemr-bucket-○○○ *○○○のところには名前のイニシャルを入れる
スクリーンショット 2015-07-06 16.19.52.png

また、リージョンは今いる場所以外のものを選ぶと高くなるらしいのでTOKYOを選択。

bucket完成!!

次にEMRのコンソールへ

手順はこんな感じです。
スクリーンショット 2015-07-06 16.36.35.png

続いてはタグセッション。
スクリーンショット 2015-07-06 16.52.21.png

次にHardware configurationセッション

スクリーンショット 2015-07-06 16.54.14.png

次にsecurity and access

ここではEC2のペアーキーなしで進みます。
スクリーンショット 2015-07-06 17.53.43.png

あとはOK押すだけです。クラスターはこんな感じに見えます。
スクリーンショット 2015-07-06 17.54.36.png

クラスターをモニタリングできます。まずは、クラスターリストをクリック
スクリーンショット 2015-07-06 17.56.10.png

こんな感じでモニタリング
スクリーンショット 2015-07-06 17.58.04.png

ここで問題発生。結果を見ようとS3へ
ここでの指示が「output folderを選択してください」

ところがそんなもんないよーーーー
スクリーンショット 2015-07-06 18.48.31.png

同じ質問を発見
スクリーンショット 2015-07-06 18.47.02.png

しかし、stackoverflowで誰かが答えてました!!
スクリーンショット 2015-07-06 18.59.07.png

スクリーンショット 2015-07-06 19.02.14.png

すげーーー

恐るべし。。。

僕も無事できました。!

stackoverflow やばいっすね。

みなさん、コメントお待ちしております。

2
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?