LoginSignup
2
2

More than 5 years have passed since last update.

@tworks55(T M)

Cloudera QuickStart VMs(CDH)でHadoop on Windows - Part-1

Last updated at Posted at 2018-02-10

はじめに

HortonworksのHDPを試そうと思いましたが、PCではリソース不足で試せなかったのでCDH(Cloudera's Distribution including Apache Hadoop)を使ってみることにしました。
HDPもCDHもHadoop周辺のシステムを組み合わせたHadoopディストリビューションです。
HDFS, Hive, Hbaseあたりはどちらでも利用できます。

Part-2はこちら
Part-3はこちら
Part-4はこちら

1. 前提

以下の環境で動作した内容を記述しています。

Windows 10 Home (64bit)
VirtualBox 5.2
CDH 5.12

2. CDHの起動

https://www.cloudera.com/からVMのzipファイルをダウンロードし、任意のフォルダに展開します。
VirtualBoxでovfファイルをインポートし、あとは普通に起動するだけ使えるようになります。
メモリの割り当ては4Gとなっていますので、HortonworksのHDPより少ないメモリで正常に起動します。
※HDPは6Gくらいでも動きが怪しくなりました。

起動してみます。
image.png

CentOSを使用しているようです。
image.png

起動中
image.png

起動するとGUIが立ち上がり、すぐにTutorialが開始できます。
image.png

3. SSH接続

VirtualBox内のコンソールで作業するのは少し辛いので、VirtualBoxでPort forwardingの設定をし、自分のPCからPuttyなどでCDHにSSH接続できるようにします。
image.png

ここではPort22に対しPort2222で接続できるようにしています。
image.png

Puttyで以下のようにLocalhost:2222を接続先に設定し、user id=cloudera, password=clouderaで接続します。
image.png

以下のようになれば接続成功です。
image.png

4. ブラウザで接続

自分のPCからブラウザでCDHに接続するのは簡単です。
http://localhost:8888をブラウザに入力すると、Hueに接続できます。
image.png

user id=cloudera, password=clouderaでログインします。
image.png

http://localhostに接続するとTutorialのページが表示されます。
image.png

Part-1はここまでにします。

Part-2はこちら
Part-3はこちら

参考URL

http://datasciesotist.hatenablog.jp/entry/2014/05/10/225809
https://blog.cloudera.com/blog/2014/01/how-to-create-a-simple-hadoop-cluster-with-virtualbox/
http://www.mwsoft.jp/programming/hadoop/cdh4_virtualbox.html

2
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
2
2