Edited at

Macに10分でHadoop,Hive環境を作る

More than 1 year has passed since last update.

Hadoopのデモや検証環境を作るにはおそらくMacは私の知るか限り最も手軽な環境かと。

Standaloneなら1分。擬似分散、Hiveを入れても10分以内。ホントお手軽。


環境


  • Homebrewを利用しますので、berwコマンドが使えるようにしておきます。

  • OSはEl Capitan

  • Java(JDK)を入れておきましょう。6以上なら良いみたいですが。私はJava8です。


前提知識


  • HiveはHDFSに依存しているので、擬似分散モードに設定する必要があるので、そうします。

  • 2015年11月14日現在、2.7.1がインストールされるみたいです。


Hadoopインストール

brew install hadoop

以上。これで、Standaloneなら動きます。

インストールは/usr/local/Cellar/hadoop/以下にされます。

いわゆるHADOOP_HOMEは、/usr/local/Cellar/hadoop/2.7.1/libexecのもよう。


設定ファイルの編集

最低限なら、いじるファイルは2つ。/usr/local/Cellar/hadoop/2.7.1/libexec/etc/hadoop以下にあります。


  • core-site.xml

  • hdfs-site.xml

これらを編集します。

core-site.xml

<configuration>

<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

hdfs-site.xml

<configuration>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>


初期化(HDFSフォーマット)

hadoop namenode -format


起動

制御スクリプトは/usr/local/Cellar/hadoop/2.7.1/libexec/sbin以下にあります。

./start-dfs.sh


start-all.shでも。



終了

./stop-dfs.sh


stop-all.shで。



Hiveのインストール

brew instll hive

以上。MetaDBをMySQLにするとかもいらない。


動作テスト

hiveと入力し、hive>コンソールが表示され、create dbできれば、ほぼ動いている。

hive

.
.
hive>
hive> create database testdb;
hive> show databases;
OK
default
testdb
Time taken: 0.024 seconds, Fetched: 2 row(s)


hive> コンソールはHDFSが初期化されてなくても表示されるので、試しにcreate dbしてチェックしてみるのが無難。


ここまで約5分。簡単過ぎて商売にならない。


Hadoop,Hiveの削除

brew remove hive

brew remove hadoop

ちなみに、デフォルトでデータ領域は/tmp/hadoop-*>以下にできるので、再起動などすれば、消えます。