More than 5 years have passed since last update.

Apache Spark,Impala,Presto..etc NextGen DistributedComputing systemAdvent Calendar 2015

@ajis_ka_old(Akira Ajisaka)

Bigtopと戯れるその2

Last updated at 2015-12-23Posted at 2015-12-23

Bigtopと戯れるその1の続きです。ひたすら戯れましたが、課題が残ってしまったので続きを書くかもしれません。

目標

最新版のHadoopのRPMファイルを作ること
自分でパッチを当てたHadoopのRPMファイルを作ること

両方ともこの記事で達成します。

自分でパッチを当てたHadoopのRPMファイルを作る

Hadoop 2.6.3にいくつかパッチを当てたHadoopのRPMを作ってみます。

パッチ適用のために新規ブランチを作成

$ git clone https://github.com/apache/hadoop.git
$ cd hadoop
$ git checkout release-2.6.3
HEAD is now at cc865b4... Set release date for 2.6.3
$ git checkout -b myrelease-2.6.3

パッチを適用する

以下のパッチを適用してみる。

HADOOP-8989: hadoop fs -find feature
HADOOP-7984: Add hadoop --loglevel option to change log level

$ wget https://issues.apache.org/jira/secure/attachment/12667105/HADOOP-8989.patch
$ git apply -p0 HADOOP-8989.patch --whitespace=fix
../patch/HADOOP-8989.patch:966: trailing whitespace.
   * 
../patch/HADOOP-8989.patch:1132: trailing whitespace.
   * 
../patch/HADOOP-8989.patch:1142: trailing whitespace.
   * 
../patch/HADOOP-8989.patch:1183: trailing whitespace.
   * 
../patch/HADOOP-8989.patch:2549: trailing whitespace.
  
warning: squelched 7 whitespace errors
warning: 12 lines applied after fixing whitespace errors.

# 良い感じにコミットする
$ git add -A
$ git commit -a
$ git log | head -5
commit 345e583734f3bce0b1d8d8a64060c8a6a139e37e
Author: Akira Ajisaka <aajisaka@apache.org>
Date:   Tue Dec 22 15:47:49 2015 +0900

    HADOOP-8989 hadoop fs -find feature.

$ wget https://issues.apache.org/jira/secure/attachment/12681196/HADOOP-7984-branch-2.3.patch
$ git apply -p0 HADOOP-7984-branch-2.3.patch
$ git commit -a
$ git log | head -5
commit f965e1501720b3b218bd448b0da0d908f46d4572
Author: Akira Ajisaka <aajisaka@apache.org>
Date:   Tue Dec 22 16:20:21 2015 +0900

    HADOOP-7984. Add hadoop --loglevel option to change log level.

ちなみに、パッチによってgit applyするときに-p0や--whitespace=fixや--binaryが必要かどうかが異なる。(あまり統一感がない)

Bigtop用のパッチを作る

git format-patchコマンドを使うとパッチが生成される。

$ git format-patch -p release-2.6.3
0001-HADOOP-8989-hadoop-fs-find-feature.patch
0002-HADOOP-7984.-Add-hadoop-loglevel-option-to-change-lo.patch

ただし、Bigtopでパッチを適用するには、これらをpatch*.diffにrenameしてpatch -p1コマンドで当てられるようにしないといけない。だがしかし、HADOOP-7984のパッチがpatchコマンドで当てられない(CR/LF問題)。この問題が発生するたびに手でパッチの中身をいじるのは、とてもつらい。

パッチを諦めたい

そもそも、ソースコードをパッチ適用済のものに差し替えればよいのではないか!

source tarballの作成

$ mvn package -Psrc -Dtar -DskipTests
(snip)
$ ls -l hadoop-dist/target/hadoop-2.6.3-src.tar.gz 
-rw-r--r--  1 aajisaka  staff  45689815 Dec 22 18:19 hadoop-dist/target/hadoop-2.6.3-src.tar.gz

以下の手順でソースコードを差し替えてRPMを作成できました。

dl/hadoop-2.6.3.tar.gzを差し替え
build/を削除
gradle hadoop-rpm

RPMのバージョンを変えたい

先ほどの方法で自作RPMは完成するのですが、バージョンが同一だとupdateができません。バージョンを上げてみましょう。まずは、specファイルを確認します。

bigtop-packages/src/rpm/hadoop/SPECS/hadoop.spec

(snip)
Name: %{hadoop_name}
Version: %{hadoop_version}
Release: %{hadoop_release}
Summary: Hadoop is a software platform for processing vast amounts of data
License: ASL 2.0
(snip)

以下、VersionとReleaseに分けて紹介します。

Versionを上げる

これは、Hadoop側でも対応する必要があります。pom.xmlを編集して、再ビルドしましょう。

$ git diff
diff --git a/pom.xml b/pom.xml
index a5b3ce0..686e384 100644
--- a/pom.xml
+++ b/pom.xml
@@ -18,7 +18,7 @@ xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xs
   <modelVersion>4.0.0</modelVersion>
   <groupId>org.apache.hadoop</groupId>
   <artifactId>hadoop-main</artifactId>
-  <version>2.6.3</version>
+  <version>2.6.3+2.ajisaka0.1.0</version>
   <description>Apache Hadoop Main</description>
   <name>Apache Hadoop Main</name>
   <packaging>pom</packaging>

mvn package -Psrc -Dtar -DskipTestsを実行すると、いつもと違う名前のtarballが出来上がりました。

$ ls hadoop-dist/target/
antrun					maven-archiver
hadoop-2.6.3+2.ajisaka0.1.0-src.tar.gz	test-dir
hadoop-dist-2.6.3.jar

このtarballを使ってBigtopでビルドしてみます。

dl/にtarballを配置する
bigtop.bomを修正する

bigtop.bom

     'hadoop' {
       name    = 'hadoop'
       relNotes = 'Apache Hadoop'
release = 1 }
       version { base = '2.6.3+2.ajisaka0.1.0'; pkg = base; release = 1 }
       tarball { destination = "${name}-${version.base}.tar.gz"
                 source      = "${name}-${version.base}-src.tar.gz" }
       url     { download_path = "/$name/common/$name-${version.base}"

これで、gradle hadoop-rpmを実行すると、なんと失敗しました。

:hadoop-download
	File /home/azureuser/git/bigtop/dl/hadoop-2.6.3+2.ajisaka0.1.0-src.tar.gz appears to be already downloaded. Exiting...
:hadoop-tar
Copy /home/azureuser/git/bigtop/dl/hadoop-2.6.3+2.ajisaka0.1.0-src.tar.gz to /home/azureuser/git/bigtop/build/hadoop/tar/hadoop-2.6.3+2.ajisaka0.1.0.tar.gz
:hadoop-srpm
error: File /home/azureuser/git/bigtop/build/hadoop/rpm/SOURCES/hadoop-2.6.3+2.ajisaka0.1.0.tar.gz: No such file or directory
:hadoop-srpm FAILED

FAILURE: Build failed with an exception.

* Where:
Script '/home/azureuser/git/bigtop/packages.gradle' line: 511

* What went wrong:
Execution failed for task ':hadoop-srpm'.
> Process 'command 'rpmbuild'' finished with non-zero exit value 1

* Try:
Run with --stacktrace option to get the stack trace. Run with --info or --debug option to get more log output.

BUILD FAILED

Total time: 9.564 secs

ログを見てもさっぱりわからない...

とりあえずVersionから+2を外してみると、かなり進みました。+がエスケープできてないのはBigtopのバグっぽい。CDHっぽく適用したパッチ数を+2として表してみたかったけど、何か直す必要がありそうです。

そして、エラーログ

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-site-plugin:3.3:site (default-site) on project hadoop-main: Error during page generation: Error rendering Maven report: Unable to find artifact:groupId = 'org.apache.hadoop'
[ERROR] artifactId = 'hadoop-annotations'
[ERROR] version = '2.6.3.ajisaka0.1.0': Failure to find org.apache.hadoop:hadoop-annotations:pom:2.6.3.ajisaka0.1.0 in https://repository.apache.org/content/repositories/snapshots was cached in the local repository, resolution will not be reattempted until the update interval of apache.snapshots.https has elapsed or updates are forced
[ERROR] 
[ERROR] org.apache.hadoop:hadoop-annotations:pom:2.6.3.ajisaka0.1.0

pomを用意して、専用のrepositoryに置く必要がありそうです。CDHでいうところのrepository.cloudera.comのようなところ。

今後の課題です。

Releaseを上げる

Releaseを上げるには、%{hadoop_release}をいじればよさそうです。おそらく、rpmbuildコマンドを叩くときに定義しているはずです。雑に探します。

$ find . -type f | xargs grep rpmbuild
./bigtop-packages/src/common/hue/install_hue.sh:# remove RECORD files since it contains "real" paths confusing rpmbuild
./src/site/xdoc/release-notes.xml:					] - Add normal rpmbuild options for make rpm
./build/hadoop/rpm/BUILD/hadoop-2.6.3-src/hadoop-common-project/hadoop-common/CHANGES.txt:    HADOOP-9611 mvn-rpmbuild against google-guice > 3.0 yields missing cglib
grep: ./build/hadoop/rpm/BUILD/hadoop-2.6.3-src/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-common/src/main/resources/webapps/static/dt-1.9.4/images/Sorting: No such file or directory
grep: icons.psd: No such file or directory
./packages.gradle:    def RELEASE_DIST = "rpmbuild --eval '%{?dist}' 2>/dev/null".execute().text.trim().replaceAll("'",'')
./packages.gradle:      executable 'rpmbuild'
./packages.gradle:      executable 'rpmbuild'
./packages.gradle:    def RELEASE_DIST = "rpmbuild --eval '%{?dist}' 2>/dev/null".execute().text.trim().replaceAll("'",'')
./CHANGES.txt:  - [BIGTOP-60] - Add normal rpmbuild options for make rpm

packages.gradleを読めば良さそうです。

packages.gradle

411     def command = [
412         '--define', "_topdir $PKG_BUILD_DIR/rpm/",
413         '--define', "${NAME}_base_version $BASE_VERSION",
414         '--define', "${NAME}_version ${PKG_VERSION}",
415         '--define', "${NAME}_release ${BIGTOP_BUILD_STAMP}%{?dist}",
416         '--rebuild', SRCRPM,
417     ]
418     exec {
419       workingDir BASE_DIR
420       executable 'rpmbuild'
421       args command
422     }

${BIGTOP_BUILD_STAMP}を修正すればよさそうです。設定している部分を探します。