6
10

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

業務でよく使ったHadoopコマンドについて

Last updated at Posted at 2016-12-17

開発時に手動やshellでよく使ったHadoopコマンドの覚え書きです。
公式サイトでは他にも紹介されています。

ディレクトリ内のディレクトリ/ファイル列挙

hadoop fs -ls /target/dir/

ディレクトリ作成

hadoop fs -mkdir /target/dir/001

ファイル削除

# 基本 
hadoop fs -rm /target/dir/abc.txt
# 削除ファイルをワイルドカード指定可
hadoop fs -rm /target/dir/*.txt

ディレクトリ削除

hadoop fs -rmr /target/dir/

HDFSからローカルにファイル転送

# 基本
hadoop fs -get /hdfs/target/from/abc.txt /target/to/
hadoop -copyToLocal  /hdfs/target/from/abc.txt /target/to/
## 10回リトライ
hadoop fs -D dfs.client.block.write.locateFollowingBlock.retries=10 -copyToLocal  /hdfs/target/from/abc001.txt /target/to/
# 転送ファイルをワイルドカード指定可
hadoop fs -D dfs.client.block.write.locateFollowingBlock.retries=10 -copyToLocal  /hdfs/target/from/abc*.txt /target/to/

ローカルからHDFSにファイル転送

# 基本
hadoop fs -put /target/from/abc.txt /hdfs/target/to/
hadoop -copyFromLocal  /target/from/abc.txt /hdfs/target/to/
# 10回リトライ
hadoop fs -D dfs.client.block.write.locateFollowingBlock.retries=10 -copyFromLocal  /target/from/abc001.txt /hdfs/target/to/
# 転送ファイルをワイルドカード指定可
hadoop fs -D dfs.client.block.write.locateFollowingBlock.retries=10 -copyFromLocal  /target/from/abc*.txt /hdfs/target/to/

その他

HDFS上の圧縮ファイルをローカル転送後に解凍してまた転送する以外で方法ないか考えた時に
@yu-iskwさんのHDFS 上の Gzip のような圧縮ファイルを HDFS 上で解凍する方法記事を見つけた。
それに加えて、圧縮ファイルが複数あり一度のコマンドで同じようなことしようと思ったが、思いつかなかったので備忘録としておく。

6
10
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
6
10

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?