curlを使ってwebhdfsへアップロード、ダウンロードする

いつも忘れるのでメモ

ダウンロード方法

curl "http://(webhdfs_server):14000/webhdfs/v1/hoge/fuga/ahahaha.gz?op=OPEN&user.name=hdfs" > ahahaha.gz

アップロード方法
GZファイルであれば下記のようにヘッダーが必要。

curl -X PUT "http://(webhdfs_server):14000/webhdfs/v1/hoge/fuga/ahahaha.gz?op=create&data=true&user.name=hdfs" -T ./ahahaha.gz --header "content-type: application/octet-stream"

詳しくは下記を参照しましょう。