HDFSの使い方メモ

HDFSユーザーにスイッチ

sudo su - hdfs

HDFSの状況を確認

$ hdfs dfs -ls /
Found 3 items
drwxrwxrwx   - hdfs supergroup          0 2021-02-25 06:40 /app
drwxrwxrwx   - hdfs supergroup          0 2021-02-25 06:39 /tmp
drwxr-xr-x   - hdfs supergroup          0 2021-02-25 06:54 /user

$ hdfs dfs -ls /user
Found 1 items
drwxr-xr-x   - root supergroup          0 2019-01-18 09:39 /user/hive

HDFS上にディレクトリを作る

hdfs dfs -mkdir /input

HDFSにデータをコピーする

hdfs dfs -put data.csv /input

HDFSからデータを取り出す

hdfs dfs -get /input/data.csv local.csv

アクセス制御

hdfs dfs -chown <username> /input