More than 3 years have passed since last update.

hdfsの容量が枯渇した時に大きいファイルを探す方法

Posted at 2020-07-03

hdfsの容量枯渇でhadoopが動作しなくなり、てんやわんやしたので一時対応方法を残しておく。

hadoop fs -df -h

hadoop dfsadmin -report

フォルダごとのディスク使用量を確認

hadoop fs -du -s /${folder}/* | sort -n

ファイルごとのサイズを確認

hadoop fs -du /${folder}/* | sort -n

ファイルの削除方法

hadoop fs -rm ${file}

フォルダ内のファイルを全部削除する方法

hadoop fs -rm -r /${folder}/*

しかしこれだけだとtrashフォルダに移動するだけなので、trashも削除する必要がある。

hadoop fs -expunge

か以下コマンドで削除をする

hadoop fs -rm -r /user/${whoami}/.Trash/*

そもそもhdfsのディスク監視の必要性があるのでは。