Cloudera Manager で HDFSのディレクトリのクォータを一括設定する

HDFSのディレクトリにはクォータを設定することができる。
この機能により、ユーザごとの容量を制限することができるが、素のHadoopだとコマンドを一つ一つ入力しなければならず、面倒な作業である。
Cloudera Managerを使えば、HDFSのディレクトリクォータを一括設定できる。

環境

• Cloudera Manager 5.7 (注: 要 Enterprise 版)

技術説明

Apache HDFS のクォータ機能

HDFSでは、ディレクトリ単位にクォータを制限することができる。
このクォータはファイル数単位、あるいは容量単位で指定することができる。
HDFSでコマンド実行する場合は以下のように実行する。

$ hdfs dfsadmin [-setQuota <N> | -setSpaceQuota <N> [byte] ] [dir1 dir2 ...]

詳細はApache Hadoop のクォータのページを参照のこと。

Cloudera Manager におけるクォータ機能

上記の通りHadoop単体でもクォータの設定はできるが、一括設定をするにはディレクトリ名を一つ一つ並べなければならない。
また、一度設定したクォータの状況を確認するのも一苦労である。
Cloudera Managerにはクォータの一括設定などを行う便利機能が備わっているので、これを使うことで簡単にクォータの設定・管理を行うことができる。

設定方法

クラスタ → レポート → Directory Usage とクリックしていく。

設定したいディレクトリにチェックを入れ、 選択内容に対するアクション から クォータの管理 を選択する。

ファイル数の制限とディスクスペースの制限の設定を行い、保存すれば完了である。