0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

Hadoop(HDP/BigInsights)でIBM Spectrum Scale(旧GPFS)を利用する際にはRangerの利用有無に気をつける

Last updated at Posted at 2017-10-10

IBM Spectrum Scaleとは

IBM Spectrum Scale(ISS/旧GPFS)は、簡単に言うとマルチノードでデータを共有することができる非常に高速に動作するファイルシステムである。(詳細:https://www.ibm.com/developerworks/community/wikis/home?lang=ja#!/wiki/W8214c473fef0_444f_886a_cd015ca34c89/page/Spectrum%20Scale(%E6%97%A7GPFS)) Hadoopでは各ノードのローカルディスクをHDFSとして利用し、仮想的にデータを全ノードが保持しているように見せかけるが、GPFSではすべてのノードがデータへの直接アクセスが可能である。HDFSのファイル操作にはhadoopコマンドを利用する必要があったり、データの多重度がデフォルト3となり巨大なディスク空間を必要にするため、利用には注意点が必要となる。そこで、HadoopのHDFSをGPFSに置き換えることにより、POSIX準拠のファイルシステムとして操作可能(Hadoopのファイルに対してLinuxファイル操作コマンドの実行可能)、ディスク領域の有効活用をすることができるようになる。

ISSをHadoopのファイルシステムとして利用する際にはRangerの有無に注意

ISSはHortonworksのHadoopディストリビューションであるHDPやIBMのディストリビューションであるBigInsightsでサポートされている。利用する際には一点だけ注意が必要である。それは導入するクラスターでRangerを利用しているかどうかである。

Option名:gpfs.ranger.enabled (デフォルト:true)

Rangerが動作していないHadoopクラスターでデフォルト値trueのまま利用すると、GPFS側でRangerへのアクセスができない状態であると認識するため、GPFS側でアクセス関連情報を保持することになり想定するパフォーマンスが出なくなる。Rangerを利用していない場合は、この値を必ず false にセットする必要がある。

0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?