全般

Hadoop 2.7.0のリリースにおいて、合計で923件のissueが解決されました

注意事項

本リリースより、JDK6はサポートされなくなりました
本リリースを商用で利用するのは推奨されません。2.7.1以降のリリースを待つことを推奨します。
- MLによると、2015/5末あたりに2.7.1-RC0が出る予定。

HADOOP-9629 Windows Azure Storageのサポート

HADOOP-7984 hadoopコマンドに --loglevelオプションが追加されました。

従来は、loglevelを変更するためにexport HADOOP_ROOT_LOGGER=DEBUG,consoleというようなコマンドを実行して、後で環境変数を元に戻す必要がありましたが、2.7.0以降では--loglevel=DEBUGだけで可能です。

HADOOP-8989 hadoop fs -findコマンドが実装されました

POSIX findコマンドとほぼ同等ですが、現時点では-name, -iname, -print, -print0オプションしかサポートしていません。

HDFS-3107 truncate APIのサポート
HDFS-7584 Storage typeごとにquotaを設定可能になりました

setQuotaByStorageType APIと、hdfs dfsadmin -setSpaceQuota/-clrSpaceQuotaコマンドの-storagetypeオプションによって、quotaを設定可能です。

HDFS-3689 ブロックサイズはファイルごとに一律固定ではなく、各ブロックごとで変えることができます

HDFS append APIにCreateFlag.APPENDとCreateFlag.NEW_BLOCKを渡すことで、従来通り最後のブロックの途中から追記するのではなく、新しいblockを作成してそこに追記することが可能です
HDFS hsync APIにSyncFlag.END_BLOCKを渡すことで、現在書き込み中のblockへの書き込みを終了し、新しいblockにデータを書き込むことが可能です

HDFS-6982 nntopという、NameNodeにおけるtopのような仕組みが実装され、各ユーザがNameNodeに対してどんな命令をどの程度実行したのかについて、統計情報が取得可能になりました

HDFS-7424 NFS gatewayのWeb UIが実装されました

HDFS-6663 fsckコマンドに、-blockIdオプションが実装されました

ユーザが指定したblockIdに対応するファイルパスおよび、当該ブロックを保持するノード・ラック情報、そして、当該ブロックの統計情報(under-replicated, corruptedなど)を取得することができます。

HDFS-6634 HDFS inotifyが実装されました

YARN-2574 Reservation SystemのFairScheduler対応

MAPREDUCE-5583 各ジョブで同時に実行されるMap/Reduceタスク数を制限できるようになりました

mapreduce.job.running.map.limitおよびmapreduce.job.running.reduce.limitを各MapReduceジョブごとに指定することで、同時に実行されるタスク数を制限できます。

HADOOP-11343 暗号化において、ivの計算中にオーバーフローした場合の処理が適切でないため、オーバーフローが発生した場合に復号できない

あるDataNodeで古いstorageを外して新しいstorageを組み込むような場合に、古いstorageにブロックが残っているとそれがゾンビとしてNameNodeのNamespaceに残り続ける

HDFS-7611 quotaを有効にした状態でdeleteSnapshotやdeleteを実行した場合に、blockMapに情報が残ることがある。そこでNameNodeを再起動すると削除したblockはmissing blockとして判断され、セーフモードから抜け出せない。

YARN-3369 AppSchedulingInfoにおいてNullPointerExceptionが発生し、ResourceManagerが停止することがある。

YARN-2874 DelegationTokenRenewerがデッドロックする

DelegationTokenRenewerによるTokenの更新に失敗した場合、デッドロックすることがある。この場合、新規にApplicationを実行することができない。