Dataworks Summit Munichi 2017でも発表されましたが、今月(2017年4月)にHDP2.6がリリースされました。

今回はこのHDP2.6について説明していきたいと思います。

HDP2.6のハイライトは以下になります。

Interactive Query in Seconds: Hive with LLAP and ACID Merge
Enterprise Spark at Scale: Spark 2.1 and Zeppelin 0.7
Real-Time Applications: HBase/Phoenix and Druid Support
Streamlined Operations: Apache Ambari 2.5
Dynamic Security: Enhanced Administrator Productivity

それぞれ簡単に説明していきます。

Interactive Query in Seconds: Hive with LLAP and ACID Merge

HDP2.6からLLAP（Low Latency Analytical Processing）とACID Mergeが正式にサポートされました。

LLAPは、Hiveの新しいアーキテクチャで、最適化されたインメモリキャッシュと、YARNクラスタ内でクエリエグゼキュータをデーモン化することで、HadoopスケールでMPPパフォーマンスを実現します。LLAPはHDP2.5でテックプレビューとして入ってましたが、HDP2.6から正式にサポートされました。
LLAPの詳細については以下の資料をご覧ください。

ACID Mergeは、Hadoopのデータメンテナンスのための機能です。insert、update、およびDeleteをシングルパスで処理することができるので、開発者はHadoopにデータを入れるためにこれまでやってきたような、複数ステージの更新パイプラインを実装する必要はなく、複雑なロールバックやリトライロジックを開発する必要もありません。さらに、HiveのACIDシステムは、書込みの競合を制御してくれるので、データを書き込み中に読み込みをしても問題ありません。
ACID Mergeの詳細については以下の資料をご覧ください。

それ以外にもHive関連では、TPC-DSのすべてのクエリがサポートされたり、AmbariのHive View 2.0もリリースされています。

Enterprise Spark at Scale: Spark 2.1 and Zeppelin 0.7

Spark2.1が入り、SparkSQLでRow Columnレベルのセキュリティがサポートされました。またLivyもGAとなり正式サポートされています。また、Zeppelin0.7では、Spark2.xがサポートされ、その他にもKnoxベースのLDAPインテグレーションやSmartSenceのインテグレーション、そしてJDBCの改善がされています。

Real-Time Applications: HBase/Phoenix and Druid Support

HBase(とSpark)のアップデートとしては、Spark-HBase(RDD)コネクタが正式にサポートされました。また、Phoenixとしてはインデックス機能の安定化等がされています。
そして、HDP2.6からDruidがテックプレビューとして追加されています。Druidは、大規模なデータに対するリアルタイムな探索的分析のために設計されたオープンソースのデータストアです。列指向のデータフォーマットとなっており、分散型でシェアードナッシングのアーキテクチャー、そして高度なインデックス構造を組み合わせて、低レイテンシなクエリ実行を実現しています。
Druidについて詳細に知りたい方は以下のドキュメントをご覧ください。

Streamlined Operations: Apache Ambari 2.5

Ambariは2.5になっています。アップデートとしては、以下になります。

ノードを再起動させた時に、起動させるコンポーネントを選べるようになった
Grafana上でHDFSのアクティブなユーザやオペレーション数の上位N件のビジュアライズ
ログローテーションの設定が簡単になった

HDFSのオペレーション数の上位N件のビジュアライズ

HDFSのアクティブなユーザの上位N件のビジュアライズ

Dynamic Security: Enhanced Administrator Productivity

Rangerのアップデートは以下です。

Seamless Policy Portability: Moving security policies en masse from one environment to another
Easy of Use: Support for $username & Macro Variables in Ranger Policies
Enterprise Ready: SSL Support for Spark Streaming Connections to Kafka

Atlasのアップデートは以下です。

Ease of Use: Streamlined APIs makes it easy for customers and partners to build extensions
Enterprise Ready: Extend Tag-based Policy Support to HDFS, Kafka and HBase
Ease of Use: Knox SSO for Atlas UI