先週、HDP 2.5がリリースされました。以下はHotonworksのブログ記事です。
http://hortonworks.com/blog/announcing-availability-hortonworks-data-platform-2-5/
各サービスのバージョンは以下のようになっています。
HDP 2.5は以下からダウンロードすることができます。
http://hortonworks.com/downloads/#data-platform
主なハイライトとしては以下があります。
- Dynamic Security: Apache Atlas + Ranger Integration
- Enterprise Spark at Scale: Apache Zeppelin Notebook for Spark
- Real-Time Applications: Storm and HBase/Phoenix
- Streamlined Operations: Apache Ambari
- Interactive Query in Seconds: Hive with LLAP (Technical Preview)
それぞれ簡単に説明していきます。
Dynamic Security: Apache Atlas + Ranger Integration
Apache Atlasはデータガバナンスのためのもので、Apache RangerはHadoopプラットフォーム間のデータのセキュリティを管理するためのものです。これらがインテグレーションされることにより、ダイナミックなセキュリティ管理ができるようになったようです。
Enterprise Spark at Scale: Apache Zeppelin Notebook for Spark
Apache Zeppelinは、HDP 2.4まではTechnical Previewでしたが、HDP 2.5から正式にサポートされました。
Apache Zeppelinは、Web上でSpark用のScalaのコードや、Spark SQLを埋め込んだノートブックを作成することができるサービスです。言葉で説明するより、以下の動画で見ていただくのが非常にわかりやすいと思います。
https://www.youtube.com/watch?v=_PQbVH_aO5E&feature=youtu.be
また、Technical PreviewですがSpark 2.0も入りました。
Real-Time Applications: Storm and HBase/Phoenix
Stormは1.0.1に上がり、Phoenixは4.7.0に上がりました。
Stormの主なハイライトは以下です。
- Developer Productivity: Sliding and tumbling windowing support
- Developer Productivity: New connectors for search and NoSQL Database
- Enterprise Readiness: Automatic back pressure
- Streamlined Operations: Resource aware scheduling and Storm view for Ambari
Phoenixの主なハイライトは以下です。
- Developer Productivity: Ad Hoc Analytics with connector to any ODBC BI tool
- Developer Productivity: Phoenix and Hive Integration to run HBASE queries in HIVE
- Enterprise Readiness: Incremental Back up/Restore
- Enterprise Readiness: Performance boost for high-scale loads
Streamlined Operations: Apache Ambari
Apache Ambariは2.4になりました。以下が含まれています。
- Log Search (Technical Preview)
- Role-Based Access Control
- SmartSense 1.3 Integration
- Customizable Cluster Alert Checks
Technical PreviewですがSolrを使ったLog Searchが含まれています。
ここら辺は、後でこのブログで紹介したいと思います。
Interactive Query in Seconds: Hive with LLAP (Technical Preview)
これは、Hive 2.0の話なのでTechnical Previewですが、LLAPが使えるようになっています。LLAPを使うことで1秒以内のクエリが実現できるようになります。
以下、主なハイライトです。
- Developer Productivity: Interactive query in seconds
- Ease of Use and Adoption : 100% compatible with Hive SQL
- Enterprise Readiness: Linear scaling at Terabytes volume of data
- Streamlined Operations: LLAP integration with Ambari with automated dashboards