Teradata Vantage Teradata® Package for Python User Guide [2024/04/23時点]の翻訳です。

Sparkマイグレーションはteradatamlの機能の一つで、PysparkワークロードをTeradata Vantageにマイグレーションすることができます。

各機能の詳細な説明に関しては、段階的にリンクを追加していきますので、リンクから詳細ページを参照してご利用下さい。

Sparkマイグレーションとは？

DatabricksやHadoopで動作するSparkのワークロードを、VantageCloud上で動作する分析機能であるClearScape Analyticsにマイグレーションできるように代替機能およびコンバージョン機能をpythonライブラリとして、リリースを行いました。

※ teradatamlは、Teradata Vantageの操作・分析を実施するためのpythonライブラリです。

Sparkプラットホームのマイグレーション方法

Sparkスクリプトのコンバージョン機能は、Spark SQL、データフレーム、機械学習をカバーしています。
teradataml API はSpark 上の Pandas API ライクな構文のため、 Pandasはteradatamlで代替します。
ストリーミング、Spark コア、および RDD 機能は移行の対象外になります。

Teradataml Sparkの特徴

TeraSpark(※1) は、Sparkの分析ワークロードをTeradata Vantage上に置き換えることで、 Pysparkデータサイエンティストによる分析をTeradata Vantageで行えるようにするだけでなく、それらの分析結果を業務に直結して利用することで、より業務効果を高めていくことが可能になります。

※1 TeraSparkはSparkを置き換えるための機能群のことを指すため、SparkアーキテクチャーをTeradata Vantage で実現するためのものではありません。

Sparkマイグレーションの概要

分析システムとして利用されているSparkからデータ、Pysparkスクリプト、分析モデルをマイグレーションする方法の概要については以下のようになります。

モデルは PMML に変換することで移行できますが、Databricks はすべてのモデルに対して PMML 変換を提供するわけではないため、一部のモデルは移行できない可能性があります。

BYOM=Bring Your Own Modelの略語。他のシステムで作成した分析モデルを、Teradata Vantageにインポートして、利用できるようにする機能のことです。。

Pysparkスクリプトのコンバージョン手順

Databricks/HadoopのPysparkスクリプトをpyspark2teradatamlというコンバージョン機能を用いて、以下の手順でコンバージョンして利用できるようになります。

コンバージョンレポート

Pysparkスクリプトをteradatamlspkでコンバージョンした結果として、コンバージョンレポートが生成されます。
このコンバージョンレポートを参照することにより、個別に確認が必要な箇所を特定して、対応を行います。

レポートの確認方法

色	説明
赤色	teradatamlspkに機能がないため、代替機能にて対応が必要なもの。
青色	teradatamlspkに機能があるが、機能に差がある可能性があり、確認が必要なもの。
黒色	対応が不要なもの

おわりに

警告
この本書はTeradata Vantageドキュメンテーションよりトピックに必要な情報を抜粋したものです。掲載内容の正確性・完全性・信頼性・最新性を保証するものではございません。正確な内容については、原本をご参照下さい。
また、修正が必要な箇所や、ご要望についてはコメントをよろしくお願いします。

Teradata Vantageへのお問合せ

Teradata Vantage へのお問合せ