Teradata Vantage Teradata® Package for Python User Guide [2024/04/23時点]の翻訳です。
Sparkマイグレーションはteradatamlの機能の一つで、PysparkワークロードをTeradata Vantageにマイグレーションすることができます。
各機能の詳細な説明に関しては、段階的にリンクを追加していきますので、リンクから詳細ページを参照してご利用下さい。
Sparkマイグレーションとは?
DatabricksやHadoopで動作するSparkのワークロードを、VantageCloud上で動作する分析機能であるClearScape Analyticsにマイグレーションできるように代替機能およびコンバージョン機能をpythonライブラリとして、リリースを行いました。
![Sparkマイグレーション.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F2740723%2F89b5a203-cc66-fa8b-751b-6f582c4ad25c.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=47c7ea112b8584d9028fac11f8baf69e)
Sparkプラットホームのマイグレーション方法
- Sparkスクリプトのコンバージョン機能は、Spark SQL、データフレーム、機械学習をカバーしています。
- teradataml API はSpark 上の Pandas API ライクな構文のため、 Pandasはteradatamlで代替します。
- ストリーミング、Spark コア、および RDD 機能は移行の対象外になります。
Teradataml Sparkの特徴
TeraSpark(※1) は、Sparkの分析ワークロードをTeradata Vantage上に置き換えることで、 Pysparkデータサイエンティストによる分析をTeradata Vantageで行えるようにするだけでなく、それらの分析結果を業務に直結して利用することで、より業務効果を高めていくことが可能になります。
※1 TeraSparkはSparkを置き換えるための機能群のことを指すため、SparkアーキテクチャーをTeradata Vantage で実現するためのものではありません。
Sparkマイグレーションの概要
分析システムとして利用されているSparkからデータ、Pysparkスクリプト、分析モデルをマイグレーションする方法の概要については以下のようになります。
![Sparkマイグレーションの概要.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F2740723%2Fb28edb7b-a7e7-12d1-20b5-e0289abb898d.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=1b8dbd9000f224a718f5810b28a21a39)
モデルは PMML に変換することで移行できますが、Databricks はすべてのモデルに対して PMML 変換を提供するわけではないため、一部のモデルは移行できない可能性があります。
BYOM=Bring Your Own Modelの略語。他のシステムで作成した分析モデルを、Teradata Vantageにインポートして、利用できるようにする機能のことです。。
Pysparkスクリプトのコンバージョン手順
Databricks/HadoopのPysparkスクリプトをpyspark2teradatamlというコンバージョン機能を用いて、以下の手順でコンバージョンして利用できるようになります。
![Pysparkスクリプトのコンバージョン手順.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F2740723%2F6e676dc9-a5be-4511-62e0-7837ddc6a59b.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=78f4aa613f7a92d5ee156eb33512f1a9)
コンバージョンレポート
Pysparkスクリプトをteradatamlspkでコンバージョンした結果として、コンバージョンレポートが生成されます。
このコンバージョンレポートを参照することにより、個別に確認が必要な箇所を特定して、対応を行います。
![コンバージョンレポート.png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F2740723%2Fe303da81-c000-9be8-0802-96fbfc51e647.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=997dd9749b2d7ac9998b5c52809935bf)
レポートの確認方法
色 | 説明 |
---|---|
赤色 | teradatamlspkに機能がないため、代替機能にて対応が必要なもの。 |
青色 | teradatamlspkに機能があるが、機能に差がある可能性があり、確認が必要なもの。 |
黒色 | 対応が不要なもの |
おわりに
警告
この本書はTeradata Vantageドキュメンテーションよりトピックに必要な情報を抜粋したものです。掲載内容の正確性・完全性・信頼性・最新性を保証するものではございません。正確な内容については、原本をご参照下さい。
また、修正が必要な箇所や、ご要望についてはコメントをよろしくお願いします。