【修正予定】EMRからS3tableのデータ取得をしようとしてバージョン不整合が起きた時の対処法
背景 Amazon EMR 6.15.0 上で Spark ジョブを実行中、S3 Tables Catalog（Iceberg）を使って S3 上のテーブルデータを処理したところ、以下のような ...
0
0
Comment0
4 search resultsShowing 1~4 results
Stocked
You need to log-in
【Udemy】データエンジニアリングのためのPySpark入門を受講してみた
はじめに 現在実務でデータ分析基盤を構築するプロジェクトに携わっており、 その中でも特に重要な役割を担ってるのが、共通前処理(EMR)を改修する機会があった。 処理を書いていく中でsparkにつ...
6
10
Comment0
【備忘録】ライブラリの依存関係でエラーが出た時の対処方
はじめに Amazon EMR 6.15.0 上で Spark ジョブを実行中、S3 Tables Catalog（Iceberg）を使って S3 上のテーブルデータを処理したところ、以下のよう...
0
1
Comment0
Spark + DynamoDB: `collectAsList()`から`foreachPartition()`への性能改善した時の話
はじめに AWS EMRでSparkを使ってDynamoDBにデータを登録する処理を実装していた際、collectAsList()を使った従来の方法では性能面で課題がありました。 本記事では、f...
0
0
Comment0
4 search resultsShowing 1~4 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles