GlueジョブからCloudWatchLogsへ出力されるログ転送量の削減

Glueジョブに関係するCloudWatchLogsの料金

GlueジョブからCloudWatchLogsへログが転送されるときに、二つの料金が発生します。
AWS公式ドキュメント

• ログの保管量：1Gbあたり、0.033$
• ログの転送量：1Gbあたり、0.76$

ここで、ログの保管量は、それほど高くはないが、ログの転送量は高額のため、
できる限りログの転送量を減らしたほうがいい

ログの転送量を減らすための設定

以下のオプションを追加するのみ。
「WARN」の設定は、主に「WARNログ」「ERROEログ」が出力される実装となり、「INFOログ」は出力されなくなるため、ログの転送量を大幅に減らすことができる。
Glueジョブを運用していく中で、INFOログは不要であることが多いため、基本的には問題なしの場面が多い。（検証時に多少閲覧するくらいです）

• sc.setLogLevel("WARN")

import os
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
from awsglue.dynamicframe import DynamicFrame

args = common.get_args(sys.argv)
sc = SparkContext()
sc.setLogLevel("WARN") # ← 設定はこちらのみ
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args["JOB_NAME"], args)