モチベーション

2022 年 2 月 1 日以降、AWS Inc. に代わり AWS Japan が日本国内の AWS サービスの契約当事者となりました。(請求書払いアカウントは 2021 年 11 月 1 日以降)

そのためほとんどのサービス利用料については現在 AWS Japan が請求元になっているのですが、AWS Marketplace および、Amazon SES, SNS, Connect などの AMCS LLC が販売する一部のサービスについては引き続き請求元は AWS Inc. となっています。

Cost Explorer API を使用してアカウントおよび、請求元の法人 (サービスプロバイダ) 毎に請求額を取得し、以下のような CSV で出力する機会がありましたので紹介します。

Account Id	Account Name	Legal Entity	Amount (USD)
000000000000	account-0000	Amazon Web Services Japan G.K.	42.7927165287
111111111111	account-1111	Amazon Web Services Japan G.K.	32.2633798094
222222222222	account-2222	Amazon Web Services Japan G.K.	751.7103483954
222222222222	account-2222	Amazon Web Services, Inc.	386.7895005956
333333333333	account-3333	Amazon Web Services Japan G.K.	4.6428
444444444444	account-4444	Amazon Web Services Japan G.K.	407.74542118
444444444444	account-4444	Datadog Inc.	18.03
555555555555	account-5555	Amazon Web Services Japan G.K.	4.7548
...

API リクエストの例

AWS Lambda を使用して前月分の請求額を取得する最小限の例です。

import datetime
import boto3

def lambda_handler(event, context):
    today = datetime.date.today()
    start = today.replace(month=today.month-1, day=1).strftime('%Y-%m-%d')
    end = today.replace(day=1).strftime('%Y-%m-%d')
    ce = boto3.client('ce')
    response = ce.get_cost_and_usage(
        TimePeriod={
            'Start': start,
            'End' :  end,
        },
        Granularity='MONTHLY',
        Metrics=[
            'NetUnblendedCost'
        ],
        GroupBy=[
            {
                'Type': 'DIMENSION',
                'Key': 'LINKED_ACCOUNT'
            },
            {
                'Type': 'DIMENSION',
                'Key': 'LEGAL_ENTITY_NAME'
            }           
        ]
    )
    return response['ResultsByTime'][0]['Groups']

Cost Explorer コンソールではグループ化条件は 1 つまでしか適用できませんが、Cost Explorer API では最大 2 つのグループ化条件を指定することができます。上記の例では GroupBy で Linked Account ごと、請求元法人ごとに請求額を取得しています。

Pandas で結果を加工する

前述の例で得られるレスポンスはネストされた json になっているため、Pandas を使用して CSV に加工する例を考えます。AWS Lambda で Pandas を使用する際には、Lambda Layers を使用する必要がある点についてご注意ください。

pandas.json_normalize を使用して json をフラット化します。

import pandas

normalized_json = pandas.json_normalize(get_cost_json(start, end))
print(normalized_json)

                                               Keys Metrics.NetUnblendedCost.Amount Metrics.NetUnblendedCost.Unit
0    [000000000000, Amazon Web Services Japan G.K.]                   42.7927165287                           USD
1    [111111111111, Amazon Web Services Japan G.K.]                   32.2633798094                           USD
2    [222222222222, Amazon Web Services Japan G.K.]                  751.7103483954                           USD
3         [222222222222, Amazon Web Services, Inc.]                  386.7895005956                           USD
4    [333333333333, Amazon Web Services Japan G.K.]                          4.6428                           USD
..                                              ...                             ...                           ...
20   [444444444444, Amazon Web Services Japan G.K.]                    407.74542118                           USD
21                     [444444444444, Datadog Inc.]                           18.03                           USD
22   [555555555555, Amazon Web Services Japan G.K.]                          4.7548                           USD
23   [666666666666, Amazon Web Services Japan G.K.]                  225.1362646108                           USD
24   [777777777777, Amazon Web Services Japan G.K.]                   93.5262513848                           USD

[25 rows x 3 columns]

上記結果から Keys をリスト化し、請求額 (今回の例では Metrics.NetUnblendedCost.Amount) と pandas.concat で連結すると、以下のような出力になります。目的の形に近づきました。

split_keys = pandas.DataFrame(
    normalized_json['Keys'].tolist(),
    columns=['Account Id', 'Legal Entity']
)
cost = pandas.concat([split_keys, normalized_json['Metrics.NetUnblendedCost.Amount']], axis=1)
print(cost)

       Account Id                    Legal Entity Metrics.NetUnblendedCost.Amount
0    000000000000  Amazon Web Services Japan G.K.                   42.7927165287
1    111111111111  Amazon Web Services Japan G.K.                   32.2633798094
2    222222222222  Amazon Web Services Japan G.K.                  751.7103483954
4    222222222222       Amazon Web Services, Inc.                  386.7895005956
4    333333333333  Amazon Web Services Japan G.K.                          4.6428
..            ...                             ...                             ...
20   444444444444  Amazon Web Services Japan G.K.                    407.74542118
21   444444444444                   Datadog, Inc.                           18.03
22   555555555555  Amazon Web Services Japan G.K.                          4.7548
23   666666666666  Amazon Web Services Japan G.K.                  225.1362646108
24   777777777777  Amazon Web Services Japan G.K.                   93.5262513848

[25 rows x 3 columns]

上記の Datadog, Inc. のように AWS Marketplace から購入したものは Amazon Web Services, Inc ではなく提供元の法人名が入ります。

最終的な Lambda 関数の例

Cost Explorer API ではアカウント名は取得できないため、AWS Organizations の API で取得した結果をマージし、最終的にアカウント名でソートしています。

lambda_function.py

from logging import getLogger, INFO
import os
import datetime
import boto3
import pandas
from botocore.exceptions import ClientError

logger = getLogger()
logger.setLevel(INFO)

def upload_s3(output, key, bucket):
    try:
        s3_resource = boto3.resource('s3')
        s3_bucket = s3_resource.Bucket(bucket)
        s3_bucket.upload_file(output, key, ExtraArgs={'ACL': 'bucket-owner-full-control'})
    except ClientError as err:
        logger.error(err.response['Error']['Message'])
        raise

def get_ou_ids(org, parent_id):
    ou_ids = []
    try:
        paginator = org.get_paginator('list_children')
        iterator = paginator.paginate(
            ParentId=parent_id,
            ChildType='ORGANIZATIONAL_UNIT'
        )
        for page in iterator:
            for ou in page['Children']:
                ou_ids.append(ou['Id'])
                ou_ids.extend(get_ou_ids(org, ou['Id']))
    except ClientError as err:
        logger.error(err.response['Error']['Message'])
        raise
    else:
        return ou_ids

def list_accounts():
    org = boto3.client('organizations')
    root_id = 'r-xxxx'
    ou_id_list = [root_id]
    ou_id_list.extend(get_ou_ids(org, root_id))
    accounts = []

    try:
        for ou_id in ou_id_list:
            paginator = org.get_paginator('list_accounts_for_parent')
            page_iterator = paginator.paginate(ParentId=ou_id)
            for page in page_iterator:
                for account in page['Accounts']:
                    item = [
                        account['Id'],
                        account['Name'],
                    ]
                    accounts.append(item)
    except ClientError as err:
        logger.error(err.response['Error']['Message'])
        raise
    else:
        return accounts

def get_cost_json(start, end):
    """Get Cost Json"""
    ce = boto3.client('ce')
    response = ce.get_cost_and_usage(
        TimePeriod={
            'Start': start,
            'End' :  end,
        },
        Granularity='MONTHLY',
        Metrics=[
            'NetUnblendedCost'
        ],
        GroupBy=[
            {
                'Type': 'DIMENSION',
                'Key': 'LINKED_ACCOUNT'
            },
            {
                'Type': 'DIMENSION',
                'Key': 'LEGAL_ENTITY_NAME'
            }           
        ]
    )
    return response['ResultsByTime'][0]['Groups']

def lambda_handler(event, context):
    output_file = '/tmp/output.csv'
    bucket = os.environ['BUCKET']

    today = datetime.date.today()
    start = today.replace(month=today.month-1, day=1).strftime('%Y-%m-%d')
    end = today.replace(day=1).strftime('%Y-%m-%d')
    key = 'all-accounts-cost-' + start + '-' + end + '.csv'
    
    normalized_json = pandas.json_normalize(get_cost_json(start, end))
    split_keys = pandas.DataFrame(
        normalized_json['Keys'].tolist(),
        columns=['Account Id', 'Legal Entity']
    )
    cost = pandas.concat([split_keys, normalized_json['Metrics.NetUnblendedCost.Amount']], axis=1)
    account_list = pandas.DataFrame(list_accounts(), columns=['Account Id', 'Account Name'])
    merged_cost = pandas.merge(account_list, cost, on='Account Id', how='right')
    renamed_cost = merged_cost.rename(columns={'Metrics.NetUnblendedCost.Amount': 'Amount (USD)'})
    sorted_cost = renamed_cost.sort_values(by='Account Name')
    sorted_cost.to_csv(output_file, index=False)
    upload_s3(output_file, key, bucket)

以上です。
参考になれば幸いです。