LoginSignup
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@n0murainＮＸ情報システム株式会社

【個人学習】とりあえず動けばOK！EC2ダッシュボード開発記録

Last updated at Posted at 2025-05-05

※ご注意
本記事は「とりあえず動けばOK！」をモットーにした個人学習のアウトプットとして書いています。
前提の環境情報や権限の詳細、セキュリティ設定などは省略している箇所があります。

はじめに

今回の最終目標（動くもの）

EC2 AZ別サポート & 価格比較ダッシュボード
EC2 をAZ単位でどのインスタンスタイプがサポートされているのか、1時間あたりの料金はいくらなのかを一覧で確認できるダッシュボードの作成です。

今回の背景

以下の記事が当初の動機です。

私も業務において AWS を利用する機会があります。
AWS 運用の中で以下の点について比較検討する際に最新情報がすぐに取得できるツールがあれば便利だと感じたからです。

  • 災害対策：どのリージョンでどのEC2インスタンスタイプがサポートされている？
  • コスト最適化：他リージョンと比較したときの価格差は？

あとは、 AWS であまり普段触ったことのないサービス触ってみようくらいです。

本記事の目的

  • バージニア北部、東京、大阪リージョンの各AZでサポートされている EC2 インスタンスタイプが確認できるダッシュボードを作成する過程の振り返り

  • 対象AZ

    • バージニア北部
      • us-east-1a
      • us-east-1b
      • us-east-1c
      • us-east-1d
      • us-east-1e
      • us-east-1f
    • 東京
      • ap-northeast-1a
      • ap-northeast-1c
      • ap-northeast-1d
    • 大阪
      • ap-northeast-3a
      • ap-northeast-3b
      • ap-northeast-3c

手順実施後の状態（完成品）

▼QuickSightの公開ダッシュボード

  • 上画面のグラフ：サポートされているインスタンスタイプ数を表示
  • 下画面の表：[OS：Linux]でのUSD/1H 利用料金
    　※上手く取得できなかったものは 9,999 表示、サポートされていない場合は空白
    image.png

▼構成図

計画当初は、AthenaやGlueを使う想定でしたが、データ量も少ないため
とりあえず動くを目標にシンプルな構成となっています。

image.png

ダッシュボードでわかること（解決したかったこと）

「今東京で動いているこのEC2 って大阪でも同じもの動くのか？」
「バージニア北部と東京ってどのくらいサポートされているインスタンスタイプに差があるんだ？」
→これを解決できます。

AWSでは随時、サービス拡充がされていますがリージョン単位、もっと言えばAZ単位でのサポート有無があります。
このダッシュボードでは、 EC2 のインスタンスタイプがそのAZでサポートされているのかを確認できます。

コンソールからは、以下の方法で確認できますが、他リージョンと一覧比較は難しいです。

→最新の一覧が欲しい！って時にこのダッシュボードで確認ができます。
　※Lambdaで最新データを取得し、Quicksightのデータも更新する必要有り

料金はおまけで付けましたが、上手く取得できないものは、ひとまず9,999表示にしてます。
※空白のデータなしはそもそもサポートされていない判定

作成した手順

まずは動くものってことで色々と最適化されていない部分があったり、試行錯誤で作ったのであくまで私の過程を簡略化して説明します。

１．サポートインスタンスタイプ&料金データ取得部分作成

１－１．必要リソース作成

  • データ取得用Lambda関数：
    • 関数名：get_ec2_az_pricing
    • ランタイム：Python 3.12
    • 実行ロール：S3へのオブジェクト格納許可（s3:PutObject）を付与
  • データ格納用S3バケット：
    • バケット名：ec2-avail-dash-results-20250504
    • フォルダ：data(LambdaのCSVデータ格納先)

１－２．Lambda関数の処理実装

  • 環境変数：
    • キー：RESULTS_BUCKET
    • 値：ec2-avail-dash-results-20250504
ソースコード全文（lambda_function.py）
lambda_function.py

# リージョン→ロケーション名マップ
LOCATION_NAMES = {
    'ap-northeast-1': 'Asia Pacific (Tokyo)',
    'ap-northeast-3': 'Asia Pacific (Osaka)',
    'us-east-1':      'US East (N. Virginia)',
}

# AWS セッション＆クライアント初期化
session        = boto3.Session()
pricing_client = session.client(
    'pricing',
    region_name='us-east-1',
    config=Config(signature_version='v4',
                  retries={'max_attempts': 8, 'mode': 'standard'})
)
s3_client   = session.client('s3')
ec2_clients = { r: session.client('ec2', region_name=r) for r in REGIONS }

# キャッシュ： (instance_type, location_name) → price
price_cache = {}

# ──────────────────────────────────────────────────────
def fetch_price(instance_type, location_name):
    """
    キャッシュ付きで Pricing API から USD 時間単価を取得。
    取得失敗時は "9999" を返す。
    """
    key = (instance_type, location_name)
    if key in price_cache:
        return price_cache[key]

    try:
        resp = pricing_client.get_products(
            ServiceCode='AmazonEC2',
            Filters=[
                {'Type':'TERM_MATCH','Field':'instanceType','Value':instance_type},
                {'Type':'TERM_MATCH','Field':'location','Value':location_name},
                {'Type':'TERM_MATCH','Field':'tenancy','Value':'Shared'},
                {'Type':'TERM_MATCH','Field':'operatingSystem','Value':'Linux'},
            ],
            MaxResults=1
        )
        price_list = resp.get('PriceList', [])
        if not price_list:
            raise ValueError("Empty PriceList")

        # JSON パース
        item     = json.loads(price_list[0])
        od_terms = item['terms'].get('OnDemand', {})

        # "Hrs" 単位の価格ディメンションを探す
        hrs_pd = None
        for sku in od_terms.values():
            for dim in sku.get('priceDimensions', {}).values():
                if dim.get('unit') == 'Hrs':
                    hrs_pd = dim
                    break
            if hrs_pd:
                break
        if not hrs_pd:
            raise ValueError("Hourly price dimension not found")

        price_str = hrs_pd['pricePerUnit'].get('USD', '')
        try:
            usd = float(price_str)
            if usd <= 0.0:
                raise ValueError("Non-positive price")
        except (TypeError, ValueError):
            usd = "9999"

    except Exception as e:
        logger.warning(f"Pricing lookup failed for {instance_type}@{location_name}: {e}")
        usd = "9999"

    price_cache[key] = usd
    return usd

# ──────────────────────────────────────────────────────
def get_ec2_az_pricing(region):
    """
    指定リージョンの全 AZ 提供情報を取得し、
    ユニークなインスタンスタイプを先にまとめて価格フェッチ、
    その後 AZ ごとに価格をマッピングしたリストを返す。
    """
    ec2       = ec2_clients[region]
    paginator = ec2.get_paginator('describe_instance_type_offerings')
    offerings = []
    for page in paginator.paginate(LocationType='availability-zone'):
        offerings.extend(page['InstanceTypeOfferings'])

    loc_name = LOCATION_NAMES[region]

    # ユニークなタイプごとに一回だけ価格取得
    unique_types = {o['InstanceType'] for o in offerings}
    for it in unique_types:
        fetch_price(it, loc_name)

    # AZ 毎にキャッシュ済み price をマッピング
    return [
        {
            'instance_type':      o['InstanceType'],
            'availability_zone':  o['Location'],
            'on_demand_price_usd': price_cache[(o['InstanceType'], loc_name)]
        }
        for o in offerings
    ]

# ──────────────────────────────────────────────────────
def lambda_handler(event, context):
    try:
        summary = {}
        for region in REGIONS:
            data = get_ec2_az_pricing(region)

            # --- CSV 組み立て
            buf    = StringIO()
            writer = csv.writer(buf)
            writer.writerow(['instance_type','availability_zone','on_demand_price_usd'])
            writer.writerows(
                (r['instance_type'], r['availability_zone'], r['on_demand_price_usd'])
                for r in data
            )

            # --- S3 アップロード
            key = f"{KEY_PREFIX}/{region}-ec2.csv"
            s3_client.put_object(
                Bucket      = BUCKET,
                Key         = key,
                Body        = buf.getvalue().encode('utf-8'),
                ContentType = 'text/csv; charset=utf-8'
            )
            logger.info(f"[{region}] s3://{BUCKET}/{key} ({len(data)} records)")
            summary[region] = {'records': len(data), 's3_key': key}

        return {
            'statusCode': 200,
            'body':       json.dumps({'message':'Completed','details':summary})
        }

    except Exception as e:
        logger.error("Unexpected error", exc_info=True)
        return {
            'statusCode': 500,
            'body':       json.dumps({'error': str(e)})
        }

Lambda関数の処理実装(振り返りと学び)

AZごとのインスタンスタイプ取得について

EC2クライアントのPaginatorを利用

paginator = ec2_clients[region].get_paginator('describe_instance_type_offerings')
offerings = []
for page in paginator.paginate(LocationType='availability-zone'):
    offerings.extend(page['InstanceTypeOfferings'])
価格取得について

価格表クエリAPIおよび価格表一括APIは、us-east-1 , eu-central-1 , ap-south-1 のみで提供されている。

  • そのため、今回はus-east-1に固定して取得
  • 料金はOSやテナンシーでフィルタリング
  • 例外取得時は9999
    　→ はじめは Confirm Price Supportの文字列にしていたが、QuickSightのピボットテーブルでは数値しか上手く扱えず代替案として変更した。
pricing_client = session.client(
    'pricing',
    region_name='us-east-1',
    config=Config(signature_version='v4',
                  retries={'max_attempts': 8, 'mode': 'standard'})
)
# ──────────────中略──────────────────────────────────────
resp = pricing_client.get_products(
        ServiceCode='AmazonEC2',
        Filters=[
            {'Type':'TERM_MATCH','Field':'instanceType','Value':instance_type},
            {'Type':'TERM_MATCH','Field':'location','Value':location_name},
            {'Type':'TERM_MATCH','Field':'tenancy','Value':'Shared'},
            {'Type':'TERM_MATCH','Field':'operatingSystem','Value':'Linux'},
        ],
        MaxResults=1
    )
改善ポイント

API呼び出しが多すぎて非常に完了まで遅いのです...

  • 価格表は別で取得して、ローカルで価格表をもとにフィルタリングした処理へ変更する
  • Lambda関数をリージョンごとに分ける
ChatGPT
AWS Price List Bulk API + S3
aws pricing list-price-lists → aws pricing get-price-list-file-url で最新の CSV/JSON URL を取得し、download_file で S3 に保存。Athena や Glue でカタログ化してクエリ。


JSON Index ファイル直接利用
/offers/v1.0/aws/AmazonEC2/current/index.json をダウンロードし、products → terms.OnDemand を一度にロード。SKU ルックアップ＋価格抽出を Python 辞書操作で実行。

Cost and Usage Report（CUR）＋Athena
AWS Billing の CUR にオンデマンド料金を含めた CSV を S3 に出力し、Athena でクエリすることで、実コストベースでの価格取得が可能。

AWS Data Exchange
サードパーティが提供する EC2 価格データセットを定期取得。自前で API 実装する手間を省けます。

ChatGPTからも以下のアドバイスをもらったので次回からAPI呼び出しを削減する視点と対応を心がけようと思います。

１－３．サポートインスタンスタイプ&料金データ取得結果確認

Lambda関数実行後、3リージョン分のcsvファイルがS3に格納されていればOKです。
image.png

結果の正誤性確認方法
私は以下の観点で確認しました。

  • 各リージョンでAZごとのサポートされているインスタンスタイプの数が出力されているCSVデータ内の数と一致しているか？

CloudShellなどで以下を実行し、(例)ap-northeast-1でサポートされているインスタンスタイプの一覧を取得
CSVデータとCLIの取得結果をエクセルで比較しました。

ap-northeast-1
aws ec2 describe-instance-type-offerings\
    --region ap-northeast-1\
    --location-type availability-zone\
    --query "InstanceTypeOfferings[*].{InstanceType:InstanceType,AZ:Location}"\
    --output table
  • ランダムなCSVデータをAWS 管理コンソールで表示されている料金と一致しているか？
    一致していない場合CLIを実行してみて、取得結果の確認
    条件が悪いのかもしれませんが、インスタンスタイプによってはCLIで0.000000が返ってくるがあったので、これらは9999という処理にしています。

image.png

Asia Pacific (Tokyo) m5.xlarge
~ $ aws pricing get-products\
    --region us-east-1\
    --service-code AmazonEC2\
    --filters     Type=TERM_MATCH,Field=instanceType,Value=m5.xlarge\
    Type=TERM_MATCH,Field=location,Value="Asia Pacific (Tokyo)"\
    Type=TERM_MATCH,Field=tenancy,Value=Shared\
    Type=TERM_MATCH,Field=operatingSystem,Value=Linux\
    Type=TERM_MATCH,Field=preInstalledSw,Value=NA\
    Type=TERM_MATCH,Field=termType,Value=OnDemand\
    --max-results 1\
    --output json \
    jq -r '
>   .PriceList[0] 
>   | fromjson 
>   | .terms.OnDemand[] 
>   | .priceDimensions[] 
>   | select(.unit=="Hrs") 
>   | .pricePerUnit.USD
> '
0.2480000000
~ $

２．QuickSightセットアップ

今回のAWSアカウントではQuickSightを初めて利用したため、サインアップから行います。

必ずQuickSightの利用料金をチェックしてから利用しようね！

２－１．QuickSightにサインアップ

image.png
image.png

２－２．S3バケットへの許可設定

今回はS3バケット内のデータをデータソースとするため、QuickSightにS3バケットへの許可設定を追加

QuickSightのアカウントページ > セキュリティとアクセス許可 >
管理 > 対象のバケットを許可

image.png

ローカルPCにデータソースアクセス用のマニフェストファイルを作成しておく

  • dataフォルダ配下すべてを指定し、フォーマットはCSV
json ec2-avail-dash-data.json
{
    "fileLocations": [
      { "URIPrefixes": ["s3://ec2-avail-dash-results-20250504/data/"] }
    ],
    "globalUploadSettings": {
      "format": "CSV",
      "delimiter": ",",
      "textqualifier": "\"",
      "containsHeader": "true"
    }
  }

２－３．データセット新規作成

データセット：QuickSightで分析するデータの元

image.png

image.png

データセットとして登録できればOK

image.png
全てのデータが読み込まれていること
image.png

２－４．データ分析

新しい分析 を作成し、先ほどのデータセットを設定

image.png

今回は水平棒グラフとピボットテーブルを利用
image.png

image.png

良い感じにデータを組み合わせて表示色など見せ方を変更すれば「公開」して完了！
※一応水平棒グラフの表示結果は事前に確認したAZでサポートされているインスタンスタイプの数が一致していることなどを確認する。

２－５.ダッシュボードとしてこうかい

公開する際に公開先のダッシュボードを選択（無ければ新規作成）する。
image.png

振り返り

ピボットテーブルの条件付き書式はテーブルと違い、行には適用できません。
列、または値を条件として利用できます。
→ このあたりは、触って調べてわかりました。

また、QuickSight側での権限管理も実際に利用しエラー画面なども確認が出来ました。

image.png

３．データの更新（今回の場合）

  • 【Lambda】データ取得＆CSV作成Lambda関数を実行
  • 【QuickSight】データセットを手動で「今すぐ更新」
    → 全ての行が取り込まれていること

image.png

  • 【QuickSight】ダッシュボードをリフレッシュ
  • 以上で完了 分析から再公開の必要無し

以上！
不要リソースは削除しましょうね！

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?