0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AWS Solution Architect Associateを受験するための知識整理するためのノートブック(更新中)

0
Last updated at Posted at 2026-05-01

模擬試験を受けた

以下のAWS Solution Architect Associate模擬試験(第1回)を受講しました。

結果は28/65と散々だったので、自戒を込めて復習内容をこちらのノートブックに記載していきます。

記載方針

当然ながら、模擬試験の内容は有料コンテンツのためこちらには一切掲載しません。
あくまで、各サービスの特徴などを、claude君から出してもらったものや公式のドキュメントなどをもとに自分自身で整理をするために使用するためのものとなっています。
お読みになる際は、こちらをご留意ください。

復習方法

基本的には、問題の内容をclaude君に読み込ませて、解説をしてもらうようにお願いしています。(ここには貼り付けない)
AWSのSAAレベルの内容であれば、claude君に読み込ませても誤情報が含まれる危険性は薄いと思いますし、参考となるリンクも出してもらえるかと考えています。

新規チャットを開いて最初のプロンプトとしては、以下を記述しています。

AWSのSolution Architect Associateの模擬試験を受けました。
これから、全65問を張り付けていきます。
各問題について、問題の解説をしてください。
必要に応じて、参考となるリンクや、各製品の解説を加えてください。

claude君の返答としては、以下の通りでした。

わかりました!AWS Solution Architect Associate(SAA-C03)の模擬試験、65問の解説をしていきます。
問題を貼り付けてください。各問題について以下の形式で解説します:

✅ 正解
📖 解説(なぜその答えが正しいか)
❌ 不正解の選択肢の理由
🔗 参考リンク・関連サービス説明

順番に貼り付けていただいても、まとめて貼り付けていただいても対応できます。では、始めましょう!

頼もしい感じですね。
ただ、おつむの弱い筆者としては解説文だけ見てもイメージがつきづらかったので、以下のプロンプトも入力しました。

試験問題に全く関係ないアーキテクチャ図の例を一度出してもらえますか?

そうしたら、以下のような図を出してくれました。
image.png

全く手を入れていない状態のCloade君(かつプロンプトが雑)なので、見やすさは改善の余地があるでしょうが、こんな適当なインプットでもそれぞれのサービスの関係性については簡略的に理解できるような構造になっています。
Cloadeの実力、恐れ入りました。

ということで、問題の中で出てきたサービスの解説を依頼した箇所について、このノートブックに復習用に貼り付けていきます。

覚えておくべき関連サービス

Amazon RDS

Amazon RDS(Relational Database Service)は、リレーショナルデータベースをフルマネージドで提供するサービスです。
OSのパッチ適用、バックアップ、レプリケーション、フェイルオーバーといった運用作業をAWSが自動で行います。

全体構造図

image.png

対応データベースエンジン

エンジン 特徴 試験での注意点
MySQL 最も広く使われるOSS RDS Proxyと相性◎
DBPostgreSQL 高機能OSS DB、JSON対応 RDS Proxyと相性◎
MariaDB MySQLから派生したOSS DB RDS Proxy対応
Oracle エンタープライズ向け商用DB RDS Proxy非対応
SQL Server Microsoft製商用DB Windows認証対応
Amazon Aurora AWS独自のMySQL/PostgreSQL互換高性能DB RDSとは別サービス扱い

マルチAZ vs リードレプリカ(試験最頻出)

image.png

ストレージの種類

RDS では3種類のEBSストレージから選べます。

ストレージタイプ IOPS 用途
gp3(汎用SSD) 最大16,000 IOPS 一般的なワークロード(推奨)
io1(プロビジョンドSSD) 最大256,000 IOPS 高IOPS要求のワークロード
magnetic(旧世代HDD) 低い 後方互換のみ(非推奨)

また ストレージの自動スケーリングを有効にすると、容量が逼迫したときに自動で拡張されます。

バックアップの仕組み

自動バックアップはデフォルトで有効で、毎日スナップショットを取得し、トランザクションログと合わせてS3に保存します。保持期間は1〜35日で設定可能です。これにより**任意の時点へのリストア(Point-in-Time Recovery) **が可能です。
手動スナップショットは明示的に取得するもので、削除しない限り無期限に保持されます。

セキュリティのポイント

ネットワーク分離として、RDS はプライベートサブネットに配置し、セキュリティグループでアプリからの接続のみを許可するのが基本です。
暗号化は、保存データを KMS で暗号化(有効化は作成時のみ)、通信は SSL/TLS で暗号化します。
認証は、DB ユーザー名とパスワードによる認証に加え、IAM 認証も利用できます。

RDS と Aurora の違い(試験頻出)

項目 RDS Aurora
エンジン MySQL / PostgreSQL 等 Aurora MySQL / PostgreSQL
ストレージ 各インスタンスに EBS 共有分散ストレージ(最大128TB)
レプリカ数 最大5つ 最大15つ
フェイルオーバー 約1〜2分 約30秒以下
コスト 低い やや高い
向いている用途 一般的な用途 高可用性・大規模

Amazon RDS Proxy

RDS Proxy は、アプリケーションと RDS の間に置くフルマネージドのデータベースプロキシです。「接続の仲介役」として働き、大量の接続要求をまとめて効率化します。

全体構造図

image.png

機能① 接続プーリング(最重要)

アプリケーションからの接続を RDS Proxy が受け取り、RDS との接続を少数に束ねて再利用します。
【直接接続の場合】
Lambda #1 ──→ RDS(接続1)
Lambda #2 ──→ RDS(接続2)
Lambda #100 ──→ RDS(接続100) ← 上限超過!

【RDS Proxy 経由の場合】
Lambda #1 ─┐
Lambda #2 ─┤→ RDS Proxy → RDS(接続10本を再利用)
Lambda #100─┘
これにより RDS の最大接続数を大幅に削減でき、Too many connections エラーを防げます。

機能② セキュリティ強化(IAM + Secrets Manager)

RDS Proxy は AWS Secrets Manager と統合されており、DB のユーザー名・パスワードをコードに直書きせずに済みます。また IAM 認証を使うことで、きめ細かいアクセス制御が可能です。さらに Secrets Manager の自動ローテーション機能により、パスワードを定期的に自動更新できます。

機能③ フェイルオーバーの高速化

マルチ AZ 構成の RDS で障害が起きたとき、通常はアプリが新しいエンドポイントを検知するまでに時間がかかります。RDS Proxy を使うと、アプリ側のエンドポイントは変わらず、Proxy が裏で新しいライターに自動的に切り替えてくれます。フェイルオーバー時間を最大 66% 短縮できます。

対応データベースと対応状況

1 2
RDS for MySQL ✅
RDS for PostgreSQL ✅
RDS for MariaDB ✅
Aurora MySQL ✅
Aurora PostgreSQL ✅
RDS for SQL Server ✅
RDS for Oracle ❌ 非対応

RDS Proxy を使うべきシーン

使うべきケース:

  • Lambda など、接続が短命で大量に発生するサーバーレス構成
  • 接続数の上限に近いアプリケーション
  • フェイルオーバー時のダウンタイムを最小化したいとき
  • DB 認証情報をコードから切り離したいとき

使わなくてよいケース:

  • 接続数が少なく安定している長寿命アプリ(EC2 上の常駐プロセスなど)
  • Oracle を使っている(非対応)
  • レイテンシを極限まで削りたい(Proxy 経由でわずかに増加)

コストについて

RDS Proxy は vCPU 単位の時間課金です。RDS インスタンスの vCPU 数と稼働時間に応じて課金されます。ただし接続障害やエラーによる損失と比較すると、Lambda × RDS 構成では費用対効果が高いサービスです。


Amazon DynamoDB

Amazon DynamoDB は、フルマネージドの NoSQL データベースサービスです。サーバーの管理が一切不要で、どんな規模にも自動でスケールし、1桁ミリ秒のレイテンシを実現します。キーバリュー型とドキュメント型の両方をサポートします。

全体構造図

image.png

テーブル構造(最重要)

DynamoDB のデータ構造はRDBとは大きく異なります。
パーティションキー(PK) はテーブルの主キーで必須です。データをどのパーティション(物理的な保存場所)に格納するかを決定します。値は一意である必要があります。
ソートキー(SK) は省略可能な複合キーの2つ目の要素です。同じPKを持つアイテムをソートキーで並べ替えて保存できます。PKとSKの組み合わせが一意であれば、同じPKに複数アイテムを保存できます。
属性 はRDBのカラムに相当しますが、スキーマが固定されていません。アイテムごとに異なる属性を持てます(スキーマレス)。
テーブル例:Eコマースの注文管理

┌──────────────┬───────────────┬─────────────────────────┐
│ PK(UserID) │ SK            │ 属性                    │
├──────────────┼───────────────┼─────────────────────────┤
│ user#001     │ profile       │ name, email, age        │
│ user#001     │ order#2024001 │ amount, status, items   │
│ user#001     │ order#2024002 │ amount, status          │
│ user#002     │ profile       │ name(emailなし可)      │
└──────────────┴───────────────┴─────────────────────────┘

インデックス詳細(試験頻出)

image.png

キャパシティモード詳細

プロビジョンドキャパシティはRCU(読み取りキャパシティユニット)とWCU(書き込みキャパシティユニット)を事前に指定します。予測可能なトラフィックパターンに向いており、Auto Scalingと組み合わせることで自動的に上下させることもできます。コストはオンデマンドより安くなる傾向があります。

RCU = 1回の強整合性読み取り(4KBまで)/秒
WCU = 1回の書き込み(1KBまで)/秒

オンデマンドキャパシティは事前の設定が不要で、リクエスト数に応じて自動でスケールします。アクセスパターンが予測困難な新しいアプリや、急激なスパイクが発生するワークロードに向いています。料金は実際のリクエスト数に応じた従量課金です。

整合性モデル(試験頻出)

DynamoDB は複数のAZにデータを分散して保存しており、読み取りの整合性を選択できます。
結果整合性読み取り(Eventually Consistent) はデフォルト設定です。最近の書き込みが即座に反映されない場合がありますが、コストが強整合性の半分になります。
強整合性読み取り(Strongly Consistent) は常に最新データを返すことを保証します。レイテンシがわずかに高く、コストが2倍になります。
トランザクション読み取り はACID特性を持つ複数操作を一括で実行します。コストは強整合性の2倍です。

DynamoDB Streams

テーブルへの変更(追加・更新・削除)をリアルタイムでキャプチャする機能です。変更内容は24時間保持され、Lambda と組み合わせることでイベント駆動の処理を実装できます。

DynamoDB(書き込み)
    ↓
DynamoDB Streams(変更を記録)
    ↓
Lambda(トリガー)
    ↓
別DynamoDBテーブルへの反映 / SNS通知 / ElasticSearchへの連携

グローバルテーブル

複数のAWSリージョンにテーブルを自動でレプリケーションする機能です。どのリージョンからも読み書きができ、ユーザーに最も近いリージョンから低レイテンシでアクセスできます。リージョン間のレプリケーションは自動で行われます。

RDS vs DynamoDB の使い分け(試験頻出)

項目 RDS DynamoDB
データモデル リレーショナル(テーブル・JOIN) キーバリュー / ドキュメント
スキーマ 固定(変更にマイグレーション必要) 柔軟(スキーマレス)
クエリ SQL(複雑な結合・集計) キー検索中心(SQLなし)
スケーリング 垂直スケール中心 水平スケール(無制限)
レイテンシ 1〜数十ミリ秒 1桁ミリ秒(DAX使用でμ秒)
向いている用途 複雑なリレーション・トランザクション 大規模・高速・シンプルアクセス

DAX の全体像

image.png

DAX の主な特徴

パフォーマンス向上はDAX最大のメリットです。DynamoDB単体では1桁ミリ秒のレイテンシですが、DAXを使うとマイクロ秒(最大10倍高速)になります。読み取りが多いワークロードに特に効果的です。
互換性はDAX SDKを使うだけで既存のDynamoDBアプリと互換性があります。アプリのコード変更を最小限に抑えられます。
VPC内配置はDAXクラスターは必ずVPC内に配置されます。インターネットからは直接アクセスできないため、セキュリティが高いです。

暗号化の種類(試験ポイント)

暗号化の種類 説明 変更可否
暗号化なし デフォルト 後から変更不可
AWSマネージドキー AWSが管理するKMSキー 作成時のみ設定可
カスタマーマネージドキー 自分で作成・管理する KMSキー作成時のみ設定可

DAX が向いている/向いていないケース

向いているケース 向いていないケース
読み取りが多い(Read Heavy) 書き込みが多い(Write Heavy)
同じデータへの繰り返しアクセス 強い整合性が必要な読み取り
レイテンシをマイクロ秒に抑えたい トランザクション処理(DAX非対応)
ゲーム・SNS等のリアルタイム処理 集計・分析クエリ(Scan操作)

S3

Amazon S3(Simple Storage Service)は、オブジェクトストレージサービスです。ファイルを「オブジェクト」として「バケット」に保存します。容量制限がなく、データを無制限に保存でき、99.999999999%(イレブンナイン)という非常に高い耐久性を持ちます。

全体構造図

image.png

基本構造

バケットはS3の最上位のコンテナで、リージョン単位で作成します。名前はグローバルで一意である必要があります(世界中で重複不可)。
オブジェクトは実際に保存されるデータで、最大5TBまで保存できます。「キー」と呼ばれるパス名(例:/images/photo.jpg)で識別されます。厳密にはフォルダ構造は存在せず、キーのプレフィックスで階層を表現します。

ストレージクラス詳細(試験最頻出)

アクセス頻度とコストのトレードオフで選びます。
image.png

セキュリティの仕組み

S3のセキュリティは複数の層で構成されています。
バケットポリシーはJSON形式のリソースベースポリシーで、特定のIPアドレスやVPCからのアクセス制限、特定のIAMロールへの許可などをバケット単位で設定します。
パブリックアクセスのブロックはデフォルトで全てブロックされており、意図しない公開を防ぎます。静的ウェブサイトホスティングなど特別な理由がない限り、ブロックを維持するのがベストプラクティスです。
暗号化は保存時(SSE-S3、SSE-KMS、SSE-C)と転送時(SSL/TLS)の両方をサポートします。SSE-KMSを使うとKMSのキー管理・監査ログが利用できます。

ライフサイクルポリシー(試験頻出)

オブジェクトの保存期間に応じて自動でストレージクラスを移行・削除できます。コスト最適化の定番パターンです。

作成直後 → Standard(頻繁アクセス)
30日後 → Standard-IA(アクセス減少)
90日後 → Glacier Instant(アーカイブ)
365日後 → Glacier Deep Archive(長期保存)
2555日後(7年) → 自動削除(法定保存期間終了)

レプリケーション

CRR(クロスリージョンレプリケーション)は異なるリージョンのバケットへ自動複製します。DR(災害対応)やデータを地理的に近い場所に配置するのに使います。
SRR(同一リージョンレプリケーション)は同じリージョン内の別バケットへ複製します。ログ集約や本番・テスト環境のデータ同期に使います。
どちらもバージョニングを有効にする必要があります。

その他の重要機能

S3 Transfer AccelerationはCloudFrontのエッジロケーションを経由して、遠隔地からのアップロードを高速化します。
マルチパートアップロードは100MB以上のファイルを分割してアップロードする仕組みです。
5GB以上は必須、100MB以上で推奨されます。
署名付きURL(Presigned URL)は一時的なアクセス権を持つURLを生成します。
プライベートオブジェクトを期限付きで共有する際に使います。
S3 Object LockはWORM(Write Once Read Many)モデルでオブジェクトの上書き・削除を防止します。
法規制対応に使います。

署名付きURLの仕組み

署名付きURLはS3オブジェクトへの一時的なアクセス権をURLに埋め込んだものです。URLを知っているユーザーだけが、指定した期限内にオブジェクトにアクセスできます。

# Python(boto3)での生成例
import boto3

s3_client = boto3.client('s3')

presigned_url = s3_client.generate_presigned_url(
    'get_object',
    Params={
        'Bucket': 'my-private-bucket',
        'Key': 'images/photo.jpg'
    },
    ExpiresIn=3600  # 有効期限:3600秒(1時間)
)

# 生成されたURLをユーザーに返す
# → ユーザーはこのURLで直接S3にアクセス可能(1時間のみ)

署名付きURLの主な特徴

期限設定 は秒単位で有効期限を指定できます。最小1秒から最大7日間(IAMユーザーの場合)または最大12時間(IAMロール使用時)まで設定できます。
URLを知っている人だけアクセス可能 という仕組みのため、S3バケット自体はプライベートのまま特定ユーザーだけに一時的なアクセスを付与できます。
生成者の権限が必要 という点も重要です。署名付きURLを生成するEC2(IAMロール)がS3 GetObjectの権限を持っていない場合、URLを生成しても無効になります。
GET以外の操作にも使用可能 で、PutObjectの署名付きURLを生成すれば、ユーザーがS3に直接アップロードすることもできます。

CloudFront署名付きURL・署名付きCookieとの違い

署名付きURLと似たサービスとして CloudFront署名付きURL があります。混同しやすいため整理します。

項目 S3署名付きURL CloudFront署名付きURL
配信元 S3直接 CloudFront経由
CDN効果 なし あり(エッジキャッシュ)
向いている用途 小規模・単発配信 大規模・グローバル配信
複数ファイルへの制限 URLごとに個別 署名付きCookieで一括

AWS Lambda


Amazon EventBridge


Route53

Amazon Route 53 はAWSが提供するフルマネージドの権威DNSサービスです。ドメイン名をIPアドレスに変換するDNS機能に加え、ドメイン登録・ヘルスチェック・トラフィックルーティングの3つの機能を持ちます。SLA 100%という業界最高水準の可用性を誇ります。

全体構造図

image.png

DNSレコードタイプ

レコード 用途 例
A ドメイン → IPv4アドレス example.com → 1.2.3.4
AAAA ドメイン → IPv6アドレス example.com → 2001:db8::1
CNAME ドメイン → 別ドメイン www → example.com
Alias AWSリソースへの特別なCNAME example.com → ALBのDNS名
MX メールサーバー指定 mail.example.com
TXT テキスト情報 SPF・DKIM・ドメイン所有権
NS ネームサーバー 指定ゾーン委任

CNAME vs Alias(試験頻出)

この2つは混同しやすい重要なポイントです。
image.png

ヘルスチェックの仕組み

Route53のヘルスチェックはエンドポイントを定期的に監視し、障害を検知したら自動でルーティングを切り替えます。
エンドポイントのヘルスチェックはHTTP・HTTPS・TCPで指定したエンドポイントを30秒または10秒間隔で監視します。18個以上のグローバルなRoute53ヘルスチェッカーが確認します。
計算式ヘルスチェックは複数のヘルスチェックの結果を AND/OR で組み合わせて複合的な判断ができます。
CloudWatchアラームのヘルスチェックはCloudWatchのアラーム状態を監視します。プライベートリソースのヘルスチェックに特に有効です。

パブリック vs プライベートホストゾーン

パブリックホストゾーンはインターネットからDNS解決できるゾーンです。example.com のような公開ドメインを管理します。
プライベートホストゾーンはVPC内からのみDNS解決できるゾーンです。internal.example.com のような社内専用ドメインを管理し、VPCに関連付けて使います。

プライベートホストゾーンの使用例:
・db.internal → RDSのエンドポイント
・api.internal → ALBのDNS名
・cache.internal → ElastiCacheのエンドポイント

→ コードにIPアドレスを直書きせず、
  DNSで抽象化できる

全ルーティングポリシーの詳細

image.png

位置情報 vs 地理的近接性の違い(試験最頻出)

image.png

TTL(Time to Live)

TTLはDNSレスポンスをクライアントやリゾルバーがキャッシュする秒数です。

TTL高(86400秒=1日)
→ キャッシュが長持ち
→ DNSクエリ数↓ = コスト↓
→ 変更が反映されるまで時間がかかる

TTL低(60秒)
→ キャッシュがすぐ切れる
→ DNSクエリ数↑ = コスト↑
→ 変更が素早く反映される

💡 移行・切り替え作業の前はTTLを下げておくのがベストプラクティス

Route53 Resolver(ハイブリッド環境)

オンプレミスとVPCを接続したハイブリッド環境でDNSを統合するための機能です。
インバウンドエンドポイントはオンプレミスからVPC内のRoute53プライベートホストゾーンへのDNS解決を可能にします。
アウトバウンドエンドポイントはVPC内のリソースからオンプレミスのDNSサーバーへのDNS解決を可能にします。


AWS Batch

バッチコンピューティングジョブを完全マネージドで実行するサービスです。
「ジョブを投入したら、あとはAWSが全部やってくれる」というのが最大の特徴です。

全体構造図

image.png

処理フロー

image.png

主要コンポーネント(3つ覚える)

① ジョブ定義(Job Definition)

何を実行するかを定義します。
Dockerイメージ、CPUやメモリのリソース量、環境変数、コマンドなどを設定します。

② ジョブキュー(Job Queue)

ジョブの待ち行列です。
優先度を設定でき、複数のコンピューティング環境と紐付けられます。

③ コンピューティング環境(Computing Environment)

実際にジョブを動かすEC2やFargateの設定です。
最小・最大vCPU数を指定しておくと、ジョブ量に応じて自動でスケールします。

EC2 vs Fargate の使い分け

項目 EC2 Fargate
Windows対応 ✅対応 ❌非対応
コスト制御 Spot活用で安価 やや高め
起動速度 やや遅い 速い
管理コスト 低い(マネージド) ほぼゼロ
向いているジョブ 長時間・大容量 短時間・小規模

Lambda との違い(試験頻出)

項目 Lambda AWS Batch
実行時間 上限最大15分 制限なし
コンテナサイズ 最大10GB 制限なし
Windows対応 ❌ ✅
向いている処理 軽量・短時間 重量・長時間

Amazon ECS

Amazon ECS(Elastic Container Service)は、Dockerコンテナをオーケストレーションするフルマネージドサービスです。複数のコンテナの起動・停止・スケーリング・ヘルスチェックを自動で管理します。

全体構造図

image.png

主要コンポーネント詳細

① タスク定義(Task Definition)

コンテナの「設計図」です。一度定義すると番号付きでバージョン管理されます。

json{
"family": "my-app",
"cpu": "256",
"memory": "512",
"containerDefinitions": [
{
"name": "web",
"image": "123456789.dkr.ecr.ap-northeast-1.amazonaws.com/my-app:latest",
"portMappings": [{ "containerPort": 80 }],
"environment": [{ "name": "ENV", "value": "production" }],
"logConfiguration": {
"logDriver": "awslogs"
}
}
]
}

② サービス(Service)

指定した数のタスクを常時維持する仕組みです。タスクが異常終了すると自動で再起動します。ALBと統合してトラフィックを分散し、デプロイ時はローリングアップデートや Blue/Green デプロイが可能です。

③ タスク(Task)

タスク定義をもとに実際に起動するコンテナの実行単位です。1つのタスクに複数のコンテナを含めることができ、同じネットワーク名前空間を共有します(サイドカーパターン)。

④ クラスター(Cluster)

タスクやサービスをまとめる論理的なグループです。EC2モードとFargateモードを混在させることもできます。

タスクロール vs 実行ロール(試験頻出)

ECSには2種類のIAMロールがあり、混同しやすいポイントです。
image.png

オートスケーリングの仕組み

ECS サービスのオートスケーリングには2段階あります。
サービスオートスケーリングはタスク数を増減させます。CPU使用率やメモリ使用率、カスタムメトリクスをトリガーにして、タスクを自動で増減します。
クラスターキャパシティプロバイダー(EC2モードのみ)はEC2インスタンス数を増減させます。タスクが増えてキャパシティが足りなくなると、Auto ScalingグループにEC2を追加します。Fargateモードではこの概念は不要です。

デプロイ戦略

ローリングアップデートは古いタスクを少しずつ新しいタスクに置き換えます。ECSのデフォルト動作です。
Blue/Greenデプロイ(CodeDeploy連携)は新バージョン(Green)を並行起動し、テスト後にトラフィックを切り替えます。問題があれば即座にロールバックが可能です。本番環境でのリスク低減に効果的です。

ECS vs EKS の使い分け

項目 ECS EKS
オーケストレーター AWS独自 Kubernetes
学習コスト 低い 高い(K8s知識必要)
AWS統合 非常に深い 良好
移植性 AWSに依存 どこでも動く
向いている用途 AWSネイティブ開発 K8s既存資産の移行
Fargate対応 ✅ ✅(EKS on Fargate)

ECR(Elastic Container Registry)との関係

ECSと必ずセットで登場するのがAmazon ECRです。DockerイメージをAWS上でプライベートに管理するコンテナレジストリです。ECSのタスク定義でECRのイメージURLを指定すると、実行ロールを使って自動的にPullされます。イメージのスキャン(脆弱性検出)機能も内蔵されています。

サイドカーパターン

1つのタスクに複数コンテナを含める設計パターンです。メインコンテナの隣に補助的なコンテナ(サイドカー)を配置し、ログ収集・プロキシ・認証などの横断的関心事を分離します。
タスク
├── メインコンテナ(アプリ)
├── Envoy(サービスメッシュ) ← サイドカー
└── CloudWatch Agent(ログ収集) ← サイドカー


Amazon ECR

Amazon ECR(Elastic Container Registry)は、Dockerコンテナイメージをセキュアに保存・管理・デプロイするためのフルマネージドなコンテナレジストリです。Docker Hubのようなサービスのプライベート版をAWS上でフルマネージドで使えるイメージです。

全体構造図

image.png

基本的な使い方

ECRを使う流れは次の4ステップです。

aws ecr get-login-password --region ap-northeast-1 | \
  docker login --username AWS \
  --password-stdin 123456789.dkr.ecr.ap-northeast-1.amazonaws.com

# ② イメージをビルド
docker build -t my-app .

# ③ ECR用にタグ付け
docker tag my-app:latest \
  123456789.dkr.ecr.ap-northeast-1.amazonaws.com/my-app:latest

# ④ ECRにプッシュ
docker push \
  123456789.dkr.ecr.ap-northeast-1.amazonaws.com/my-app:latest

プライベート vs パブリックリポジトリ

プライベートリポジトリは自社のコンテナイメージを安全に管理するためのもので、IAMポリシーとリポジトリポリシーで細かくアクセス制御できます。
パブリックリポジトリ(ECR Public Gallery)は一般公開用のリポジトリで、誰でも認証なしでイメージをPullできます。AWSの公式イメージや、OSSプロジェクトの配布に使われます。

イメージスキャン(セキュリティ機能)

ECRには2種類のスキャン機能があります。
基本スキャン(Basic Scanning)はオープンソースのClair(クレア)を使って既知の脆弱性(CVE)を検出します。プッシュ時に自動スキャン、または手動で実行できます。
拡張スキャン(Enhanced Scanning)はAmazon Inspectorと統合した高精度スキャンです。OSパッケージだけでなく、アプリケーションの依存ライブラリ(Node.jsのnpmパッケージ等)の脆弱性も検出できます。

ライフサイクルポリシー

古いイメージを自動削除するルールを設定できます。ストレージコストを抑えるために重要です。

  "rules": [
    {
      "rulePriority": 1,
      "description": "latestタグ以外の古いイメージを10個まで保持",
      "selection": {
        "tagStatus": "tagged",
        "tagPrefixList": ["v"],
        "countType": "imageCountMoreThan",
        "countNumber": 10
      },
      "action": { "type": "expire" }
    },
    {
      "rulePriority": 2,
      "description": "タグなしイメージを1日後に削除",
      "selection": {
        "tagStatus": "untagged",
        "countType": "sinceImagePushed",
        "countUnit": "days",
        "countNumber": 1
      },
      "action": { "type": "expire" }
    }
  ]
}

クロスリージョン・クロスアカウントレプリケーション

ECRのレプリケーション機能を使うと、イメージを別リージョンや別AWSアカウントに自動で複製できます。DR対策やマルチリージョン展開、開発・本番アカウントの分離に活用できます。

ECSタスク定義でのECR指定

ECSのタスク定義でECRイメージを使う場合、以下のようにイメージURLを指定します。

{
  "containerDefinitions": [
    {
      "name": "my-app",
      "image": "123456789.dkr.ecr.ap-northeast-1.amazonaws.com/my-app:latest",
      "essential": true
    }
  ]
}

ECSの実行ロールに ecr:GetAuthorizationToken と ecr:BatchGetImage 等の権限を付与することで、ECSが自動的にECRからイメージをPullします。

ECR vs Docker Hub 比較

項目 Amazon ECR Docker Hub
プライベートリポジトリ 無制限 無料は1つのみ
AWS統合 ネイティブ(IAM/ECS/EKS) 別途設定必要
セキュリティ VPC内通信・KMS暗号化 インターネット経由
スキャン機能 内蔵(Inspector連携) 有料プランのみ
通信コスト 同一リージョンは無料 インターネット転送料
管理 フルマネージド 自己管理

Kinesis ファミリー全体像

「Kinesisファミリー」の全体像を、試験では混同しやすいので整理しておきます。

サービス 役割
Kinesis Data Streams リアルタイムデータ収集・複数コンシューマーに配信
Amazon Data Firehose データをS3/Redshift等に自動転送(変換・圧縮)
Kinesis Data Analytics ストリームデータをSQLまたはApache Flinkでリアルタイム分析
Kinesis Video Streams 動画ストリームの収集・処理・保存

Amazon Kinesis Data Streams(KDS)

Amazon Kinesis Data Streams(KDS)は、大量のストリームデータをリアルタイムで収集・処理するサービスです。毎秒数十万件のレコードを受け付けられ、複数のコンシューマーが同時に同じデータを読み取れることが特徴です。

全体構造図

image.png

シャード(Shard)の仕組み(最重要)

シャードはKDSの処理単位です。1つのストリームは複数のシャードで構成されます。

シャード1個のキャパシティ
┌────────────────────────────────────────┐
│ 書き込み:1MB/秒 または 1,000レコード/秒 │
│ 読み取り:2MB/秒(最大5回/秒)           │
└────────────────────────────────────────┘

必要なシャード数の計算例:
・データ量 10MB/秒 → 10シャード必要
・レコード数 5,000件/秒 → 5シャード必要
(どちらか大きい方に合わせる)

シャードを増やす(スプリット)・減らす(マージ)ことでスループットを調整できます。

パーティションキーの役割

データを書き込む際に指定する文字列で、どのシャードにデータが格納されるかを決定します。同じパーティションキーのレコードは必ず同じシャードに入るため、順序保証が必要なデータに活用します。

例:userIdをパーティションキーにすると
user001のイベントは常にシャード1へ
user002のイベントは常にシャード2へ
→ ユーザーごとの順序が保証される

データ保持期間

設定 保持期間 用途
デフォルト 24時間 通常のリアルタイム処理
拡張 最大7日間 再処理・障害対応
長期 最大365日 長期分析・コンプライアンス

2つのキャパシティモード

プロビジョンドモードはシャード数を手動で指定します。コストが予測しやすく、大量データを安定して処理したい場合に向いています。
オンデマンドモードはトラフィックに応じてシャード数が自動で増減します。アクセスパターンが予測困難なワークロードや、開発・検証環境に向いています。

コンシューマーの読み取り方式

image.png

KDS vs SQS vs SNS の使い分け(試験頻出)

項目 Kinesis Data Streams SQS SNS
主な用途 ストリームデータ収集・分析 メッセージキュー(非同期) Pub/Sub通知
順序保証 シャード内で保証 FIFOキューで保証 なし
複数コンシューマー ✅ 同時読み取り可 ❌ 1コンシューマーのみ ✅ 複数サブスクライバー
データ保持 24時間〜365日 最大14日 保持なし(即配信)
リプレイ ✅ 可能 ❌ 不可 ❌ 不可
スループット シャード数で調整 ほぼ無制限 ほぼ無制限
向いているケース ログ・クリックストリーム・IoT タスクキュー・ワーカー処理 イベント通知・ファンアウト

Amazon Data Firehose

Amazon Data Firehose(旧称:Kinesis Data Firehose)は、ストリームデータを各種ストレージ・分析サービスに自動で転送するフルマネージドサービスです。「データの配送業者」のようなイメージで、収集したデータを適切な保存先に届けます。サーバー管理・スケーリング・障害対応はすべてAWSが行います。
image.png

バッファリングの仕組み(重要)

Firehoseはデータをすぐに転送せず、一定量たまるか一定時間経過したらまとめて転送します。

バッファリング条件(どちらか先に満たした方でフラッシュ)
┌─────────────────────────────────────┐
│ サイズ条件:1MB〜128MB              │
│ 時間条件 :60秒〜900秒(15分)      │
└─────────────────────────────────────┘
例:サイズ5MB または 300秒 に設定
→ 5MB溜まったか300秒経過したら転送

このバッファリングによりリアルタイムではなく準リアルタイムの配信になります。完全リアルタイムが必要な場合はKinesis Data Streams + カスタムコンシューマーが必要です。

データ変換機能(Lambda連携)

Firehoseはデータを転送する前にLambdaを呼び出してデータを変換できます。

変換の例:
・JSON → Apache Parquet(S3での分析効率UP)
・JSON → ORC(列指向フォーマット)
・不正なレコードのフィルタリング
・フィールドの追加・削除・マスキング
・文字コード変換

ParquetやORCに変換することでS3上のデータをAthenaやRedshift Spectrumで効率よくクエリできます(スキャン量が減りコスト削減)。

対応フォーマットと圧縮

フォーマット変換 圧縮
JSON(デフォルト) GZIP
Apache Parquet Snappy
Apache ORC ZIP
独自フォーマット(Lambda変換) HADOOP_SNAPPY

KDS vs Firehose の使い分け(試験最頻出)

image.png
よく使われるパイプライン構成

① ストリーム収集 → S3 → 分析

アプリ → KDS → Firehose(Parquet変換)→ S3 → Redshift Spectrum/Athena

② ログ収集 → OpenSearch(可視化)

EC2ログ → Firehose → OpenSearch → Kibanaダッシュボード

③ イベント → Redshift(DWH直接ロード)

EventBridge → Firehose → S3(中間) → Redshift(COPYコマンド)

④ WAFログ → S3(セキュリティ監査)

WAF → Firehose → S3(長期保存・監査ログ)

料金モデル

Firehoseは転送したデータ量に応じた従量課金です。シャードやサーバーの管理コストがなく、使った分だけ支払います。データ変換(Lambda呼び出し)や形式変換(Parquet等)には追加料金が発生します。


Amazon Redshift Spectrum

Amazon Redshift Spectrum は、S3に保存されたデータをRedshiftクラスターからデータをロードせずに直接SQLでクエリできる機能です。S3をデータレイクとして使いながら、RedshiftのMPP(大規模並列処理)エンジンでペタバイト規模の分析が可能です。

通常のRedshift vs Redshift Spectrum

image.png

使い方:外部テーブルの作成

Spectrumを使うには、まずGlueデータカタログと連携した「外部スキーマ」と「外部テーブル」を作成します。

-- ① 外部スキーマの作成(Glueカタログと紐付け)
CREATE EXTERNAL SCHEMA spectrum_schema
FROM DATA CATALOG
DATABASE 'my_glue_database'
IAM_ROLE 'arn:aws:iam::123456789:role/MyRedshiftRole'
CREATE EXTERNAL DATABASE IF NOT EXISTS;

-- ② 外部テーブルの作成(S3のデータを定義)
CREATE EXTERNAL TABLE spectrum_schema.clickstream (
  user_id    VARCHAR(50),
  event_type VARCHAR(50),
  timestamp  BIGINT,
  page_url   VARCHAR(200)
)
PARTITIONED BY (dt VARCHAR(10))          -- パーティション定義
STORED AS PARQUET                         -- フォーマット指定
LOCATION 's3://my-datalake/clickstream/'; -- S3パス

-- ③ 通常のSQLでクエリ(S3のデータを直接集計)
SELECT
  event_type,
  COUNT(*) AS cnt,
  COUNT(DISTINCT user_id) AS unique_users
FROM spectrum_schema.clickstream
WHERE dt = '2024-01-15'                  -- パーティションで絞り込み
GROUP BY event_type
ORDER BY cnt DESC;

パーティショニング(コスト最適化の要)

S3上のデータをフォルダ構造で分割しておくと、クエリ時のスキャン量を大幅に削減できます。

パーティション構造の例(日付・リージョンで分割)
s3://my-datalake/clickstream/
  dt=2024-01-01/region=ap-northeast-1/data.parquet
  dt=2024-01-01/region=us-east-1/data.parquet
  dt=2024-01-02/region=ap-northeast-1/data.parquet
  ...

WHERE dt = '2024-01-01' AND region = 'ap-northeast-1'
→ 該当フォルダのみスキャン(他は読まない)
→ スキャン量↓ = コスト↓ & 速度↑

対応ファイルフォーマット

フォーマット 特徴 推奨度
Parquet 列指向・高圧縮・高速 ⭐⭐⭐最推奨
ORC 列指向・高圧縮 ⭐⭐⭐
JSON 可読性高い・スキャン効率低 ⭐
CSV シンプル・スキャン効率低 ⭐
Avro 行指向・スキーマ進化対応 ⭐⭐
ParquetやORCのような列指向フォーマットを使うと、必要な列だけ読み込むため、スキャン量が劇的に減りコストと速度が改善します。

Redshift Spectrum vs Amazon Athena(試験頻出)

両方とも「S3上のデータをSQLでクエリ」できるサービスですが、使い分けがあります。

項目 Redshift Spectrum Amazon Athena
前提条件 Redshiftクラスターが必要 不要(サーバーレス)
クエリエンジン Redshift MPPP resto/Trino
ローカルデータとの結合 ✅ Redshift内部テーブルと結合可 ❌ S3のみ
パフォーマンス 高い(MPP) 良好
コスト クラスター料金+スキャン料金 スキャン料金のみ
向いている用途 既存Redshiftと組み合わせた分析 アドホック分析・シンプルな構成

Redshift Spectrum + Redshift の組み合わせクエリ

SpectrumはRedshift内部テーブルとS3外部テーブルを1つのSQLで結合できます。これが最大の強みです。

-- 直近データ(Redshift内部)と履歴データ(S3/Spectrum)を結合
SELECT
  u.user_name,
  SUM(s.clickstream_count) AS total_clicks
FROM
  internal_users u                              -- Redshift内部テーブル
  JOIN spectrum_schema.clickstream s            -- S3上の外部テーブル
    ON u.user_id = s.user_id
WHERE
  s.dt BETWEEN '2023-01-01' AND '2024-01-01'   -- 1年分の履歴データ
GROUP BY u.user_name
ORDER BY total_clicks DESC;

料金モデル

Spectrum の料金はスキャンしたデータ1TBあたり約5USDです。Parquet/ORCフォーマットとパーティショニングを活用してスキャン量を減らすことがコスト最適化の鍵です。

コスト削減の公式:
Parquet変換(列指向)× パーティション絞り込み
= スキャン量を最大99%削減可能

AWS ParallelCluster

AWS ParallelCluster は、HPC(ハイパフォーマンスコンピューティング)クラスターをAWS上に自動構築・管理するオープンソースツールです。本来であれば数日かかるクラスター構築を、設定ファイル(YAML)1つとコマンド1つで完了できます。

全体構造図

image.png

主要コンポーネント詳細

ヘッドノード(Head Node)

クラスター全体の司令塔です。常時起動しているEC2インスタンスで、ユーザーはSSHでここにログインしてジョブを投入します。内部でSlurmなどのジョブスケジューラーが動いており、どのジョブをどのコンピュートノードで実行するかを管理します。

コンピュートノード(Compute Nodes)

実際の計算処理を担うEC2インスタンス群です。ジョブがないときはゼロ台まで縮小でき(コスト削減)、ジョブが来たら自動で起動します。GPUインスタンス(p4d、p3など)や、HPC専用インスタンス(hpc7gなど)を使うのが一般的です。

EFA(Elastic Fabric Adapter)

ノード間通信の要です。通常のTCP/IP通信と違い、OSのネットワークスタックを迂回(OS-bypass)して直接ハードウェアレベルで通信するため、レイテンシが桁違いに低くなります。MPIライブラリ(OpenMPI、Intel MPIなど)と組み合わせて使います。

ジョブスケジューラーの種類

スケジューラー 特徴 主な用途
Slurm 最も広く使われる標準的なOSS 汎用HPC
AWS Batch AWSマネージド型 クラウドネイティブ
SGE 旧来のHPC環境で多い レガシー移行

ストレージの使い分け

FSx for Lustre

並列分散ファイルシステムで、数百GByte/sの読み書きが可能です。
計算中にコンピュートノード全台が同時にアクセスするデータ(モデルのパラメータ、シミュレーション中間結果など)に使います。

Amazon EFS

NFSベースの共有ファイルシステムで、ホームディレクトリや設定ファイルの共有に使います。

Amazon S3

ジョブの入力データや最終結果の長期保存に使います。

コスト最適化:Spot インスタンスの活用

コンピュートノードにはSpotインスタンスを使うことで、On-Demandと比べて最大90%のコスト削減が可能です。
ジョブが中断された場合のチェックポイント(再開)機能と組み合わせるのが一般的です。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?