1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AWSの基本がすべてわかる

1
Posted at

AIエンジニアとして知っておくべきAWSサービス一覧

AIエンジニアがAWSを扱う場合、全サービスを覚える必要はありません。

まずは以下のカテゴリを理解すると、実務の大半をカバーできます。

1. 基盤インフラ

VPC

仮想ネットワーク

AWSアカウント
    ↓
VPC
    ↓
Subnet
    ↓
EC2

知るべき内容

  • CIDR
  • Public Subnet
  • Private Subnet
  • Route Table
  • Internet Gateway (IGW)
  • NAT Gateway
  • Security Group
  • Network ACL (NACL)

AIシステムでも必須知識です。

EC2

仮想サーバ

GPUインスタンス
↓
LLMサーバ

代表例

  • g4dn
  • g5
  • p4
  • p5

用途

  • LLM推論サーバ
  • バッチ処理
  • APIサーバ
  • GPU学習

EBS

EC2用ブロックストレージ

EC2
 ↓
EBS

用途

  • モデル保存
  • ベクトルDB保存
  • 学習データ保存

IAM

権限管理

EC2
 ↓
S3アクセス許可

知るべき内容

  • User
  • Group
  • Role
  • Policy

実務ではほぼ毎日見るサービスです。

2. コンテナ

AIシステムでは必須

ECR

Dockerイメージ保存

Docker Build
    ↓
ECR

用途

  • Dockerイメージ保管
  • ECS/EKSへのデプロイ

ECS

Docker実行サービス

ECS
 ↓
Container

特徴

  • Kubernetes不要
  • 学習コストが低い
  • 小〜中規模向け

EKS

Kubernetesサービス

EKS
 ↓
Pod
 ↓
Container

特徴

  • Kubernetes運用
  • 大規模システム向け
  • AI基盤で頻出

知識優先度は非常に高い

Fargate

サーバレスコンテナ

Container
↓
AWSがサーバ管理

特徴

  • EC2不要
  • 運用負荷が低い

3. ストレージ

S3

最重要サービス

画像
動画
PDF
学習データ
モデル

全部保存可能

用途

  • RAG文書
  • 学習データ
  • 画像データ
  • 動画データ
  • モデルファイル

知識優先度:最高

EFS

共有ファイルストレージ

EC2 A
EC2 B
  ↓
 EFS

用途

  • モデル共有
  • 学習結果共有

4. データベース

RDS

リレーショナルDB

対応

  • PostgreSQL
  • MySQL
  • MariaDB
  • SQL Server

用途

ユーザー情報
課金情報
履歴

DynamoDB

NoSQL

JSON
Key-Value

特徴

  • 高速
  • フルマネージド
  • サーバレス

ElastiCache

Redisサービス

用途

会話履歴
キャッシュ
セッション管理

LLMチャットでよく利用

5. AI・機械学習

AIエンジニアの主戦場

SageMaker

AWSの機械学習基盤

できること

  • 学習
  • 推論
  • デプロイ
  • MLOps
データ
 ↓
学習
 ↓
モデル
 ↓
エンドポイント

Bedrock

生成AIサービス

最重要

利用可能モデル例

  • Claude
  • Llama
  • Nova
  • Mistral
  • Titan

bedrock.invoke_model()

OpenAI API感覚で利用可能

用途

  • チャット
  • 要約
  • RAG
  • エージェント

Amazon Q

AWS版AIアシスタント

用途

  • コード生成
  • AWS設計支援
  • ドキュメント検索

Rekognition

画像認識

できること

  • 顔認識
  • 物体認識
  • OCR
  • ラベル付け

Textract

OCR

PDF
 ↓
文字抽出

RAG構築で頻出

Comprehend

自然言語処理

機能

  • 感情分析
  • キーワード抽出
  • エンティティ抽出

Transcribe

音声→文字

音声
 ↓
テキスト

Polly

文字→音声

テキスト
 ↓
音声

6. データ分析

データサイエンティストなら重要

Athena

S3に対してSQL実行

SELECT *
FROM s3_data

実際にはGlue Catalog経由

Glue

ETLサービス

S3
 ↓
Glue
 ↓
整形

用途

  • データ加工
  • データパイプライン

EMR

Hadoop / Spark環境

用途

  • 分散処理
  • 大規模データ分析

Kinesis

ストリーム処理

IoT
ログ
クリックデータ

リアルタイム分析で利用

Redshift

データウェアハウス

大量データ
 ↓
分析

BIツール連携で利用

7. サーバレス

Lambda

最重要

関数実行サービス

def handler(event, context):
    return "Hello"

用途

  • API処理
  • バッチ処理
  • AI推論前処理
  • イベント処理

API Gateway

API公開

API Gateway
 ↓
Lambda

用途

  • REST API
  • Web API
  • AIサービス公開

Step Functions

ワークフロー管理

OCR
 ↓
LLM
 ↓
要約
 ↓
保存

用途

  • AIパイプライン
  • バッチ制御

8. 監視

CloudWatch

ログと監視

用途

CPU
メモリ
エラー
ログ

確認できる内容

  • メトリクス
  • ログ
  • アラーム

CloudTrail

監査ログ

誰が
何を
したか

セキュリティ監査で必須

9. メッセージング

SQS

キュー

Producer
 ↓
SQS
 ↓
Consumer

AI推論の非同期処理でよく使う

SNS

通知

異常検知
 ↓
SNS
 ↓
メール

用途

  • メール通知
  • Slack通知
  • システム通知

10. AIエンジニア向け優先順位

最優先(必須)

  • IAM
  • VPC
  • EC2
  • S3
  • Lambda
  • CloudWatch
  • ECR
  • ECS
  • EKS
  • Bedrock

AI開発で頻出

  • SageMaker
  • Textract
  • Rekognition
  • Athena
  • Glue
  • DynamoDB
  • RDS
  • SQS

RAG開発で頻出

  • S3
  • Bedrock
  • Lambda
  • ECS
  • EKS
  • OpenSearch Service
  • Textract
  • Athena
  • DynamoDB

OpenSearch Service(重要)

ベクトル検索サービス

PDF
 ↓
Embedding
 ↓
OpenSearch
 ↓
Vector Search

RAG構築では非常によく利用される

AIエンジニア向け学習ロードマップ

IAM
 ↓
VPC
 ↓
EC2
 ↓
S3
 ↓
Lambda
 ↓
CloudWatch
 ↓
ECR
 ↓
ECS
 ↓
EKS
 ↓
Bedrock
 ↓
SageMaker
 ↓
OpenSearch
 ↓
Step Functions

実務でよくある生成AIアーキテクチャ

User
 ↓
API Gateway
 ↓
Lambda
 ↓
Bedrock
 ↓
Claude

      ↓
OpenSearch
      ↑
Embedding
      ↑
Textract
      ↑
PDF(S3)

これはAWSでRAGシステムを構築する際の代表的な構成例です。

まず覚えるべき10サービス

  1. IAM
  2. VPC
  3. EC2
  4. S3
  5. Lambda
  6. CloudWatch
  7. ECR
  8. ECS
  9. EKS
  10. Bedrock

この10サービスを理解すると、AWS上でのLLM・RAG・生成AIシステムの設計〜開発〜運用の大部分をカバーできます。

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?