Python
AWS
スクレイピング

AWSサービス一覧(2019/01版)

2019年1月13日現在、AWSのサイトの上部メニューの「製品」からサービスが確認できますが

作りがおしゃれすぎて、見づらいですよね。

1/20更新

たくさんのいいねをいただきましたので、第2段を書きました

AWSのサービスの東京リージョン、大阪ローカルリージョンの対応状況

https://qiita.com/moritalous/items/a3faef86c4ebfef07704

なので、一覧を作りました。

また参考までに一覧をどうやって作ったかも書いておきます。


AWSサービス一覧


分析

サービス名
説明

Amazon Athena
SQL を使用した S3 でのデータクエリ

Amazon CloudSearch
マネージド型検索サービス

Amazon EMR
ホスト型 Hadoop フレームワーク

Amazon Elasticsearch Service
Elasticsearch クラスターを実行し、スケールする

Amazon Kinesis
リアルタイムストリーミングデータとの連携

Amazon Managed Streaming for Kafka
完全マネージド型 Apache Kafka サービス

Amazon Redshift
高速、シンプル、費用対効果の高いデータウェアハウジング

Amazon QuickSight
高速ビジネス分析サービス

AWS Data Pipeline
定期的なデータ駆動型ワークフローに対するオーケストレーションサービス

AWS Glue
データの準備とロード

AWS Lake Formation
セキュアなデータレイクを数日で構築


アプリケーション統合

サービス名
説明

AWS Step Functions
分散アプリケーションの調整

Amazon MQ
ActiveMQ 向けマネージド型メッセージブローカーサービス

Amazon Simple Notification Service (SNS)
Pub/Sub のマネージドメッセージトピック

Amazon Simple Queue Service (SQS)
マネージド型メッセージキュー

AWS AppSync
オフライン機能を備えた、データに基づくアプリケーションをリアルタイムに構築


AR およびバーチャルリアリティ

サービス名
説明

Amazon Sumerian
VR および AR アプリケーションの構築と実行


AWS コスト管理

サービス名
説明

AWS Cost Explorer
AWS のコストと使用状況を分析する

AWS 予算
カスタムコストと使用予算を設定する

AWS のコストと使用状況レポート
包括的なコストと使用状況情報へのアクセス

リザーブドインスタンスレポート
リザーブドインスタンス (RI) の詳細を把握する


ブロックチェーン

サービス名
説明

Amazon Managed Blockchain
スケーラブルなブロックチェーンネットワークを作成および管理

Amazon Quantum Ledger Database (QLDB)
フルマネージド型台帳データベース


ビジネスアプリケーション

サービス名
説明

Alexa for Business
Alexa を使って組織を強化

Amazon Chime
フラストレーションフリーの会議、ビデオ電話、チャット

Amazon WorkDocs
エンタープライズ向けストレージおよび共有サービス

Amazon WorkMail
セキュリティで保護されたマネージド型の企業向け E メールおよびカレンダー


コンピューティング

サービス名
説明

Amazon EC2
クラウド内の仮想サーバー

Amazon EC2 Auto Scaling
需要に合わせてコンピューティング性能をスケール

Amazon Elastic Container Registry
Docker イメージの保存と取得

Amazon Elastic Container Service
Docker コンテナを実行および管理

Amazon Elastic Container Service for Kubernetes
AWS でマネージド Kubernetes を実行

Amazon Lightsail
仮想プライベートサーバーを起動および管理

AWS Batch
あらゆる規模でバッチジョブを実行

AWS Elastic Beanstalk
ウェブアプリの実行と管理

AWS Fargate
サーバーやクラスターの管理が不要なコンテナの使用

AWS Lambda
イベント発生時にコードを実行

AWS Outposts
AWS サービスをオンプレミスで実行

AWS Serverless Application Repository
サーバーレスアプリケーションを検索、デプロイ、公開する

Elastic Load Balancing (ELB)
複数のターゲットにわたって入ってくるトラフィックの分配

VMware Cloud on AWS
カスタムハードウェアを使用せずにハイブリッドクラウドを構築する


カスタマーエンゲージメント

サービス名
説明

Amazon Connect
クラウドベースのコンタクトセンター

Amazon Pinpoint
E メール、SMS、プッシュメッセージを使用したユーザー対応

Amazon Simple Email Service (SES)
E メールの送受信


データベース

サービス名
説明

Amazon Aurora
高性能マネージドリレーショナルデータベース

Amazon DynamoDB
マネージド型 NoSQL データベース

Amazon ElastiCache
インメモリキャッシングシステム

Amazon Neptune
完全マネージド型グラフデータベースサービス

Amazon Quantum Ledger Database (QLDB)
フルマネージド型台帳データベース

Amazon RDS
MySQL、PostgresSQL、Oracle、SQL Server、MariaDB 向けのマネージドリレーショナルデータベースサービス

Amazon RDS on VMware
オンプレミスデータベースの管理を自動化

Amazon Redshift
高速、シンプル、費用対効果の高いデータウェアハウジング

Amazon Timestream
完全マネージド型の時系列データベース

AWS Database Migration Service
最小限のダウンタイムでデータベースを移行


デスクトップとアプリケーションのストリーミング

サービス名
説明

Amazon WorkSpaces
デスクトップコンピューティングサービス

Amazon AppStream 2.0
デスクトップアプリケーションを安全にブラウザへストリーミングするサービスです


開発者用ツール

サービス名
説明

AWS CodeStar
AWS アプリケーションの開発とデプロイ

Amazon Corretto
本番環境に向けて OpenJDK を配信

AWS Cloud9
Cloud IDE でコードを記述、実行、デバッグ

AWS CodeBuild
コードのビルドとテスト

AWS CodeCommit
プライベート Git リポジトリでのコードの保存

AWS CodeDeploy
コードデプロイの自動化

AWS CodePipeline
継続的デリバリーを使用したソフトウェアのリリース

AWS コマンドラインインターフェイス
AWS サービスを管理するための統合ツール

AWS のツールと SDK
AWS のツールと SDK

AWS X-Ray
アプリケーションの分析とデバッグ


Game Tech

サービス名
説明

Amazon GameLift
シンプルで高速な費用対効果の高い専用ゲームサーバーホスティング

Amazon Lumberyard
AWS や Twitch と統合された完全なソースを利用できる、無料のクロスプラットフォーム 3D ゲームエンジンです。


IoT(モノのインターネット)

サービス名
説明

AWS IoT Core
デバイスをクラウドに接続

Amazon FreeRTOS
マイクロコントローラー向け IoT オペレーティングシステム

AWS Greengrass
デバイスのローカルでのコンピューティング、メッセージング、および同期

AWS IoT 1-Click
AWS Lambda トリガーのワンクリック作成

AWS IoT Analytics
IoT デバイスの分析

AWS IoT ボタン
クラウドのプログラミング可能なダッシュボタン

AWS IoT Device Defender
IoT デバイスのセキュリティ管理

AWS IoT Device Management
IoT デバイスのオンボード、編成、リモート管理

AWS IoT Events
IoT イベントを検出し、対応

AWS IoT SiteWise
IoT データコレクターおよびインタプリタ

AWS IoT Things Graph
デバイスおよびウェブサービスを簡単に接続

AWS パートナーデバイスカタログ
AWS 互換の IoT ハードウェアの精選カタログ


Machine Learning

サービス名
説明

Amazon SageMaker
機械学習モデルを大規模に構築、トレーニング、デプロイ

Amazon Comprehend
テキストのインサイトや関係性を検出

Amazon Elastic Inference
深層学習の推論を高速化

Amazon Forecast
機械学習を使用して予測の精度を向上させる

Amazon Lex
音声やテキストに対応するチャットボットの構築

Amazon Personalize
アプリケーションにリアルタイムの推奨を構築する

Amazon Polly
テキストを生きた話し声に変換

Amazon Rekognition
イメージとビデオを分析

Amazon SageMaker Ground Truth
精度の高い機械学習トレーニングデータセットの構築

Amazon Textract
ドキュメントからテキストやデータを抽出する

Amazon Translate
自然で流ちょうな言語翻訳

Amazon Transcribe
自動音声認識

AWS 深層学習 AMI
EC2 で今すぐ深層学習を始める

AWS DeepLens
深層学習に対応したビデオカメラ

AWS DeepRacer
機械学習が運転する 18 分の 1 のスケールの自律走行型レースカー

AWS Inferentia
機械学習推論チップ

AWS での Apache MXNet
スケーラブルでパフォーマンスに優れた深層学習

AWS での TensorFlow
オープンソースの Machine Intelligence Library


マネジメントとガバナンス

サービス名
説明

Amazon CloudWatch
リソースとアプリケーションのモニタリング

AWS Auto Scaling
需要に合わせて複数のリソースをスケール

AWS CloudFormation
テンプレートを使ったリソースの作成と管理

AWS CloudTrail
ユーザーアクティビティと API 使用状況の追跡

AWS コマンドラインインターフェイス
AWS サービスを管理するための統合ツール

AWS Config
リソースのインベントリと変更の追跡

AWS Control Tower
安全かつ基準に準拠した複数のアカウント環境をセットアップおよび管理

AWS コンソールモバイルアプリケーション
リソースの状態を外出先で確認

AWS License Manager
ライセンス使用の追跡、管理、制御

AWS マネジメントコンソール
ウェブベースのユーザーインターフェイス

AWS マネージドサービス
AWS のインフラストラクチャ運用管理

AWS OpsWorks
Chef や Puppet を使って運用を自動化する

AWS Personal Health Dashboard
AWS のサービス状態のパーソナライズされた表示

AWS Service Catalog
標準化された製品の作成および使用

AWS Systems Manager
運用時の洞察を改善し、実行

AWS Trusted Advisor
パフォーマンスとセキュリティの最適化

AWS Well-Architected Tool
ワークロードの見直しと改善


メディアサービス

サービス名
説明

Amazon Elastic Transcoder
スケーラブルで使いやすいメディア変換サービス

Amazon Kinesis Video Streams
ビデオストリームの処理と分析

AWS Elemental MediaConnect
信頼性と安全性に優れたライブ動画転送

AWS Elemental MediaConvert
ファイルベースのビデオコンテンツを変換

AWS Elemental MediaLive
ライブビデオコンテンツを変換

AWS Elemental MediaPackage
動画の発信とパッケージ化

AWS Elemental MediaStore
メディアストレージとシンプルな HTTP オリジン

AWS Elemental MediaTailor
動画のパーソナライズと収益化


移行と転送

サービス名
説明

AWS Migration Hub
複数の移行を 1 か所で追跡

AWS Application Discovery Service
オンプレミスのアプリケーションを検出して合理的に移行

AWS Database Migration Service
最小限のダウンタイムでデータベースを移行

AWS DataSync
シンプルかつ高速なオンラインデータ転送

AWS Server Migration Service
AWS へのオンプレミスサーバーの移行

AWS Snow ファミリー
AWS との間でデータを移行するための物理的デバイス

AWS Transfer for SFTP
フルマネージド型 SFTP サービス


モバイル

サービス名
説明

AWS Amplify
モバイルアプリケーションとウェブアプリケーションの構築とデプロイ

Amazon API Gateway
API を構築、デプロイ、管理

Amazon Pinpoint
モバイルアプリケーション向けのプッシュ通知

AWS AppSync
リアルタイムのオフラインモバイルデータアプリケーション

AWS Device Farm
Cloud における実機での Android、Fire OS および iOS アプリのテスト


ネットワーキングとコンテンツ配信

サービス名
説明

Amazon VPC
独立したクラウドリソース

Amazon API Gateway
API を構築、デプロイ、管理

Amazon CloudFront
グローバルコンテンツ配信ネットワーク

Amazon Route 53
スケーラブルなドメインネームシステム (DNS)

Amazon VPC PrivateLink
AWS でホストされているサービスに安全にアクセス

AWS App Mesh
マイクロサービスをモニタリングおよびコントロールする

AWS Cloud Map
マイクロサービス向けのアプリケーションリソースレジストリ

AWS Direct Connect
AWS への専用ネットワーク接続

AWS Global Accelerator
アプリケーションの可用性とパフォーマンスを向上

AWS Transit Gateway
VPC およびアカウント接続を簡単にスケール


ロボット工学

サービス名
説明

AWS RoboMaker
ロボット工学アプリケーションの開発、テスト、デプロイ


人工衛星

サービス名
説明

AWS Ground Station
サービスとしての完全マネージド型地上局


セキュリティ、アイデンティティ、コンプライアンス

サービス名
説明

AWS Identity and Access Management (IAM)
ユーザーアクセスと暗号化キーの管理

Amazon Cloud Directory
柔軟性の高いクラウドネイティブディレクトリの作成

Amazon Cognito
アプリの ID 管理

Amazon GuardDuty
マネージド型脅威検出サービス

Amazon Inspector
アプリケーションのセキュリティの分析

Amazon Macie
データの検出、分類、保護

AWS Artifact
AWS のコンプライアンスレポートへのオンデマンドアクセス

AWS Certificate Manager
SSL/TLS 証明書のプロビジョン、管理およびデプロイ

AWS CloudHSM
法令遵守のためのハードウェアベースキーストレージ

AWS Directory Service
Active Directory のホスティングと管理

AWS Firewall Manager
ファイアウォールルールの一元管理

AWS Key Management Service
マネージド型の暗号化キー作成と管理

AWS Organizations
複数の AWS アカウントをポリシーベースで管理

AWS Secrets Manager
機密情報のローテーション、管理、取得

AWS Security Hub
統合されたセキュリティ & コンプライアンスセンター

AWS Shield
DDoS 保護

AWS Single Sign-On
クラウドシングルサインオン (SSO) サービス

AWS WAF
悪意のあるウェブトラフィックのフィルター


ストレージ

サービス名
説明

Amazon Simple Storage Service (S3)
スケーラブルなクラウドストレージ

Amazon Elastic Block Store (EBS)
EC2 ブロックストレージボリューム

Amazon Elastic File System (EFS)
EC2 用フルマネージド型ファイルシステム

Amazon FSx for Lustre
完全マネージド型のコンピューティング集約型ファイルシステム

Amazon FSx for Windows ファイルサーバー
完全マネージド型 Windows ネイティブのファイルシステム

Amazon Glacier
クラウド内の低コストなアーカイブストレージ

AWS Snow ファミリー
AWS との間でデータを移行するための物理的デバイス

AWS Storage Gateway
ハイブリッドストレージの統合


スクレイピング方法

Pythonでやりました。

import requests

from bs4 import BeautifulSoup
import copy

def parse_html():
url = 'https://aws.amazon.com/jp'
r = requests.get(url)
soup = BeautifulSoup(r.content, 'lxml')

groups = []

for div1 in soup.select('div.lb-item-expander-cortex'):

for div2 in div1.select('div.lb-item-wrapper'):
service = []

# genre
genre = div2.a.text.strip()

for div3 in div2.select('div.lb-content-item'):
s = {}

div4 = copy.copy(div3)

# href
s['href'] = div4.a.get('href').strip()

# description
for span in div4.select('span'):
s['description'] = span.text.strip()
break

# name
div4.span.replaceWith('')
s['name'] = div4.text.strip()

service.append(s)

if len(service) > 0:
group = {}
group['genre'] = genre
group['service'] = service
groups.append(group)

return groups

def print_markdown(services):
base_url = 'https://aws.amazon.com'

for s in services:
# print('----------')
print ('### %s' % (s['genre']))
# print('----------')

print()
print('| サービス名 | 説明 |')
print('| --- | --- |')

for service in s['service']:
name = service['name']
description = service['description']
if (service['href'].startswith('/')) :
href = base_url + service['href']
else:
href = service['href']

print('| [%s](%s) | %s |'% (name, href, description))
print()

print_markdown(parse_html())


参考サイト

https://qiita.com/h1na/items/d305d49b5a27e92d132a

https://qiita.com/itkr/items/513318a9b5b92bd56185