はじめに
2018/12/11(火)の「AWS re:Invent 2018 ダイジェスト 〜 AWS の最新動向を学ぶ」に参加してきました!
AWSのre:Inventのサービス発表はウォッチしていましたが、今年は100以上のさまざまなサービスの発表に多少なりとも触れることができ、心躍りました。
その中でも気になったサービスについてご紹介します!
re:Invent とは
サービス内容に触れる前に、そもそもre:Inventとは?
- Amazon Web Servicesの年次イベントで2018 年 11 月 26 日~11 月 30 日にかけて米ラスベガスで開催。
- AWSの新サービスや既存のサービスのアップデートを行うAWS最大のカンファレンス。
- AWS re:Inventは技術者向けの内容で、ビジネスに責任を持つ方も含めて幅広い学びを提供する。
- これに対し、AWS Summitがビジネス向けの内容。
re:Invent 2018概要
- 100以上のサービスが発表(2017は40以上)
- 中心となるセッション
- Midnight Madness
- Monday Night Live
- Global Partner Summit 基調講演
- Andy Jassyによる基調講演
- Dr.Warner Vogelsによる基調講演
- アジェンダ詳細
AWSからのメッセージ
- Builders
- ITを駆使してものづくりを行う人の総称
- プログラマやインフラエンジニアだけでなく、UXデザイナーも含む
- これらの人たちに必要なツールを提供するのがAWSのミッション
- "I want it all and I want it now."(クイーンの曲のワンフレーズ)
Network
AWSのグローバルネットワーク
割と常識的なことですが改めて。
- アベイラビリティゾーン
- 複数のデータセンターから構成されている。
- 東京リージョンの場合は、4つで構成されている。
- 他のベンダーでは、一つのデータセンターの中に複数のアベイラビリティゾーンが構成されている場合もある。
インターリージョンVPCピアリング
2018年2月から東京リージョンでも使えるにようなった機能。
- 異なるリージョン間でプライベートIP接続を実現するインターリージョンVPCピア接続。
- AWS Direct Connect Gateway
- 単一の接続で、他のリージョンへの接続もできる(中国を除く)
参考:
https://dev.classmethod.jp/cloud/aws/inter-region-vpc-peering-available-tokyo/
https://dev.classmethod.jp/cloud/aws/direct-connect-gateway/
AWS Global Accelerator
- 世界中の顧客に提供するアプリケーションの可用性とパフォーマンスを改善するネットワークサービス
- クライアント用の各リージョンのエンドポイントをDNSに登録し、クライアントに適したIPを返却しなくとも良い(例えばRoute 53のGeo Routingを使うなど)。
参考:
https://aws.amazon.com/jp/global-accelerator/
https://aws.amazon.com/jp/blogs/news/new-aws-global-accelerator/
https://dev.classmethod.jp/cloud/aws/reinvent2018-net330-global-accelerator/
Data Transfer
AWS DataSync
- エージェントを介してオンプレミスのデータをAWS上にアップロードする
- オープンソースのツールの場合と比べて最大 10 倍の速さでデータを転送(具体的に比較しているものは不明)
参考:
https://aws.amazon.com/jp/datasync/
https://aws.amazon.com/jp/blogs/news/new-aws-datasync-automated-and-accelerated-data-transfer/
https://dev.classmethod.jp/cloud/aws/new-release-aws-datasync/
AWS Transfer for SFTP
- S3 APIを利用することなくSFTPでS3バケット にアクセスできる。
- AWS SFTPを使用すると、以下2点で料金が発生。S3はダウンロード時のみに課金
- SFTPサーバーエンドポイントの使用料金
- $0.3/Hour
- データのアップロードとダウンロード
- $0.04/GB
- SFTPサーバーエンドポイントの使用料金
参考:
https://aws.amazon.com/jp/sftp/
https://dev.classmethod.jp/cloud/aws/reinvent2018-release-aws-transfer-for-sftp/
https://qiita.com/s-katsumata/items/d5f325c317b909e017d5
https://dev.classmethod.jp/cloud/aws/try-aws-transfer-for-sftp/
Database
Amazon Aurora のベンチマーク
- MySQLではread/writeの性能向上。特にwrite
- PostgreSQLとのBulk data load性能比較。vacuum処理が大幅に高速化
- Aurora Serverlessは負荷の増加に対しては速くスケールアップし、スケールダウンはゆっくりと行われる。
参考:
https://dev.classmethod.jp/cloud/aws/dat204-whats-new-in-amazon-aurora/
Amazon S3 Glacier Deep Archive
- S3よりも安価なストレージサービス
- データの取り出しに時間がかかる
- データ取り出しは標準で12時間かかる
- Glacierよりも遅く、監査ログの保存などに向いている。
新しいデータベースサービス
- Amazon Quantum Leger Database(QLDB)
- Amazon Managed Blockchain
- Amazon Timestream
Amazon Quantum Leger Database(QLDB)
- フルマネージドな台帳データベース
- すべてのデータ変更を正確に順序づけられたエントリーとして格納。
- 内部的には追記のみが行われ、各エントリーは変更不可能
- 従来の台帳データベースよりも2〜3倍のスループットが出る。
QLDBのユースケース
- ヘルスケア
- 政府機関(車の車体番号管理)
- 製造業(リコースされた製品の製造履歴を追跡)
- 人事部門(重病院プロフィールへの変更を追跡)
既存技術の台帳を実現する際の課題
- RDBMSでの監査テーブル
- プロシージャの作成/管理
- 管理者による変更/削除
- ブロックチェーン
- 不必要な複雑さ
- 低いスループット
- 複雑メンテナンス
QLDBの機能まとめ
- 追加のみできるジャーナルデータを保存
- 暗号化ハッシュ関数を利用したトランザクションの整合性検証が可能
- サーバーレス
- SQLライクな文法
- ドキュメント型データモデル
- ACIDサポート
Amazon Managed Blockcain
- ブロックチェーンネットワークを構築可能
- バックエンドにQLDBを使用可能
- Low Cost
QLDB とManaged Blockchainの違い
- Amazon QLDB
- 信頼された中央機関が必要
- 台帳は信頼された中央機関が所有
- Amazon Managed Blockchain
- QLDBの逆
Amazon Timestream
- 大量に発生する時系列データの追加に特化したデータベース
- RDBMSに比べて1/10のコストで1000倍高速
- 1日数兆件のイベントを処理
- ITシステムや工業製品といった接続デバイスからデータを収集(IoT)
- 時系列データを効率的に格納、処理。
- 用途
- IoTアプリケーション(使用していない場合ライトオフ)
- 産業用テレメトリ(産業期間の保守)
- DevOps(アプリ、サーバー監視データをリアルタイムで分析)
AI/Machine Learning
強化学習
- re:Invent の中でも大きなアップデート!!
- 教師あり学習 ラベル付きの学習。データを利用
- 教師なし学習 ラベルなしの学習。データを利用
- 強化学習 報酬が最大化するように学習
- 強化学習のためのSageMakerのサポート
Amazon SageMaker
- データサイエンティストがすばやく機械学習システムを構築することのできるサービス。
- 機械学習を開発、学習、推論のステップに分け、それぞれをサポート。
- Juper Note Bookをベースとしている。
- AWS Machine Learning Services Stack
- AI Service
- ML Service <- Sage Maker はここ
- ML Frameworks & Infrastructure
参考:
https://aws.amazon.com/jp/sagemaker/
AWS DeepRacer
- SageMakerで強化学習、実機のラジコンカーにデプロイ・自動運転を試すマネージドサービス。
- 強化学習を楽しみながら体験・学習することを目的としている。
- ラジコンカーには画像解析のレンズがついている。
- 米国のAmazon.comで販売しているが、日本ではまだ未発売。
- すごくおもしろそう!
参考:
https://aws.amazon.com/jp/blogs/news/aws-deepracer-go-hands-on-with-reinforcement-learning-at-reinvent/
https://www.businessinsider.jp/post-180440
Amazon Marketplace for Machine Learning
- Amazon SageMakerで利用できる製品をMarketplaceから購入することが可能
- 製品にはアルゴリズムと学習済みのモデルの2種類がある
参考:
https://aws.amazon.com/jp/blogs/news/new-machine-learning-algorithms-and-model-packages-now-available-in-aws-marketplace/
https://qiita.com/kc_n/items/d730d410d9faa658527b
Analysis
Amazon Personalize(Preview)
- Amazon.comと同様のテクノロジーを利用し、機械学習の経験のない人でもリアルタイムパーソナライズ/レコメンデーションを実現できる。
参考:
https://aws.amazon.com/jp/personalize/features/
https://aws.amazon.com/jp/blogs/news/amazon-personalize-real-time-personalization-and-recommendation-for-everyone/
Amazon Forecast
- 予測を行うサービス
- ディープラーニングを活用して予測精度を向上
- 5クリックでカスタムのディープラーニングモデルを構築
参考:
https://aws.amazon.com/jp/blogs/news/amazon-forecast-time-series-forecasting-made-easy/
https://dev.classmethod.jp/cloud/aws/amazon-forecast/
Serverless Computing
サーバーレスコンピューティングの歴史
- 2014 AWS Lambda
- サーバーレスコンピューティング
- 2015 Amazon API Gateway
- 2017 AWS Cloud9 / AWS Serverless Application Repository
AWS Cloud9と連携するサービス
AWS Lambda Custom Runtimes
- PHP/Erlang/Elixir/COBOLが提供される予定。
- Linux互換のランタイムを持ち込んで動作させることができるようになった。
- ーザー側がランタイムの管理をしなければならないので、運用性を含めて精査しなければならない。
Nested AWS Serverless Application Repository
- ネストされた処理一連のパッケージとしてアップロードできるようになった。
その他
AWS Lambda Load Balancer
- アプリケーションロードバランサー(ALB)のターゲットにAWS Lambdaが選択可能になった。
Amazon API Gateway for WebSocket
- WebSocketに対応
Other Service
AWS RoboMaker
- ロボットの開発、シミュレート、テスト、デプロイをサポートするサービス
- 工場、教室、レストラン、ホテル、他の惑星など、様々な環境やサイズで動作するロボット向けに提供します
- US East(N.Verginia), US West(Ogegon)など。東京など他のリージョンは今後サポート予定
参考:
https://dev.classmethod.jp/cloud/aws/aws-robomaker-launch-reinvent2018/
AWS Well-Architected Tool
- システムを自動で定期的にアセスメントできる。
参考:
https://aws.amazon.com/jp/blogs/news/aws-new-aws-well-architected-tool-review-workloads-against-best-practices/
https://aws.amazon.com/jp/well-architected-tool/
最後に
re:Invent 2018で発表されたサービスの数は膨大で、すべてを追っていくことは難しいですが、
エンジニアとして、刺激的で興味深いサービスが多く、AWSを始めとするクラウドがソフトウェア技術の中心になっているとひしひしと感じます。
機会があれば来年以降に参加し、re:Inventの熱気を肌で感じてみたいです!