会社の外部研修として『AWS Summit Tokyo 2017』に6月1日(木)～2日(金)の計2日間参加して来ました。
当エントリでは6月1日(Day3)に聴講した内容をレポートします。（Day4のレポートはこちら）
※注）記事には個人的なメモや感想が含まれています。予めご承知ください。
基調講演（Key Note） (10:00 ～ 11:30)
ホストトーク：オープニング
by Werner Vogels 氏 (Amazon.com CTO)
- AWSは急速に成長している
- 成長率はIT企業の中でもTOP
- 毎月のユーザー増加数 = 日本では10万以上
- 各国のリージョン、AZ、エッジロケーションも随時拡大中
- 本イベントを通してAWSを色々学んで行って欲しい。
気になったワードメモ
- AWS Activate
- One Amazon
- Osaka リージョン開始
ゲストトーク：株式会社ソラコム
by 安川 健太 氏 (株式会社ソラコム 最高技術責任者)
SORACOMのサービス展開
IoTはネットワークセキュリティが課題
＞3G/LTE網でInternetに出ないIoTネットワーク（デバイスとクラウドの直接接続）を提供
SORACOM Funnel
＞デバイスからクラウドへのデータ転送を疎結合に管理
利用例：デバイス＞Funnel＞Kinesis＞Lambda＞AWS IoT
⇒Funnelから先の切り替え(=新サービス追加など)が容易
ホストトーク：AWS - SUPER POWERS 1
by Werner Vogels 氏 (Amazon.com CTO)
「AWSは開発者に『SUPER POWERS※』を与える。」 (※ネタ元：スーパーマン)
SUPER POWER - 'SPEED' (超音速)
- EC2新インスタンス：F1（FPGA利用可）
- 今の時代 検索は必須＞Elastic Search等ですぐに実装可
- CloudはInfraへの関心を省き、Productに集中させてくれる＞開発を加速
- AWSは色々な選択肢を提供＞ビジネスに合わせて適切なものを
ゲストトーク：NTT東日本
by 中村 浩 氏 (東日本電信電話株式会社 取締役)
CloudGateway re:connect
＞FLETS光の高速・閉域網でAWSと再接続
社内で開発・利用して便利だったものを社外にも利用してほしい
クラウドと企業間の距離が一番近い国に
ホストトーク：AWS - SUPER POWERS 2
by Werner Vogels 氏 (Amazon.com CTO)
SUPER POWER - 'INVISIBILITY' (目に見えない)
⇒開発者がインフラを気にしなくていい ⇒サーバーレス機能群紹介
- AWS Lambda
- サーバーレスコンピュート
- AWS Step Functions
- ビジュアルワークフローで分散アプリケーションのコンポーネント管理
- AWS X-Ray
- 分散アプリケーションの分析とデバッグ
- Amazon DynamoDB Accelerator(DAX)
- 完全マネージド型インメモリキャッシュクラスタでクエリ超高速化
ゲストトーク：ソニーモバイルコミュニケーションズ
by 川西 泉 氏 (ソニーモバイルコミュニケーションズ株式会社 取締役 EVP)
SonyモバイルのIoTへの取り組み：『カーリングビジネスの実現』
製品紹介
- XPERIA Ear
- XPERIA Touch
- XPERIA Agent
＞http://av.watch.impress.co.jp/docs/news/1018278.html
スマートホームシステム
AWS IoTを活用
製品例：自宅のLED照明＞センサーで子供の帰宅感知＞仕事(外出)中の親に通知＞LED付属のスピーカで会話
ホストトーク：AWS - SUPER POWERS 3
by Werner Vogels 氏 (Amazon.com CTO)
SUPER POWER - 'FLIGHT' (飛び立つ)
IoTデバイスはサーバを必要としない
- AWS Greengrass
⇒サーバ側の役目だった処理をローカルで構築可能に
これまでのデータベース＝実機やベンダー由来の様々な制約や障害があった
クラウド＋オープンソースのDBで"制約"から飛び立とう
- AWS Database Migration Service
- Amazon Aurora
- 完全MySQL互換のRDB
- PostgreSQL互換も提供開始
ゲストトーク：グリー株式会社
by 藤本 真樹 氏 (グリー株式会社 開発・人事統括 取締役 執行役員常務 CTO)
オンプレで10年運用してきた環境をクラウドへ移行した話
技術選択の判断は難しい、基準には色々な軸がある
敢えて上げるならば、"is that faster?"
＞速さは裏切らない（コンピュータが速くて困ることは絶対にない）
⇒ AWS(の機能やサービス展開速度)はこれらに応えられる
ホストトーク：AWS - SUPER POWERS 4
by Werner Vogels 氏 (Amazon.com CTO)
SUPER POWER - 'X-RAY VISION' (透視)
⇒ データの集計・可視化
- Amazon Athena
- S3に保存されたデータを標準SQLで簡単に分析
- Amazon EMR
- Hadoopなどのビッグデータフレームワークを手軽に実行・分析可能
- Amazon Redshift
- 複雑なクエリ・超高速パフォーマンスを提供するペタバイト級データウェアハウス
- Amazon Redshift Spectrum
- S3のデータを直接クエリ可能
- エクサバイト規模のクエリ＞Hiveで5年想定の処理を155秒で完了
SUPER POWER - 'PRECOGNITION' (予見)
⇒ Amazon AI – 人工知能サービス
- Amazon Machine Learning
- カスタム予測モデルの学習
- Amazon Rekognition
- 画像から顔と感情を認識
- Amazon Polly
- 文章をリアルな音声に変換(感情付加など)
- Amazon Lex
- 自動音声認識・自然言語理解
SUPER POWER - 'IMMORTALITY' (不朽)
⇒ スタートアップ企業生き残りの鍵 =『デジタルトランスフォーメーション』
AWSは『イノベーション』を続ける
AWS 認定試験 (12:30 ～ 13:50)
Summit特設会場でソリューションアーキテクトアソシエイト試験を受験（特典の50%OFFクーポン目当てです ^^; ）
試験終了後すぐに認定者限定ラウンジに行ってみましたが、ノベルティの折り畳み傘はとっくに品切れでした；；
やはり一日数量限定は午前中に行かないと無理な模様。（ ⇒ Day4で無事GET！！）
限定ラウンジではお菓子や飲み物が無料、座ってPCなどの充電が出来て中々快適でした。
モニタなど設置して講演中のセッションを視聴できればいいなと考えましたが、逆に人が溢れて寛げなくなりそう？
Session：『AWS Shield と AWS Lambda@Edge で構築するセキュアで柔軟性の高いアプリケーション』 (14:20 ～ 15:00)
スピーカー：Prasad Kalyanaraman 氏 (Vice President, AWS Edge Services)
セッション概要（タイトルリンク先より引用）
AWS Edge Services では、Amazon CloudFront に加え、AWS Shield、 AWS Lambda@Edge などの革新的な新サービスを発表しています。本セッションでは、AWS Shield の DDoS 防御機能と、AWS Lambda@Edge の CDN 上でのスクリプト実行により、セキュリティを担保しつつ柔軟でカスタマイズ性の高いアプリケーションの実現方法をご紹介します。
エッジでのセキュリティ活用
セキュアコンテンツ配信にCloudFrontが使える
＞エンドユーザー付近をセキュア通信の終端にする
Lambda@Edge
＝Lambda関数のデリバリーサービス
・Bot 判定
・バリデーション
・認証処理
⇒エンドユーザ付近で実行できる
・ユーザ毎にコンテンツカスタマイズ可能
e.g.
・PC/モバイル判定＞アクセス先分岐
・エッジでHSTSヘッダを埋込み
DDoS対策 (スクラビングセンター)
＞AWS Shield (全Edgeロケーションで使用可)
＞Standard
・エッジで攻撃を検知し、遮断
・リアルタイムで悪意のあるトラフィックを検出
・無料で自動適用
＞Advanced
・攻撃データの可視化、およびイベント後の分析と調査を容易に
・DDoS攻撃で請求金額が跳ね上がるのを防ぐ「DDoS コスト保護」
・専門サポート
・有料
AWS WAF
＞L7(アプリケーションレイヤー)防御
＞Lambdaで独自のセキュリティチェック可 （e.g. 特定のIPを一定時間ブロック等）
Session：『Amazon ECS と SpotFleet を活用した低コストでスケーラブルなジョブワーカーシステム』 (15:20 ～ 16:00)
スピーカー：松田 和樹 氏 (株式会社インティメート・マージャー 開発本部)
セッション概要（タイトルリンク先より引用）
インティメート・マージャーではビジネスの都合上、50 種類ものジョブワーカーを運用しております。増え続けるビジネス要件に対応するため、Amazon ECS と SpotFleet を軸に Amazon S3、Amazon SQS、Autoscaling を組み合わせることで、低コストかつスケーラブルな docker 基盤を構築致しました。本セッションでは、その docker 基盤を中心にお話しします。
＞公演に使用されたスライドが公開されてます。
構築背景
- 20以上の社外システムとデータ受渡し
- 異なるデータ形式
- 異なる接続方式
- データ肥大化
- スケールする仕組みが必要
- 特定のジョブのみスケールさせたい
第一世代
処理フロー
S3ファイルUP＞イベントをSQS通知＞Cloud Watchでキュー数監視＞EC2のワーカーをAutoScaling (Spot)
＞SQSキュー＆S3ファイルを取得し処理＞後続処理は別のS3へ
課題
- スポット高騰時など特定のワーカーが起動不可となる
- リソース(InstanceType)効率が悪い
- 待機時間が長い
- スケーリング設定多く、運用負荷高い
第二世代
変更点
- 全ワーカーの実行環境をコンテナに
- docker基盤共用
- ECS採用
- spot fleet採用
- ワーカー毎にコンテナをスケール
Amazon ECS
- 52のサービスが稼働 ( 50種のワーカー + Mackerel(監視) + Fluentd(ログコレクタ) )
- コンテナレジストリ ⇒ Amazon ECR
Spot fleet
- 168 vCPU
- 自動入札（一つ一つ設定も可能だが手間）
- InstanceType：7種 主にC4、M4系
運用のポイント
ログのハンドリング
- 目的で集約先使い分け
- 常時監視 ⇒logdna
- 長期分析 ⇒BigQuery
- 直近データ分析、参照 ⇒Aurora
環境構築・デプロイ
- Terraform採用
- CircleCIからAPIでデプロイ
⇒docker対応CIサービスがおすすめ
強制ターミネート(Spotインスタンス)
- コンテナ強制終了
- 検知する仕組み必要
- メタデータをポーリング⇒クラスタから退役
AMI
- ECS-Optimized AMI 使用
- AMIのカスタマイズはしない
- 設定はcloud-initで
ECSの課題
- クラスタ管理
- agent方式⇒ラグが多々
- ゾンビワーカー
- docker全機能は使えない
- コンソール画面がまだまだ
- 学習コストそこそこ
ECSの強みは他AWSサービスとの連携
Session：『AWS で実現するセキュリティ・オートメーション』 (16:20 ～ 17:00)
スピーカー：桐山 隼人 氏 (AWSジャパン 技術統括本部 ソリューションアーキテクト)
セッション概要（タイトルリンク先より引用）
クラウドは、今までやってきたことを効率的にするだけでなく、今までできなかったことを可能にします。本セッションでは、セキュリティをクラウド環境で実現することで可能となる、運用統合と自動化(オートメーション)をご紹介します。セキュリティ・オートメーションは、貴社の運用が変わるだけでなく、セキュリティ戦略そのものを見直すきっかけにもなります。オートメーションによる次世代のセキュリティを考えてみませんか？
※スライドは公開されていないようですが、ほぼこれと同じだったかと思います。
クラウド移行に関するアンケート
日：クラウドに移行しない理由 1位 ⇒セキュリティ
米：クラウドに移行した理由 1位 ⇒セキュリティ
⇒まだ正確な認識が普及していないせいと思われる
クラウドだからできるセキュリティ
オートメーションとは＝戦略策定の基盤
AWSはセキュリティオートメーション前提に設計されている ⇒基盤として活用してほしい
-
戦略策定
- SFA、マーケティングに活用
- やること やらないこと を決められる
-
何を自動化すべきか？ (考える主軸 ⇒)
- 対策主体（人、組織、技術）
- 対策対象（サーバ、ネットワーク、クライアント）
- 対策場所（入口、内部、出口）
ガートナーの『適応型セキュリティアーキテクチャ』
サイクルを回す：
防御⇒検知⇒対応⇒予測⇒～
防御：CloudFront、WAF ～
検知：VPC Logs、Auto Scaling ～
対応：SNS、Lambda ～
予測：EC2 Config、3rd party レピュテーション、Inspector ～
実用例
CloudFrontアクセス⇒WAF⇒LambdaでレピュテーションリストDL＆判定
⇒Lambdaでセキュリティ評価⇒Amazon Inspector⇒SNS⇒LambdaでNACL／SG変更
⇒攻撃検知⇒ブロックログ⇒EBSなどsnapshot⇒CloudTrail(操作ログ)
全レイヤー、ノードのログが取れるので
⇒VPC Flow Logs／Elastic Search／Kibanaなどで可視化
攻撃者のドメイン生成は自動化されている：Domain Generation Algorithm(DGA)
⇒AWS WAF + Amazon MLで怪しいドメインを学習
Machine Learningでリスク分析
⇒設定変更などの意思決定まで自動化
Session：『Machine Learning on AWS』 (17:20 ～ 18:00)
スピーカー：志村 誠 氏 (AWSジャパン 技術統括本部 ソリューションアーキテクト)
セッション概要（タイトルリンク先より引用）
AI や機械学習という言葉が話題になる遥か前から、Amazon では機械学習技術を活用したさまざまな取り組みを行ってきました。本セッションでは AWS の上でご利用いただける機械学習サービスについてご紹介するととともに、それらをどのように使い分けるか、また機械学習をどのように皆さまのサービスに役立てて行くかについてご紹介します。
どんなサービスで機械学習を活用するか？
ビジネス主体で考える（使いたい技術から考えない）
- 良質なデータが継続的に入るか
- 自動化の価値ある予測か
- 費用対効果
機械学習はあくまでツール
需要に反し解決していない問題に対して検討する
代表的な活用例＞
- レコメンド
- 異常検知
- 画像認識
- クラスタリング（ユーザの分類分けなど）
AWSで提供する機械学習サービス
グルーピング＞
- Service
- platform
- Engines
- Hardware
AI Hardware
- EC2：P2 instance
- GPU特化
- Greengrass
- デバイスに学習モデル
- エッジで推論処理
AI Engines
典型的な機械学習フレームワークをインストール済みのAMIを提供
AI platform
- Amazon Machine Learning
- Amazon EMR
AI Service
- Polly
- Rekognition
- Lex
その他
Kinesis Analytics ＞異常検知
Elastic Search ＞検索を機械学習に利用
Data Pipeline ＞EMRのジョブをスケジューリング
ゴールを明確に
- 解決すべき課題
- アウトプット
続き⇒Day4