LoginSignup
0
0

More than 1 year has passed since last update.

@NaGym_t

何となくわかった気になる週刊AWS – 2021/8/2週

Last updated at Posted at 2021-08-16

はじめに

こんにちは、なじむです。
今週もやっていきましょう AWS Japan さんがまとめている週刊AWSで確認した内容の自分用メモ。勝負の3週間目です。これを乗り越えれば習慣化されると信じたい。
今回は8/2週のアップデートです。

8/2(月)

Amazon Redshift が認証プロファイルで JDBC/ODBC の使用を簡素化

DWH のマネージドサービスである Redshift に JDBC, ODBC, pythonドライバーで接続する際、認証情報をクライアント側のプロパティに一元的に歩zンする任s尿プロファイルをサポートするようになりました。

こんな感じで python のスクリプトを作成して実行します。そうすると、認証プロファイルが作成されます。パスワード情報はどこいった？という感じだったのですが、むしろパスワードをつけるとエラーになりました。

import boto3
client = boto3.client('redshift')

# create_authentication_profile
client.create_authentication_profile(
    AuthenticationProfileName='nagym-test',
    AuthenticationProfileContent='{ \
        "host": "nagym-redshift-cluster.xxxxxxxxxx.ap-northeast-1.redshift.amazonaws.com:5439/dev", \
        "port": 5439, \
        "database": "dev", \
        "user": "awsuser" \
    }'
)

その後、以下のように認証情報プロファイルを確認してみると、確かに情報が表示されました。

import boto3
client = boto3.client('redshift')

redshiftauth = client.describe_authentication_profiles(
    AuthenticationProfileName='nagym-test'
)

print (redshiftauth)

と、ここまでは確認できたのですが、ここから認証情報プロファイルを使用しての ODBC 接続のやり方が分からず止まりました。pyodbc をインストールして云々とやれば行けそうな気がしたのですが、時間切れでここまでです。

  • 日本リージョン対応状況
    • 東京：対応
    • 大阪：対応

8/3(火)

Amplify Geo for AWS Amplify のデベロッパープレビュー発表

Developer Preview なので省略します。
Amplify add geo とかを実行すると、いい感じに位置情報認識機能を追加してくれるんでしょうか（知らんけど）

  • 日本リージョン対応状況 ※ディベロッパープレビューなので未対応にしました。
    • 東京：未対応
    • 大阪：未対応

Amazon Redshift が自動テーブル最適化を拡張し、列の圧縮エンコーディングをサポート

DWH のマネージドサービスである Redshift では、以下を目的として、自動テーブル最適化を行うことができます。

  • 列にアクセスするクエリのパフォーマンスの向上
  • 列のストレージ使用率の削減

今回のアップデートでは、これまでの自動テーブル最適化に加えて、列の圧縮エンコードにも対応するようになりました。これにより、更にテーブルが最適かされることになります。この機能は、今後作成する際はデフォルトで有効になっていますが、既存のテーブルを今回のアップデートに対応させるには、ALTER TABLE xxxx で変更を加えないといけないようです。

また、本機能は Amazon Redshift Advisor が利用可能なリージョンに限られており、大阪リージョンでは使用できませんでした。

  • 日本リージョン対応状況
    • 東京：対応
    • 大阪：未対応 ※Amazon Redshift Advisor に未対応のため。

Amazon SageMaker が SageMaker ノートブックインスタンスの M5d、R5、P3dn、および G4dn インスタンスのサポートを開始

Jupyter ノートブックアプリケーションを実行する機械学習 EC2 インスタンスである SageMaker ノートブックで、以下インスタンスタイプがサポートされるようになりました。

インスタンスタイプ 概要
R5 メモリ最適化インスタンス
M5d ホストサーバーに物理的に接続された NVMe ベースの SSD ストレージを搭載した、汎用ワークロード向けインスタンス
P3dn 分散型機械学習および HPC アプリケーション用に最適化されたインスタンス
G4dn NVIDIA T4 GPU を搭載した、機械学習の推論と小規模トレーニングのための低コストの GPU インスタンス

インスタンスタイプの命名規則は以下が参考になります。
(参考) EC2 のインスタンスタイプの表記について

実際の画面は以下です。
選択できるようになっています。

  • R5
    20210815_165334.jpg

  • M5d
    20210815_165324.jpg

  • P3dn
    20210815_165342.jpg

  • G4dn
    20210815_165350.jpg

SageMaker は正直よく分かっていないので、どこかでハンズオンを受けなければと思っているところです。

  • 日本リージョン対応状況
    • 東京：対応
    • 大阪：未対応 ※SageMaker 自体が未対応

Amazon EKS が Multus のサポートを開始

Kubernets のコントロールプレーンのマネージドサービスである EKS で、Container Networking Interface (CNI) の一つである Multus がサポートされるようになりました。

Multus は Kubernetes の Pods に複数の NIC をアタッチするためのプラグインです。通常、Pod には一つの NIC しかアタッチできませんが、Multus を使用することにより、複数 NIC を使用できるようになります。
公式の github の図は以下ですが、net0, net1 を作るためのプラグインです。
20210815_172423.jpg
(出典) https://github.com/k8snetworkplumbingwg/multus-cni

EKS は個人で検証するには中々の金額で試していないのですが、Kubernets への導入や Multus とは何か、については以下が参考になりました。
(参考) Multusで遊ぶ

  • 日本リージョン対応状況
    • 東京：対応
    • 大阪：対応

8/4(水)

AWS Cloud9 が CloudWatch Logs および S3 を参照し、EC2 インスタンスプロファイルを使用するための新機能を導入

Web ベースの IDE である Cloud9 で以下の機能が使用できるようになりました。

  1. IDE から CloudwatchLogs を参照できるようになりました 20210815_153947.jpg
  2. Cloud9 上で作成したファイルを S3 コマンド等を使用しなくても、GUI でアップロードできるようになりました 20210815_154442.jpg
  3. 多要素認証 (MFA) とプライベート VPC を使用する Cloud9 ユーザーは、EC2 インスタンスメタデータと環境変数の認証情報ソースを介して自動的に認証できます。→これよく分かりませんでした。

もっと少し詳しい操作方法はクラスメソッドさんの以下ブログが参考になりました。
(参考) [アップデート] AWS Cloud9 がまた少し便利になりました (CloudWatch Logs、S3、インスタンスプロファイル)

  • 日本リージョン対応状況
    • 東京：対応
    • 大阪：未対応 ※Cloud9 自体が未対応

8/5(木)

Amazon Personalize で選択したビジネスメトリクスに合わせてパーソナライズされたレコメンデーションの最適化

個人の好みを機械学習し、おすすめの商品をレコメンドしてくれる Personalize で以下のメトリクスを使用してレコメンドを作成できるようになりました。

  • 収益、利益率、ビデオ視聴時間などのビジネスメトリクス
  • アイテムカタログの数値属性

そもそも Personalize が分からなかったので、少し古い資料ですが以下のハンズオンを実施してみました。
Amazon Personalize ハンズオン

詳細は省略しますが、上記ハンズオンを実施することで、なんとなく Personalize について分かったような気になりました。ただ、今回のアップデート内容がどこに関係してくるのかは分かりませんでした。
アップデートには以下のように記載がありましたが、ソリューションを作成する際にどれに何を指定すれば良いのか…

新しいソリューションを作成するとき、カタログの数値列を選択すると、準備が整います。

  • 日本リージョン対応状況
    • 東京：対応
    • 大阪：未対応 ※Personalize 自体が未対応

Athena can now write query results in Parquet, Avro, ORC and JSON formats

S3のデータ等に対してクエリをかけて分析できるサービスである Athena で、UNLOAD コマンドを使用することにより出力結果の形式を Parquet, Avro, ORC, JSON が使用できるようになりました。

各形式は何ぞや？という点に関しては以下が参考になりました。
カラムナフォーマットのきほん 〜データウェアハウスを支える技術〜

形式 フォーマット 概要
Parquet 列指向フォーマット Hadoop エコシステムのプロジェクト向けに設計されたフォーマット
Avro 行指向フォーマット Apache Hadoopと併用するために開発されたフォーマット
ORC 列指向フォーマット Hive データの保存に使用されるフォーマット
JSON テキスト JavaScript プログラミング言語のサブセットに基づいた、軽量でプレーンテキスト

実際の画面は以下です。
Athena で UNLOAD クエリを投げると、

20210815_144936.jpg

S3 に指定した形式のファイルが出力されていることが確認できました。

20210815_145008.jpg

UNLOAD コマンドを実際に動かしているサンプルは以下が参考になるかと思います。
(参考) [新機能] Amazon Athena UNLOADコマンドによるCSV、Parquet、Avro、ORC、JSON出力をサポートしました！

  • 日本リージョン対応状況
    • 東京：対応
    • 大阪：対応

Amazon CloudWatch Synthetics supports visual monitoring

REST API、URL、ウェブサイトコンテンツを監視してくれる CloudWatch Synthetics で、画面のレイアウト崩れ等を検知できるビジュアルモニタリングをサポートするようになりました。

実際の画面は以下です。
Cloudwatch Synthetics で Visual Monitoring が設定できるようになっています。

20210815_141916.jpg

実際の動作に関しては以下が参考になるかと思います。Web 画面等を作成している人には嬉しい機能ですね。
(参考) Amazon CloudWatch Syntheticsのビジュアルモニタリングで動的コンテンツも監視する

  • 日本リージョン対応状況
    • 東京：対応
    • 大阪：対応

Amazon FSx is now available in the AWS Asia Pacific (Osaka) Region

ファイルサーバのマネージドサービスである FSx が大阪リージョンで使用できるようになりました。

実際の画面は以下です。
使えるようになっていました。

20210813_200434.jpg

FSx の使い方は以下が参考になるかと思います。WorkSpaces からの利用であったり、AD 構築の手順がなかったりしますが、適宜読み替えていただければと思います。
(参考) Amazon FSx for WindowsをWorkspacesで試してみた

  • 日本リージョン対応状況
    • 東京：対応
    • 大阪：対応

8/6(金)

Amazon Athena が AWS アジアパシフィック (大阪) リージョンで利用可能に

S3のデータ等に対してクエリをかけて分析できるサービスである Athena が大阪リージョンで使用できるようになりました。

実際の画面は以下です。使えるようになっています。

20210815_135947.jpg

Athena を簡単に使えるのは CloudTrail のログ分析かなと思います。UI は若干変わっていますが、以下が参考になるかともいますので実践してみていただければと思います。
(参考) [AWS ]CloudTrailの証跡ログをAthenaを使ってサクッと解析する[このリソース誰が作ったの？]

  • 日本リージョン対応状況
    • 東京：対応
    • 大阪：対応

Amazon RDS Proxy can now be created in a shared Virtual Private Cloud (VPC)

RDBMS のマネージドサービスである RDS では、アプリケーションのスケーラビリティやデータベース障害に対するリカバリー、安全性の向上を提供するマネージド型データベースプロキシである RDS Proxy があります。RDS Proxy の詳しい解説は以下が参考になりました。
(参考) [速報]RDS ProxyがGAされました！！

その RDS Proxy が、VPC を集中管理する際に使用される、共有 VPC でも利用可能になりました。共有 VPC は以下が参考になるかなと思います。
(参考) [アップデート]VPCサブネットを複数のAWSアカウントで共有できるようになりました！！

実際の画面は以下です。
VPC を共有された側のアカウントで RDS を構築し、それに対して RDS Proxy を構築することができました。

  • VPC を共有した側のサブネット(RAM の画面)
    20210816_040201.jpg

  • VPC を共有された側の RDS Proxy
    20210816_040036.jpg

RDS Proxy は対応しているバージョンに制限があるのでご注意ください。ここで小一時間悩みました…

20210816_034926.jpg

(出典) RDS Proxy の制限

ちなみに、本アップデート前にはまった話というのがあったので参考として記載します。ここでは、VPC を共有する側のアカウントにすべてのリソースを作成し、RDS Proxy 経由でアクセスしていたようです。
(参考) RDS ProxyをsharedVPC上で作る時にハマった話

  • 日本リージョン対応状況
    • 東京：対応
    • 大阪：未対応 ※RDS Proxyに未対応

Amazon EC2 Auto Scaling enhances Instance Refresh with configuration checks, Launch Template validation, and Amazon EventBridge notifications

CPU 使用率やコネクション数により EC2 インスタンスの台数を自動的に増減してくれる機能である Auto Scaling で、以下の機能をサポートするようになりました。

  • インスタンスのリフレッシュ時、インスタンスが既に目的の構成になってい場合、置き換えを回避できる機能を追加
    • これにより、より高速なロールフォワード or ロールバックを実行できる
  • Auto Scalingグループ（ASG）設定の更新の実行
    • インスタンスの更新が正常に完了した際、LaunchTemplate定義の更新を自動実行する
    • 新しい起動テンプレート定義で ASG 定義を自動的に更新することが可能に
  • インスタンスリフレッシュ用に 4 つの Amazon EventBridge イベントを追加
    1. インスタンスの更新を開始（"EC2 Auto Scaling Instance Refresh Started"）
    2. インスタンスの更新に成功（"EC2 Auto Scaling Instance Refresh Succeeded"）
    3. インスタンスの更新に失敗（"EC2 Auto Scaling Instance Refresh Failed"）
    4. インスタンスの更新をキャンセル（"EC2 Auto Scaling Instance Refresh Cancelled"）

Auto Scaling の設定は、まだ SDK or AWS CLI しか対応していないようで、画面上では確認できませんでした。CLI のドキュメントを眺めてみたのですが、どこに書いてあるのか分からずだったので、GUI に対応した時に改めて確認してみようと思います。

  • 日本リージョン対応状況
    • 東京：対応
    • 大阪：対応

感想

これ、もはやクラスメソッドさんのブログを転載してるだけでは…？と思いながら書いていました。そしてアップデートの内容が分からなすぎる…全部を追おうとするのは無謀なのだろうか…
ただ、このブログの目的は「アップデート内容を自分の手を動かして理解していこう」の筈なので、もう少し頑張りたいと思います。。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
0
0