LoginSignup
1
0
@e-mokumoku

AWS DEA勉強で学んだことメモ

Last updated at Posted at 2024-09-21

:sunny: AWS Certified Data Engineer - Associate 認定の勉強で個人的に初めて知った用語や分かりやすかったサイトなどをまとめています

  • RedShiftワークロード管理（WLM）

ResShiftがクエリに対してどのようにリソース（メモリ/CPU/IO）を割り当てるかを決定づける仕組みのこと

そもそも…
ロングクエリ（実行に長時間かかるクエリ）があるとクラスター全体に影響が出る

:thought_balloon:イメージ
image.png

そこで…！
WLMで複数のクエリキューを用意しておき、各キューに対してリソース（メモリの割合や並列度など）を割り当て優先度を定義することで、ロングクエリでクラスタリソースを無駄遣いしないようにすることができる

  • RedShift分散スタイル

テーブルを作成する際に指定する分散スタイル。AUTO,EVEN,KEY,ALLの4種類があり、何も指定しないとAUTO（自動で最適な分散スタイルに割り当ててくれるもの）を使用する

  • Athenaワークグループ

クエリ実行環境を分離することによってIAMユーザーやIAMユーザーグループ毎にアクセス制御ができる

  • Athena Federated Query

RDB、NoSQL、オブジェクトデータ、カスタムデータソースに保存されているデータにまたがってSQLを実行することができる機能

image.png

  • Athenaフォーマンス向上方法

　これを見るしかない

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
1
0