毎年恒例？2023年 Amazon Redshift アップデートまとめ

🎄２０２３年に発表された Amazon Redshift のアップデートまとめ🎄

AWS Analytics Advent Calendar 2023 企画

この記事を作成している時点では2023年はまだ少し残されておりますが、今年発表されたRedshiftのアップデートを一覧でまとめたいと思います。
各アップデートにはタイトル、リンク、要約、および公開日が含まれています。

❄️ 1月のアップデート

2022年末ではゼロETLの発表をはじめ、AWS内のデータソースからシームレスにデータを移動、統合できる機能が充実し始めました。re:Inventの怒濤の発表の後か1月は一息。

タイトル	要約	公開日
Amazon Redshift 同時実行スケーリングを中国 (北京、Sinnet が運営) と中国 (寧夏、NWCD が運営) のリージョンでリリース 詳細はこちら	Redshiftの自動スケーリング機能であるコンカレンシースケーリングが、中国の北京リージョンと寧夏リージョンで利用できるようになった。 コンカレンシースケーリングはワークロードの変動に応じて自動的にクラスターのコンピューティングリソースをスケールさせる機能。 中国のユーザーはコスト最適化やパフォーマンスの改善が可能になる。 中国リージョンでの料金モデルも他のリージョンと同様になった。	01/31

💕 2月のアップデート

2022年末にMERGE、ROLLUP、CUBE、GROUPING SETSなどのSQL機能強化に加え多次元分析が便利になりますねー

タイトル	要約	公開日
Amazon Redshift、GROUP BY 句でロールアップ、キューブ、グループ化セットの一般提供を発表 詳細はこちら	Redshiftのクエリ機能にロールアップキューブとグルーピングセットが追加された。 これらは集計テーブルのサイズ削減とクエリパフォーマンスの最適化に役立つ。 ロールアップキューブは多次元データの集計に適している。 グルーピングセットはクエリの柔軟性を高めるのに有用。	02/28

🌸 3月のアップデート

インスタンスの管理をしなくて済むサーバーレス版 Redshiftですが、試してみたくても初期サイズが32RPUで大きいなと思っているユーザーも多かったんじゃないかなと思います。初期サイズが8RPUになったのでグッと使いやすくなりました。
ちなみにRPUは、Redshift Processing Unitの略でコンピューティング容量をRPUという単位で指定します。

タイトル	要約	公開日
Amazon Redshift クエリエディタ V2 が AWS GovCloud (米国) リージョンで利用可能に 詳細はこちら	Redshiftの新バージョンのクエリエディターがAWS GovCloudで利用できるようになった。 高度なクエリ編集、実行、分析が可能。 政府機関のユーザーがRedshiftをより使いやすくなる。 セキュリティとコンプライアンス面で政府ユーザーのニーズに対応。	03/07
Amazon Redshift が 20 万テーブルまでサポートを拡張 詳細はこちら	従来のRedshiftは1クラスター当たり最大1万のテーブルまでだった。 新機能により、1クラスター当たりのテーブル数が20万まで引き上げられた。 これにより、非常に大規模なデータウェアハウスを1つのRedshiftで構築できる。 テーブル数の増加に合わせてメタデータのキャッシュ機構が改善されている。 大量のテーブルを扱う場合のパフォーマンスが維持できる。	03/08
Amazon Redshift Serverless のデータウェアハウスの基本容量を下げる構成のお知らせ 詳細はこちら	Amazon Redshift Serverless の最小ベースキャパシティが32RPUから8RPUに削減された。 これにより、Serverlessのコスト最適化がしやすくなる。 Serverlessは使用した分のみ課金されるため、最小容量の削減は大きい。 100GBからのスケールアップが可能なので、ニーズに合わせて最適な容量が選択できる。 データウェアハウスのコストを最小限に抑えられる。	03/09
AWS が新しい Amazon Redshift 入門ガイド付きエクスペリエンスを発表 詳細はこちら	Redshiftの設定と使用法を初心者向けに分かりやすくする新機能が提供される。 インタラクティブなガイドに従ってRedshiftクラスターの作成からデータのロード、クエリの実行までをステップバイステップで実施できる。 ベストプラクティスに基づいた推奨設定が提示されるので、スムーズにRedshiftを使用開始できる。 データベース設計やETL処理などに関する豊富なドキュメントが用意されている。	03/23

🌱 4月のアップデート

4月もなかなか良いアップデートがありました。動的データマスキングはクエリ発行元の要件に応じてデータマスキングが使えるので、事前のETLでデータをマスクしなくて済むので便利ですね。文字列クエリのパフォーマンスが最大63倍も素晴らしいですね。大量データを高速に処理する場合にはデータを圧縮して格納・処理する事がパフォーマンスに有効です。圧縮する事でデータのサイズが小さくなるため、ストレージとメモリ間、ネットワークを介してのデータ転送が効率的になりますし、ストレージからの読み書きの時間が短縮されます。キャッシュにも多くのデータを保持できるので圧縮・解凍処理によるオーバーヘッドを加味しても全体的な処理速度が向上します。こういう地道な改善がチリツモでパフォーマンス向上に繋がりますね。

タイトル	要約	公開日
Amazon Redshift で文字列クエリのパフォーマンスを最大 63 倍向上 詳細はこちら	新しいクエリ最適化機能により、文字列処理クエリのパフォーマンスが最大63倍に向上した。 文字列のDictionary Encoding、文字列処理の並列化などの技術が導入された。 大量のテキストデータを扱う分析クエリが高速化されるため、Redshiftの使い方がさらに広がると期待できる。	04/13
Amazon Redshift が動的データマスキングの一般提供を開始 詳細はこちら	Redshiftに動的データマスキング機能が追加された。 クエリ結果から個人情報や機密データをマスクできるようになる。 マスキングルールを柔軟に定義でき、データアクセスコントロールが強化される。 機密データの暴露リスクが低減し、コンプライアンス強化に役立つ。	04/20
Amazon Redshift が MERGE SQL コマンドの一般提供を開始 詳細はこちら	RedshiftのSQLにMERGE文がサポートされた。 1つのステートメントでデータの挿入と更新を実行できる。 ETL処理を効率化し、コードがシンプルになる。 大量データのupsertにかかる時間が短縮される。	04/20
Amazon Redshift が AWS Lake Formation を使用したデータ共有の一元的なアクセスコントロールに対応 詳細はこちら	RedshiftでLake Formationを使ったセキュアなデータ共有が可能に。 Lake Formationに保存されたデータにRedshiftから直接クエリ実行できる。 データソースを増やせるので、分析機能が拡張する。 ファイアウォールやVPNなしでデータ共有が実現できる。	04/20

🌷 5月のアップデート

ストアドの自動コミットも地味だけど便利なアップデートですね。大規模なデータ変換や複雑なビジネスロジックを扱う場合、エラー処理やトランザクションの管理が容易になり便利になると思います。また、中国リージョンの機能強化も粛々と進めてる感じしますね。

タイトル	要約	公開日
Amazon Redshift が新たに中東、欧州、アジアパシフィックリージョンで ra3.xlplus インスタンスをリリース 詳細はこちら	Redshiftの大容量インスタンス「RA3 xlplus」が追加のAWSリージョンで利用可能になった。 メモリ最適化インスタンスで、大規模データウェアハウスに適している。 より多くの地域で大容量Redshiftクラスターをデプロイできるようになる。 大容量クエリや同時実行クエリのパフォーマンスが向上する。	05/01
Amazon Redshift データ共有が AWS 中国リージョンで提供開始 詳細はこちら	Redshiftのデータ共有機能が中国の北京と寧夏リージョンで利用可能になった。 中国リージョンのRedshiftインスタンス間でセキュアなデータ共有が実現する。 ファイアウォールやVPNなしで、クロスアカウントのデータ共有ができる。 中国のユーザーは分析基盤の構築と運用がしやすくなる。	05/08
Amazon Redshift のストアドプロシージャで、ステートメントの自動コミットのサポートを発表 詳細はこちら	Redshiftのストアドプロシージャで自動コミット機能がサポートされた。 ストアドプロシージャ内の一連の操作を1つのトランザクションとして扱える。 トランザクションの整合性が保証され、エラー時のロールバックも実現できる。 ETL処理などのデータパイプラインがより信頼性高く構築できる。	05/23

🌞 6月のアップデート

Amazon Kinesis FirehoseとはリアルタイムなストリーミングデータをKinesis経由でS3やRedshiftに保存できるサービスですが、これがServerlessにも対応し、ますます便利に。そしてゼロETLのパブリックプレビュー。異種データベース間のリアルタイムレプリケーションの構成は本当に面倒で工数もかかる作業だったりするんですが、本当に簡単なステップで実現出来るのがすごいです。

タイトル	要約	公開日
Amazon Kinesis Data Firehose が Amazon Redshift Serverless へのデータストリーム配信のサポートを追加 詳細はこちら	FirehoseがRedshift Serverlessへのリアルタイムデータ配信に対応した。 簡単な設定で、ストリーミングデータをRedshift Serverlessにロードできる。 サーバレスな分析基盤の構築がしやすくなる。 ストリーミングとバッチの両方のデータをRedshiftで扱える。	06/19
Amazon Redshift でデータウェアハウスを暗号化するエクスペリエンスが向上 詳細はこちら	Redshiftのデータ暗号化設定がより簡単になった。 インタラクティブなガイドに従って、簡単なステップで暗号化を有効化できる。 暗号化キーの管理もシームレスに行える。 セキュリティ強化とコンプライアンス遵守がしやすくなる。	06/21
Amazon Redshift が ThoughtSpot とのネイティブコンソール統合を発表 詳細はこちら	RedshiftコンソールからThoughtSpotへの直接接続が可能に。 ThoughtSpotのBIツールをRedshiftのデータに簡単に接続できる。 インタラクティブな分析とダッシュボード作成がしやすくなる。 BI活用の敷居が下がり、洞察の取得が高速化する。	06/26
AWS が Amazon Aurora MySQL と Amazon Redshift のゼロ ETL 統合 (パブリックプレビュー) を発表 詳細はこちら	Aurora MySQLのデータをETLなしでRedshiftにリアルタイム複製できる機能がプレビュー公開。 Aurora MySQLとRedshiftのデータを常に同期させることが可能に。 トランザクションデータのデータウェアハウジングが簡単に。 リアルタイム分析とバッチ分析をシームレスに実現できる。	06/28

🎆 7月のアップデート

Redshiftを通して機械学習の機能が利用できる事をご存じでしょうか？機械学習を最初から…は敷居が高いかもしれませんが、SQLインターフェースから機械学習が使えると敷居がぐっと下がりますよね。Icebergもおもしろいですね。IcebergテーブルはHadoopやSparkなどのデータ処理フレームワークで広く使用されています。Redshiftでこれらのテーブルを直接クエリできることで、大規模データ分析が便利になりますね。

タイトル	要約	公開日
Amazon Redshift で SELECT SQL ステートメントの QUALIFY 句のサポートを開始 詳細はこちら	RedshiftのSELECT文にQUALIFY句が追加され、行フィルタリングの柔軟性が向上。 アナリティクスクエリの複雑さが軽減され、パフォーマンスも最適化される。 重複データの削減や条件付き集計などにQUALIFY句を活用できる。	07/17
Amazon Redshift ML が Amazon Forecast との統合を発表 詳細はこちら	RedshiftからForecastの機械学習機能を直接呼び出し実行できるようになった。 需要予測や在庫最適化など、時系列分析が簡単に実装できる。 分析基盤を拡張し、ビジネスインサイトの生成が容易に。 ML活用の敷居が下がり、予測モデルの精度が向上する。	07/20
Amazon Redshift が AWS Glue データカタログの自動マウントを発表 詳細はこちら	Glue Data Catalogに登録されたデータベース、テーブル、パーティションなどのメタデータがRedshiftクラスター内に自動的にマウントされる ユーザーはGlueのデータカタログを手動でマウントする必要がなくなり、設定が大幅に簡素化される Redshiftのクエリエディタやビジネスインテリジェンスツールから、Glue Data Catalogのメタデータを参照して直接クエリが可能	07/25
Amazon Redshift で Apache Iceberg テーブルのクエリをサポート開始 詳細はこちら	Icebergテーブルのスキーマ情報やメタデータがRedshiftに認識されるようになった これによりRedshiftでIcebergテーブルを対象としたクエリの実行が可能に Icebergは大規模データ処理に適したオープンソースのテーブルフォーマットで、HadoopやSparkなどで利用されている RedshiftからIcebergテーブルを活用できることで、大規模データ分析がしやすくなる	07/25

🏖️ 8月のアップデート

Sparkはインメモリで大量のデータ処理を高速に実行できます。Sparkの開発者がRedshift上でSparkアプリを自由に構築して実行できるようになるとRedshiftの強力なデータウェアハウス機能とSparkのリッチなデータ処理機能を一元的に活用してデータ分析処理の効率が向上しそうです。

タイトル	要約	公開日
AWS が Amazon Redshift の Apache Spark との統合のオープンソース化を発表 詳細はこちら	RedshiftとSparkの連携が向上し、RedshiftのデータをSparkで扱いやすくなった Spark SQLを使用してRedshiftテーブルに直接アクセスできるようになった また、SparkからRedshiftへの高速なデータ挿入もサポートされた これにより、Sparkの分析機能をRedshiftのデータに簡単に適用できるようになる	08/01

🍂 9月のアップデート

AWS Lake Formationを使用すると、Redshiftデータシェア内のテーブルやビューに対する権限をLake FormationのAPIやAWSコンソールを使用して表示、変更、監査できるのですが、加えて他のAWSリージョンにあるRedshiftのデータシェアを利用させることができるようになりました。複数リージョンのデータを一元分析できるのは便利。

タイトル	要約	公開日
Amazon Redshift が AWS Lake Formation によるクロスリージョンデータ共有に対応 詳細はこちら	Redshiftが異なるAWSリージョンにあるクラスター間でのデータ共有をサポート Lake Formationを使用して、リージョンをまたいだデータアクセスを管理 これにより、リージョン内のデータだけでなく、複数リージョンのデータをまとめて分析可能に	09/12
Amazon Redshift がワークロード管理 (WLM) におけるロールベースのアクセスコントロールのサポートを発表 詳細はこちら	RedshiftのWLM(ワークロード管理)で、IAMロールベースのアクセス制御が利用できるように 特定のユーザーやグループに対して、WLMキューへのアクセスを細かく制御可能に セキュリティが強化され、WLMの運用がしやすくなる	09/25

🎃 10月のアップデート

年末のre:Inventに向けてここ数ヶ月は少なめですね（笑）。しかしVS CodeからRedshiftが利用できるのは便利中の便利。AWS Toolkit をVSCodeにインストールすることで利用可能となりますよー

タイトル	要約	公開日
AWS が Amazon Redshift と Visual Studio Code の統合を発表 詳細はこちら	Redshiftクラスターに接続し、クエリの編集や実行がVS Code上で可能に クエリ結果の視覚化や自動補完など、開発者向けの機能を活用できる VS Codeの生産性をRedshiftのクエリ作業に活かせる	10/17
自動入力の候補が Amazon Redshift クエリエディタ V2 で利用可能に 詳細はこちら	クエリ編集時にテーブル名やカラム名などを自動的に補完する機能が追加 ユーザーの入力を予測して適切な候補を提示するので、クエリ作成がしやすくなる 補完候補はクラスター内のメタデータを参照して生成される	10/17
Amazon Redshift と AWS Secrets Manager の統合を発表 詳細はこちら	RedshiftがSecrets Managerに保存された認証情報を参照できるようになった これによりクラスターへの認証情報の設定が簡単になり、セキュリティも向上する	10/18

🍁 11月のアップデート

そしてre:Inventの月!怒濤のアップデート！ 全体的にクラウドの分析環境の統一やモダナイズを進めて、データを活用できるようになるまでの時間短縮や分析クオリティの最大化を目指しているように感じました。ゼロETLアプローチもそうですし、
データシェアの拡張、多次元分析の強化、GenSQL機能強化などなどなどRedshiftの進化が止まりません。

タイトル	要約	公開日
Amazon Redshift マルチ AZ が RA3 クラスター向けに一般提供開始 詳細はこちら	RA3ノードタイプのRedshiftクラスターでマルチAZ配置が利用できるようになった 複数のアベイラビリティゾーンにノードを分散配置することで可用性が向上する 大規模なミッションクリティカルなワークロードに適している	11/01
AWS が Amazon Aurora MySQL と Amazon Redshift のゼロ ETL 統合の一般提供開始を発表 詳細はこちら	Aurora MySQLとRedshiftのゼロETLインテグレーションがGA Aurora MySQLのデータをETLなしにRedshiftにリアルタイムレプリケーション 設定は簡単、数クリックでレプリケーション設定可能 Redshiftの分析機能をAurora MySQLデータに適用できる	11/07
Amazon Redshift が Redshift Serverless の新しいコンピューティングコストの管理設定である MaxRPU をリリース 詳細はこちら	RedshiftにMaxRPU機能が追加 クエリパフォーマンスの自動スケーリングを実現 コンピュートコストも制御可能 パフォーマンスとコストの最適化ができる	11/09
Amazon Redshift で CNAME のサポートを開始 詳細はこちら	RedshiftがCNAMEレコードをサポート Redshiftクラスターへの接続時にCNAME使用可 接続の管理がしやすくなる セキュリティと使いやすさが向上	11/17
Amazon Redshift Serverless、AWS 中国 (北京) リージョンでの一般提供を開始 詳細はこちら	Redshift Serverlessが中国(北京)リージョンで利用可能に 中国でもコスト効率の高い分析機能を利用できるように 中国のユーザーは低コストでスケーラブルな分析が可能に 中国でのビジネス分析needsに対応	11/20
Amazon Redshift が AWS Glue の列レベルの統計との統合を発表 詳細はこちら	RedshiftとAWS Glueの統合が強化された Glue Crawlerで収集した列の統計がRedshiftに直接取り込まれるようになった これによりクエリのパフォーマンスが最適化される ETLプロセスが簡略化され、データ分析が高速化する	11/20
Redshift でプロビジョニングされた同時実行スケーリングとサーバーレス自動スケーリングが Create Table As Select (CTAS) を新たにサポート 詳細はこちら	Redshiftのプロビジョンドコンカレンシーがサーバーレスで自動スケーリングされるようになった クエリの変動に合わせてコンカレンシーが自動調整される CTASクエリのパフォーマンスが大幅に向上する	11/26
Amazon Redshift、データ共有による複数のデータウェアハウスからの書き込みをサポート (プレビュー) 詳細はこちら	Redshiftがマルチデータウェアハウスへの同時書き込みをサポート データ共有を使用して複数のデータウェアハウスに直接書き込み可能に リアルタイム分析とバッチ処理を1つのクエリで実行できる	11/26
AWS Analytics は IAM アイデンティティセンターによりサービスをまたぐユーザーのデータアクセスを簡素化 詳細はこちら	AWS AnalyticsのユーザーデータアクセスをIAM Identity Centerで管理 ロールベースのアクセス制御によりセキュリティ強化 データアクセスを細かく制御可能に Analyticsユーザーの権限管理がしやすくなる	11/26
Amazon Redshift がネストされたオブジェクトへの新しいきめ細かなアクセスコントロール機能を発表 (プレビュー) 詳細はこちら	Redshiftで細かなアクセス制御がプレビュー利用可 ユーザーごとのテーブルや列レベルのアクセス制御 セキュリティ強化とデータアクセスの柔軟性向上 Redshiftの権限管理が細かく設定できるように	11/27
Amazon Redshift、データレイクのテーブルに対するマテリアライズドビューの増分更新をサポート (プレビュー) 詳細はこちら	Redshiftのマテリアライズドビューとデータレイクテーブルがインクリメンタルリフレッシュをサポート インクリメンタルリフレッシュにより処理が高速化 ストレージコストも大幅に削減可能 パフォーマンスとコストの両立が実現	11/27
Amazon Redshift、クエリのパフォーマンスを最適化する多次元データレイアウトを発表 (プレビュー) 詳細はこちら	Redshiftがマルチディメンショナルデータレイアウトをプレビューでサポート 解析性能が大幅に向上する 複雑な分析クエリも高速化できる データウェアハウスの柔軟性とパフォーマンスが向上	11/27
Amazon Redshift Serverless、AI 主導のスケーリングと最適化を発表 (プレビュー) 詳細はこちら	Redshift ServerlessがAI駆動のスケーリング最適化をプレビューでサポート AIによりクエリパフォーマンスが最大化 コンピュートコストも最小化できる パフォーマンスとコストのバランスが最適化 Serverlessのメリットが最大限に活用できる	11/27
AWS が Amazon RDS for MySQL と Amazon Redshift のゼロ ETL 統合を発表 (パブリックプレビュー) 詳細はこちら	Amazon RDS for MySQLとAmazon RedshiftのゼロETLインテグレーションがパブリックプレビューで利用可能に MySQLのデータをETLなしでリアルタイムにRedshiftにレプリケーションできる 設定は簡単で、数クリックでレプリケーションを設定できる MySQLとRedshiftのリアルタイムなデータ統合が実現する	11/28
AWS が Amazon Aurora PostgreSQL と Amazon Redshift のゼロ ETL 統合 (パブリックプレビュー) を発表 詳細はこちら	Aurora PostgreSQLとRedshiftのゼロETLインテグレーションがパブリックプレビューで利用可能に PostgreSQLデータをETLなしでRedshiftにリアルタイムレプリケーションできるように データ分析とトランザクション処理の統合が進む	11/28
Amazon Redshift での Apache Iceberg のサポートの一般提供開始を発表 詳細はこちら	RedshiftがApache Icebergをサポート Icebergテーブルを直接クエリできるように データレイクとの統合が進む データウェアハウスとデータレイクの一体運用が可能に	11/29
Amazon Redshift Serverless の管理性とユーザビリティの機能強化を発表 詳細はこちら	Redshift Serverlessに新たな管理機能とユーザビリティ機能が追加された クラスターの作成、スケーリング、モニタリングが向上し、運用がしやすくなる クエリキャッシュ、クエリプラン管理などの機能が追加され、パフォーマンスが向上 コンソール上からの操作性が大幅に改善され、ユーザビリティがアップ これらによりTCOの削減とServerlessのメリット最大化が実現される	11/29
Amazon Redshift が行レベルセキュリティ強化の一般提供を発表 詳細はこちら	Redshiftの行レベルセキュリティが強化された テーブル内の行へのユーザーアクセスを細かく制御できる 行フィルターと静的行セキュリティポリシーで柔軟な制御が可能 データ保護とコンプライアンス要件への対応が向上する セキュリティとデータアクセスの柔軟性が両立	11/29
Amazon Q の生成系 SQL が Amazon Redshift クエリエディタで利用可能に (プレビュー版) 詳細はこちら	Redshiftに生成的SQLクエリエディターがプレビューで追加 自然言語でクエリの意図を説明するだけでSQLが生成される 開発者の生産性が大幅に向上する コードの品質が高まり、コストも削減できる SQL開発プロセスが革新的に進化する	11/29
Amazon Redshift がメタデータセキュリティのサポートを開始してマルチテナントアプリケーションを簡素化 詳細はこちら	Redshiftにメタデータセキュリティとテナントアプリケーション機能が追加 メタデータへのアクセス制御でセキュリティが強化 テナントアプリケーションでデータ分離が実現 複数テナントのRedshift利用を安全に可能に セキュリティと柔軟性が向上する	11/29

🎄 12月のアップデート

ということで12月は一息落ち着きました(笑)しかしSUPERデータタイプの列サイズの拡大も便利ですね。より大きなデータオブジェクトの取り込みができるので保管するための前処理も必要なくなるケースもあるのではないでしょうか。

タイトル	要約	公開日
Amazon RedshiftはSUPERデータ型の列サイズのサポートを16MBに拡張しました 詳細はこちら	Redshiftのスーパーデータカラムサイズが16MBに拡大 従来の2倍のサイズの列データを格納できるように 大容量データのRedshift利用が可能に データウェアハウスの柔軟性が向上 大規模データ処理ニーズに対応できる	12/04

ということで毎年恒例？のRedshiftの年間アップデートまとめでした。

さて、この情報まとめですが、Amazon Bedrock を利用し、Bedrock上で利用可能なAnthropicのClaude 2などの複数のモデルを選択、各アップデートの内容を数行の箇条書きでサマリし、その結果を表に変換、最後にマークダウンを出力させ、それをベースにコメント等を記載して作成作業を効率化しました。（実際はインプットするプロンプトに試行錯誤して苦労し、まぁまぁ時間かかりましたが(笑)）

さらに詳しく

Amazon Redshiftに関するさらに詳しい情報は、公式ページや公式ドキュメントをご覧ください。