🎄２０２３年に発表された Amazon Redshift のアップデートまとめ🎄

AWS Analytics Advent Calendar 2023 企画

この記事を作成している時点では2023年はまだ少し残されておりますが、今年発表されたRedshiftのアップデートを一覧でまとめたいと思います。
各アップデートにはタイトル、リンク、要約、および公開日が含まれています。

❄️ 1月のアップデート

2022年末ではゼロETLの発表をはじめ、AWS内のデータソースからシームレスにデータを移動、統合できる機能が充実し始めました。re:Inventの怒濤の発表の後か1月は一息。

タイトル	要約	公開日
Amazon Redshift 同時実行スケーリングを中国 (北京、Sinnet が運営) と中国 (寧夏、NWCD が運営) のリージョンでリリース詳細はこちら	Redshiftの自動スケーリング機能であるコンカレンシースケーリングが、中国の北京リージョンと寧夏リージョンで利用できるようになった。コンカレンシースケーリングはワークロードの変動に応じて自動的にクラスターのコンピューティングリソースをスケールさせる機能。中国のユーザーはコスト最適化やパフォーマンスの改善が可能になる。中国リージョンでの料金モデルも他のリージョンと同様になった。	01/31

💕 2月のアップデート

2022年末にMERGE、ROLLUP、CUBE、GROUPING SETSなどのSQL機能強化に加え多次元分析が便利になりますねー

タイトル	要約	公開日
Amazon Redshift、GROUP BY 句でロールアップ、キューブ、グループ化セットの一般提供を発表詳細はこちら	Redshiftのクエリ機能にロールアップキューブとグルーピングセットが追加された。これらは集計テーブルのサイズ削減とクエリパフォーマンスの最適化に役立つ。ロールアップキューブは多次元データの集計に適している。グルーピングセットはクエリの柔軟性を高めるのに有用。	02/28

🌸 3月のアップデート

インスタンスの管理をしなくて済むサーバーレス版 Redshiftですが、試してみたくても初期サイズが32RPUで大きいなと思っているユーザーも多かったんじゃないかなと思います。初期サイズが8RPUになったのでグッと使いやすくなりました。
ちなみにRPUは、Redshift Processing Unitの略でコンピューティング容量をRPUという単位で指定します。

タイトル	要約	公開日
Amazon Redshift クエリエディタ V2 が AWS GovCloud (米国) リージョンで利用可能に詳細はこちら	Redshiftの新バージョンのクエリエディターがAWS GovCloudで利用できるようになった。高度なクエリ編集、実行、分析が可能。政府機関のユーザーがRedshiftをより使いやすくなる。セキュリティとコンプライアンス面で政府ユーザーのニーズに対応。	03/07
Amazon Redshift が 20 万テーブルまでサポートを拡張詳細はこちら	従来のRedshiftは1クラスター当たり最大1万のテーブルまでだった。新機能により、1クラスター当たりのテーブル数が20万まで引き上げられた。これにより、非常に大規模なデータウェアハウスを1つのRedshiftで構築できる。テーブル数の増加に合わせてメタデータのキャッシュ機構が改善されている。大量のテーブルを扱う場合のパフォーマンスが維持できる。	03/08
Amazon Redshift Serverless のデータウェアハウスの基本容量を下げる構成のお知らせ詳細はこちら	Amazon Redshift Serverless の最小ベースキャパシティが32RPUから8RPUに削減された。これにより、Serverlessのコスト最適化がしやすくなる。 Serverlessは使用した分のみ課金されるため、最小容量の削減は大きい。 100GBからのスケールアップが可能なので、ニーズに合わせて最適な容量が選択できる。データウェアハウスのコストを最小限に抑えられる。	03/09
AWS が新しい Amazon Redshift 入門ガイド付きエクスペリエンスを発表詳細はこちら	Redshiftの設定と使用法を初心者向けに分かりやすくする新機能が提供される。インタラクティブなガイドに従ってRedshiftクラスターの作成からデータのロード、クエリの実行までをステップバイステップで実施できる。ベストプラクティスに基づいた推奨設定が提示されるので、スムーズにRedshiftを使用開始できる。データベース設計やETL処理などに関する豊富なドキュメントが用意されている。	03/23

🌱 4月のアップデート

4月もなかなか良いアップデートがありました。動的データマスキングはクエリ発行元の要件に応じてデータマスキングが使えるので、事前のETLでデータをマスクしなくて済むので便利ですね。文字列クエリのパフォーマンスが最大63倍も素晴らしいですね。大量データを高速に処理する場合にはデータを圧縮して格納・処理する事がパフォーマンスに有効です。圧縮する事でデータのサイズが小さくなるため、ストレージとメモリ間、ネットワークを介してのデータ転送が効率的になりますし、ストレージからの読み書きの時間が短縮されます。キャッシュにも多くのデータを保持できるので圧縮・解凍処理によるオーバーヘッドを加味しても全体的な処理速度が向上します。こういう地道な改善がチリツモでパフォーマンス向上に繋がりますね。

タイトル	要約	公開日
Amazon Redshift で文字列クエリのパフォーマンスを最大 63 倍向上詳細はこちら	新しいクエリ最適化機能により、文字列処理クエリのパフォーマンスが最大63倍に向上した。文字列のDictionary Encoding、文字列処理の並列化などの技術が導入された。大量のテキストデータを扱う分析クエリが高速化されるため、Redshiftの使い方がさらに広がると期待できる。	04/13
Amazon Redshift が動的データマスキングの一般提供を開始詳細はこちら	Redshiftに動的データマスキング機能が追加された。クエリ結果から個人情報や機密データをマスクできるようになる。マスキングルールを柔軟に定義でき、データアクセスコントロールが強化される。機密データの暴露リスクが低減し、コンプライアンス強化に役立つ。	04/20
Amazon Redshift が MERGE SQL コマンドの一般提供を開始詳細はこちら	RedshiftのSQLにMERGE文がサポートされた。 1つのステートメントでデータの挿入と更新を実行できる。 ETL処理を効率化し、コードがシンプルになる。大量データのupsertにかかる時間が短縮される。	04/20
Amazon Redshift が AWS Lake Formation を使用したデータ共有の一元的なアクセスコントロールに対応詳細はこちら	RedshiftでLake Formationを使ったセキュアなデータ共有が可能に。 Lake Formationに保存されたデータにRedshiftから直接クエリ実行できる。データソースを増やせるので、分析機能が拡張する。ファイアウォールやVPNなしでデータ共有が実現できる。	04/20

🌷 5月のアップデート

ストアドの自動コミットも地味だけど便利なアップデートですね。大規模なデータ変換や複雑なビジネスロジックを扱う場合、エラー処理やトランザクションの管理が容易になり便利になると思います。また、中国リージョンの機能強化も粛々と進めてる感じしますね。

タイトル	要約	公開日
Amazon Redshift が新たに中東、欧州、アジアパシフィックリージョンで ra3.xlplus インスタンスをリリース詳細はこちら	Redshiftの大容量インスタンス「RA3 xlplus」が追加のAWSリージョンで利用可能になった。メモリ最適化インスタンスで、大規模データウェアハウスに適している。より多くの地域で大容量Redshiftクラスターをデプロイできるようになる。大容量クエリや同時実行クエリのパフォーマンスが向上する。	05/01
Amazon Redshift データ共有が AWS 中国リージョンで提供開始詳細はこちら	Redshiftのデータ共有機能が中国の北京と寧夏リージョンで利用可能になった。中国リージョンのRedshiftインスタンス間でセキュアなデータ共有が実現する。ファイアウォールやVPNなしで、クロスアカウントのデータ共有ができる。中国のユーザーは分析基盤の構築と運用がしやすくなる。	05/08
Amazon Redshift のストアドプロシージャで、ステートメントの自動コミットのサポートを発表詳細はこちら	Redshiftのストアドプロシージャで自動コミット機能がサポートされた。ストアドプロシージャ内の一連の操作を1つのトランザクションとして扱える。トランザクションの整合性が保証され、エラー時のロールバックも実現できる。 ETL処理などのデータパイプラインがより信頼性高く構築できる。	05/23

🌞 6月のアップデート

Amazon Kinesis FirehoseとはリアルタイムなストリーミングデータをKinesis経由でS3やRedshiftに保存できるサービスですが、これがServerlessにも対応し、ますます便利に。そしてゼロETLのパブリックプレビュー。異種データベース間のリアルタイムレプリケーションの構成は本当に面倒で工数もかかる作業だったりするんですが、本当に簡単なステップで実現出来るのがすごいです。

タイトル	要約	公開日
Amazon Kinesis Data Firehose が Amazon Redshift Serverless へのデータストリーム配信のサポートを追加詳細はこちら	FirehoseがRedshift Serverlessへのリアルタイムデータ配信に対応した。簡単な設定で、ストリーミングデータをRedshift Serverlessにロードできる。サーバレスな分析基盤の構築がしやすくなる。ストリーミングとバッチの両方のデータをRedshiftで扱える。	06/19
Amazon Redshift でデータウェアハウスを暗号化するエクスペリエンスが向上詳細はこちら	Redshiftのデータ暗号化設定がより簡単になった。インタラクティブなガイドに従って、簡単なステップで暗号化を有効化できる。暗号化キーの管理もシームレスに行える。セキュリティ強化とコンプライアンス遵守がしやすくなる。	06/21
Amazon Redshift が ThoughtSpot とのネイティブコンソール統合を発表詳細はこちら	RedshiftコンソールからThoughtSpotへの直接接続が可能に。 ThoughtSpotのBIツールをRedshiftのデータに簡単に接続できる。インタラクティブな分析とダッシュボード作成がしやすくなる。 BI活用の敷居が下がり、洞察の取得が高速化する。	06/26
AWS が Amazon Aurora MySQL と Amazon Redshift のゼロ ETL 統合 (パブリックプレビュー) を発表詳細はこちら	Aurora MySQLのデータをETLなしでRedshiftにリアルタイム複製できる機能がプレビュー公開。 Aurora MySQLとRedshiftのデータを常に同期させることが可能に。トランザクションデータのデータウェアハウジングが簡単に。リアルタイム分析とバッチ分析をシームレスに実現できる。	06/28

🎆 7月のアップデート

Redshiftを通して機械学習の機能が利用できる事をご存じでしょうか？機械学習を最初から…は敷居が高いかもしれませんが、SQLインターフェースから機械学習が使えると敷居がぐっと下がりますよね。Icebergもおもしろいですね。IcebergテーブルはHadoopやSparkなどのデータ処理フレームワークで広く使用されています。Redshiftでこれらのテーブルを直接クエリできることで、大規模データ分析が便利になりますね。

タイトル	要約	公開日
Amazon Redshift で SELECT SQL ステートメントの QUALIFY 句のサポートを開始詳細はこちら	RedshiftのSELECT文にQUALIFY句が追加され、行フィルタリングの柔軟性が向上。アナリティクスクエリの複雑さが軽減され、パフォーマンスも最適化される。重複データの削減や条件付き集計などにQUALIFY句を活用できる。	07/17
Amazon Redshift ML が Amazon Forecast との統合を発表詳細はこちら	RedshiftからForecastの機械学習機能を直接呼び出し実行できるようになった。需要予測や在庫最適化など、時系列分析が簡単に実装できる。分析基盤を拡張し、ビジネスインサイトの生成が容易に。 ML活用の敷居が下がり、予測モデルの精度が向上する。	07/20
Amazon Redshift が AWS Glue データカタログの自動マウントを発表詳細はこちら	Glue Data Catalogに登録されたデータベース、テーブル、パーティションなどのメタデータがRedshiftクラスター内に自動的にマウントされるユーザーはGlueのデータカタログを手動でマウントする必要がなくなり、設定が大幅に簡素化される Redshiftのクエリエディタやビジネスインテリジェンスツールから、Glue Data Catalogのメタデータを参照して直接クエリが可能	07/25
Amazon Redshift で Apache Iceberg テーブルのクエリをサポート開始詳細はこちら	Icebergテーブルのスキーマ情報やメタデータがRedshiftに認識されるようになったこれによりRedshiftでIcebergテーブルを対象としたクエリの実行が可能に Icebergは大規模データ処理に適したオープンソースのテーブルフォーマットで、HadoopやSparkなどで利用されている RedshiftからIcebergテーブルを活用できることで、大規模データ分析がしやすくなる	07/25

🏖️ 8月のアップデート

Sparkはインメモリで大量のデータ処理を高速に実行できます。Sparkの開発者がRedshift上でSparkアプリを自由に構築して実行できるようになるとRedshiftの強力なデータウェアハウス機能とSparkのリッチなデータ処理機能を一元的に活用してデータ分析処理の効率が向上しそうです。

タイトル	要約	公開日
AWS が Amazon Redshift の Apache Spark との統合のオープンソース化を発表詳細はこちら	RedshiftとSparkの連携が向上し、RedshiftのデータをSparkで扱いやすくなった Spark SQLを使用してRedshiftテーブルに直接アクセスできるようになったまた、SparkからRedshiftへの高速なデータ挿入もサポートされたこれにより、Sparkの分析機能をRedshiftのデータに簡単に適用できるようになる	08/01

🍂 9月のアップデート

AWS Lake Formationを使用すると、Redshiftデータシェア内のテーブルやビューに対する権限をLake FormationのAPIやAWSコンソールを使用して表示、変更、監査できるのですが、加えて他のAWSリージョンにあるRedshiftのデータシェアを利用させることができるようになりました。複数リージョンのデータを一元分析できるのは便利。

タイトル	要約	公開日
Amazon Redshift が AWS Lake Formation によるクロスリージョンデータ共有に対応詳細はこちら	Redshiftが異なるAWSリージョンにあるクラスター間でのデータ共有をサポート Lake Formationを使用して、リージョンをまたいだデータアクセスを管理これにより、リージョン内のデータだけでなく、複数リージョンのデータをまとめて分析可能に	09/12
Amazon Redshift がワークロード管理 (WLM) におけるロールベースのアクセスコントロールのサポートを発表詳細はこちら	RedshiftのWLM(ワークロード管理)で、IAMロールベースのアクセス制御が利用できるように特定のユーザーやグループに対して、WLMキューへのアクセスを細かく制御可能にセキュリティが強化され、WLMの運用がしやすくなる	09/25

🎃 10月のアップデート

年末のre:Inventに向けてここ数ヶ月は少なめですね（笑）。しかしVS CodeからRedshiftが利用できるのは便利中の便利。AWS Toolkit をVSCodeにインストールすることで利用可能となりますよー

タイトル	要約	公開日
AWS が Amazon Redshift と Visual Studio Code の統合を発表詳細はこちら	Redshiftクラスターに接続し、クエリの編集や実行がVS Code上で可能にクエリ結果の視覚化や自動補完など、開発者向けの機能を活用できる VS Codeの生産性をRedshiftのクエリ作業に活かせる	10/17
自動入力の候補が Amazon Redshift クエリエディタ V2 で利用可能に詳細はこちら	クエリ編集時にテーブル名やカラム名などを自動的に補完する機能が追加ユーザーの入力を予測して適切な候補を提示するので、クエリ作成がしやすくなる補完候補はクラスター内のメタデータを参照して生成される	10/17
Amazon Redshift と AWS Secrets Manager の統合を発表詳細はこちら	RedshiftがSecrets Managerに保存された認証情報を参照できるようになったこれによりクラスターへの認証情報の設定が簡単になり、セキュリティも向上する	10/18

🍁 11月のアップデート

そしてre:Inventの月!怒濤のアップデート！全体的にクラウドの分析環境の統一やモダナイズを進めて、データを活用できるようになるまでの時間短縮や分析クオリティの最大化を目指しているように感じました。ゼロETLアプローチもそうですし、
データシェアの拡張、多次元分析の強化、GenSQL機能強化などなどなどRedshiftの進化が止まりません。

タイトル	要約	公開日
Amazon Redshift マルチ AZ が RA3 クラスター向けに一般提供開始詳細はこちら	RA3ノードタイプのRedshiftクラスターでマルチAZ配置が利用できるようになった複数のアベイラビリティゾーンにノードを分散配置することで可用性が向上する大規模なミッションクリティカルなワークロードに適している	11/01
AWS が Amazon Aurora MySQL と Amazon Redshift のゼロ ETL 統合の一般提供開始を発表詳細はこちら	Aurora MySQLとRedshiftのゼロETLインテグレーションがGA Aurora MySQLのデータをETLなしにRedshiftにリアルタイムレプリケーション設定は簡単、数クリックでレプリケーション設定可能 Redshiftの分析機能をAurora MySQLデータに適用できる	11/07
Amazon Redshift が Redshift Serverless の新しいコンピューティングコストの管理設定である MaxRPU をリリース詳細はこちら	RedshiftにMaxRPU機能が追加クエリパフォーマンスの自動スケーリングを実現コンピュートコストも制御可能パフォーマンスとコストの最適化ができる	11/09
Amazon Redshift で CNAME のサポートを開始詳細はこちら	RedshiftがCNAMEレコードをサポート Redshiftクラスターへの接続時にCNAME使用可接続の管理がしやすくなるセキュリティと使いやすさが向上	11/17
Amazon Redshift Serverless、AWS 中国 (北京) リージョンでの一般提供を開始詳細はこちら	Redshift Serverlessが中国(北京)リージョンで利用可能に中国でもコスト効率の高い分析機能を利用できるように中国のユーザーは低コストでスケーラブルな分析が可能に中国でのビジネス分析needsに対応	11/20
Amazon Redshift が AWS Glue の列レベルの統計との統合を発表詳細はこちら	RedshiftとAWS Glueの統合が強化された Glue Crawlerで収集した列の統計がRedshiftに直接取り込まれるようになったこれによりクエリのパフォーマンスが最適化される ETLプロセスが簡略化され、データ分析が高速化する	11/20
Redshift でプロビジョニングされた同時実行スケーリングとサーバーレス自動スケーリングが Create Table As Select (CTAS) を新たにサポート詳細はこちら	Redshiftのプロビジョンドコンカレンシーがサーバーレスで自動スケーリングされるようになったクエリの変動に合わせてコンカレンシーが自動調整される CTASクエリのパフォーマンスが大幅に向上する	11/26
Amazon Redshift、データ共有による複数のデータウェアハウスからの書き込みをサポート (プレビュー) 詳細はこちら	Redshiftがマルチデータウェアハウスへの同時書き込みをサポートデータ共有を使用して複数のデータウェアハウスに直接書き込み可能にリアルタイム分析とバッチ処理を1つのクエリで実行できる	11/26
AWS Analytics は IAM アイデンティティセンターによりサービスをまたぐユーザーのデータアクセスを簡素化詳細はこちら	AWS AnalyticsのユーザーデータアクセスをIAM Identity Centerで管理ロールベースのアクセス制御によりセキュリティ強化データアクセスを細かく制御可能に Analyticsユーザーの権限管理がしやすくなる	11/26
Amazon Redshift がネストされたオブジェクトへの新しいきめ細かなアクセスコントロール機能を発表 (プレビュー) 詳細はこちら	Redshiftで細かなアクセス制御がプレビュー利用可ユーザーごとのテーブルや列レベルのアクセス制御セキュリティ強化とデータアクセスの柔軟性向上 Redshiftの権限管理が細かく設定できるように	11/27
Amazon Redshift、データレイクのテーブルに対するマテリアライズドビューの増分更新をサポート (プレビュー) 詳細はこちら	Redshiftのマテリアライズドビューとデータレイクテーブルがインクリメンタルリフレッシュをサポートインクリメンタルリフレッシュにより処理が高速化ストレージコストも大幅に削減可能パフォーマンスとコストの両立が実現	11/27
Amazon Redshift、クエリのパフォーマンスを最適化する多次元データレイアウトを発表 (プレビュー) 詳細はこちら	Redshiftがマルチディメンショナルデータレイアウトをプレビューでサポート解析性能が大幅に向上する複雑な分析クエリも高速化できるデータウェアハウスの柔軟性とパフォーマンスが向上	11/27
Amazon Redshift Serverless、AI 主導のスケーリングと最適化を発表 (プレビュー) 詳細はこちら	Redshift ServerlessがAI駆動のスケーリング最適化をプレビューでサポート AIによりクエリパフォーマンスが最大化コンピュートコストも最小化できるパフォーマンスとコストのバランスが最適化 Serverlessのメリットが最大限に活用できる	11/27
AWS が Amazon RDS for MySQL と Amazon Redshift のゼロ ETL 統合を発表 (パブリックプレビュー) 詳細はこちら	Amazon RDS for MySQLとAmazon RedshiftのゼロETLインテグレーションがパブリックプレビューで利用可能に MySQLのデータをETLなしでリアルタイムにRedshiftにレプリケーションできる設定は簡単で、数クリックでレプリケーションを設定できる MySQLとRedshiftのリアルタイムなデータ統合が実現する	11/28
AWS が Amazon Aurora PostgreSQL と Amazon Redshift のゼロ ETL 統合 (パブリックプレビュー) を発表詳細はこちら	Aurora PostgreSQLとRedshiftのゼロETLインテグレーションがパブリックプレビューで利用可能に PostgreSQLデータをETLなしでRedshiftにリアルタイムレプリケーションできるようにデータ分析とトランザクション処理の統合が進む	11/28
Amazon Redshift での Apache Iceberg のサポートの一般提供開始を発表詳細はこちら	RedshiftがApache Icebergをサポート Icebergテーブルを直接クエリできるようにデータレイクとの統合が進むデータウェアハウスとデータレイクの一体運用が可能に	11/29
Amazon Redshift Serverless の管理性とユーザビリティの機能強化を発表詳細はこちら	Redshift Serverlessに新たな管理機能とユーザビリティ機能が追加されたクラスターの作成、スケーリング、モニタリングが向上し、運用がしやすくなるクエリキャッシュ、クエリプラン管理などの機能が追加され、パフォーマンスが向上コンソール上からの操作性が大幅に改善され、ユーザビリティがアップこれらによりTCOの削減とServerlessのメリット最大化が実現される	11/29
Amazon Redshift が行レベルセキュリティ強化の一般提供を発表詳細はこちら	Redshiftの行レベルセキュリティが強化されたテーブル内の行へのユーザーアクセスを細かく制御できる行フィルターと静的行セキュリティポリシーで柔軟な制御が可能データ保護とコンプライアンス要件への対応が向上するセキュリティとデータアクセスの柔軟性が両立	11/29
Amazon Q の生成系 SQL が Amazon Redshift クエリエディタで利用可能に (プレビュー版) 詳細はこちら	Redshiftに生成的SQLクエリエディターがプレビューで追加自然言語でクエリの意図を説明するだけでSQLが生成される開発者の生産性が大幅に向上するコードの品質が高まり、コストも削減できる SQL開発プロセスが革新的に進化する	11/29
Amazon Redshift がメタデータセキュリティのサポートを開始してマルチテナントアプリケーションを簡素化詳細はこちら	Redshiftにメタデータセキュリティとテナントアプリケーション機能が追加メタデータへのアクセス制御でセキュリティが強化テナントアプリケーションでデータ分離が実現複数テナントのRedshift利用を安全に可能にセキュリティと柔軟性が向上する	11/29

🎄 12月のアップデート

ということで12月は一息落ち着きました(笑)しかしSUPERデータタイプの列サイズの拡大も便利ですね。より大きなデータオブジェクトの取り込みができるので保管するための前処理も必要なくなるケースもあるのではないでしょうか。

タイトル	要約	公開日
Amazon RedshiftはSUPERデータ型の列サイズのサポートを16MBに拡張しました詳細はこちら	Redshiftのスーパーデータカラムサイズが16MBに拡大従来の2倍のサイズの列データを格納できるように大容量データのRedshift利用が可能にデータウェアハウスの柔軟性が向上大規模データ処理ニーズに対応できる	12/04

ということで毎年恒例？のRedshiftの年間アップデートまとめでした。

さて、この情報まとめですが、Amazon Bedrock を利用し、Bedrock上で利用可能なAnthropicのClaude 2などの複数のモデルを選択、各アップデートの内容を数行の箇条書きでサマリし、その結果を表に変換、最後にマークダウンを出力させ、それをベースにコメント等を記載して作成作業を効率化しました。（実際はインプットするプロンプトに試行錯誤して苦労し、まぁまぁ時間かかりましたが(笑)）

さらに詳しく

Amazon Redshiftに関するさらに詳しい情報は、公式ページや公式ドキュメントをご覧ください。