こちらで説明しているレイクハウスフェデレーションでRedshiftに接続してみます。
Redshift環境の構築
実はこちらで手間取ったのでした。構築が初めてだったので。
VPCとサブネットの作成
以下のように、異なるAZに存在する3つのサブネットを作成します。今は一度にサブネットまで作成できるようになっていて便利ですね。
セキュリティグループの作成
セキュリティグループも作成します。以下を参考にインバウンドルールでポート5439を許可。
インターネットゲートウェイとルーティングテーブルの作成
外部からの接続を許可するのでインターネットゲートウェイを作成してVPCにアタッチ。サブネットの通信をインターネットゲートウェイにルーティングするようにルートテーブルを作成してサブネットにアタッチ。あれ、これでパブリックサブネットですね。
サブネットグループの作成
さらに、以下の記事にあるように、Redshiftの画面に移動して、サブネットグループとして上で作成したサブネットを登録します。
Redshiftクラスターの作成
これでRedshiftクラスター作成時に上で作成したVPCを選択できるようになります。あと、以下の記事にあるように [パブリックにアクセス可能] をオンにする をチェックします。
これで、インターネット経由でこのRedshiftクラスターにアクセスできるようになりました。
注意
ここでは、デモ目的でインターネットからのアクセスを許可していますが、本番環境構築時にはセキュリティ要件に応じて適切なネットワーク構成を組むようにしてください。
レイクハウスフェデレーションの設定
以下の手順に沿って、Databricks上で接続を作成します。
接続のテストが成功することを確認してください。
そして、作成した接続を用いて外部カタログを作成します。
これで、データエクスプローラからRedshiftにアクセスできるようになりました！
