※2018/06/14 時点の情報です。
Asia Pacific (Tokyo) → 13.113.244.32/27
RedshiftのSGに登録してあげたら、ちゃんとクエリできるようになりました。
https://docs.aws.amazon.com/ja_jp/quicksight/latest/user/regions.html
こちらの日本語版ドキュメントが追いついていなくて東京リージョンが追加されておらず、
https://docs.aws.amazon.com/quicksight/latest/user/regions.html
こちらのEnglish版ドキュメントにはバッチリ書いてありました。