概要
AWSのQuickSightでS3に格納したCSVファイルを可視化する方法をまとめていきます。
すでに調べればいろいろと出てくるかと思いますが、とりあえず自分で実施した内容をまとめてみました。
2021年7月のJADERのデータから被疑薬、相互作用の医薬品について一般名と有害事象の関係を事前に計算したファイルを使用しています。
S3バケットの作成
- CSVファイルを格納するS3バケットを作成します。
- ファイルを格納するフォルダも作成してその中にファイルを格納します。
- フォルダを作成しないと後述のAthenaのところでクエリに失敗しました。
- Athenaの結果を格納するバケットも作成します。
AWS Glue
- AthenaでS3上のファイルにクエリを実行する場合、その情報をカタログに登録する必要があります。そのためまずはGlueを使ってカタログを作成します。
- テーブルを一から作成することも可能ですが今回はクローラーを使います。
- コンソールからAWS Glueを開いてクローラーの追加を行います。
- 名前は任意に設定します。
-
読み込ませたいCSVファイルが入っているパスを選択します。
-
ロールの選択では作成をします。
-
クローラのスケジュールはオンデマンドで実行にします。
-
作成したクローラを選択してクローラの実行を押下すれば以下のように画面が進みデータを取得します。
Athena
- ワークのグループの作成を行います。
- Athena engineはversion2を選択します。
- 作成すると以下のようにワークグループができるのワークグループを切り替えるボタンを押下します。
-
クエリエディタを押下しデータソースはAwsDataCatalog データベースはGlueのところで作成したものを選択します。
-
クエリのところにはSQLを書けるので抽出したい内容に合わせます。