S3 に保管されたデータを QuickSight で可視化するまでの流れをブログ化しました。
「S3 は普段から利用しているが、QuickSight は未経験」という方向けの内容です。

はじめに

システム運用を担当していると
「データが見たい」
「データを集計して欲しい」
という要望・作業依頼を受けることがあります。

データの属性によっては「業務での意思決定に必要」な場面も多く、また、「鮮度が重要なため常に最新のデータが必要」という理由により、割と高い温度感での集計実施を求められることが増えています。
その一方、昨今のマイクロサービスブームの影響により、必要な情報が複数のシステムに分散してしまい、「集計担当官」を設けなければ、欲しい情報1つすらままならない、という状況もちらほら見られます。

システムには「予め決められたことを、その通りに動作する」という原理原則があります。「データが見たい」という要望の裏には「いまのシステムでは欲しい情報が得られない」という悲しい現実があります。

もし「集計担当官」という役職を設けて、専属の作業者をアサインできるのであれば、集計作業自体は問題になりません。しかし、実際のところは「システム業務を担当するエンジニアが、付帯業務として集計を実施する」という運用方針になることが多いです。

これにより
①エンジニアは片手間で集計しているため、集計アウトプットが必ずしも高くはない
②「データが見たい」と依頼した人のもとには、その依頼とマッチするような結果が必ずしも得られない → 集計を再依頼する
という負のループが回ってしまうことがあります。

「データベース」と「データを見たい非エンジニア」
をスムーズに繋げるルートがない（間にエンジニアが入らなければデータのやり取りができない）ことが問題の原因のため、「ある程度の検索柔軟性を保ちつつ、非エンジニアでも操作可能なUIで、環境用意がエンジニアの作業負荷ならずに済むデータ可視化・集計システム」用意できれば、エンジニアを介さずとも「データを見たい」という要望を叶えることができます。

今回はその簡易的に作成できる可視化・集計システムの1つとして「Amazon QuickSight」に触れてみました。

Amazon QuickSightとは

公式 Amazon QuickSight

Amazon QuickSight は、AWS がサーバレスで提供する BI（Business Intelligence）サービスの1つです。
BI サービスとしてデータの集計・可視化ができ、そのデータ参照先として「S3, RDS, Aurora, DynamoDB, Timestream」などの AWS サービス群が利用できます。
データ自体が存在するならば、自前で集計・可視化環境を構築せずとも、QuickSight 経由でそれらを実現することができます。

QuickSight で作成したダッシュボードは、Emailなどで別ユーザとも共有可能です。

（画像引用元: Amazon QuickSight の仕組み）

公式が QuickSight のサンプルを公開しているので、こちらをご覧になれば、QuickSight の表現の幅が伝わると思います。

日本語版: 小売り業界の売上分析ダッシュボード
英語版: Amazon QuickSight Gallery

ハンズオン

QuickSight のはじめの一歩として、「S3 に保存されたデータの可視化」をやってみます。

今回利用するリソースは
- Amazon S3
- Amazon QuickSight

の2つです。

可視化用のデータとして、以下を data.csv として利用します。

id,name,age,gender,pc-os,mobile-os
00001,Ken,40,man,windows,android
00002,Judy,30,woman,windows,android
00003,Dybit,20,man,windows,ios
00004,Eubda,35,woman,windows,ios
00005,Ashton,30,man,mac,android
00006,Gwendolyn,25,woman,mac,android
00007,Cade,28,man,mac,android
00008,Jamie,41,woman,mac,ios
00009,Korbin,23,man,mac,ios
00010,Citlalli,32,man,mac,ios

S3の準備

今回のハンズオン用の S3 を作成して、data.csv をアップロードします。

S3 のデータを QuickSight で読み取るには、マニフェストファイルが必要になります。
公式がマニフェストファイルのフォーマットを公開しており、こちらをコピーして適切に加工すれば、そのまま利用できます。

マニュフェストファイルのフォーマット

{
    "fileLocations": [
        {
            "URIs": [
                "uri1",
                "uri2",
                "uri3"
            ]
        },
        {
            "URIPrefixes": [
                "prefix1",
                "prefix2",
                "prefix3"
            ]
        }
    ],
    "globalUploadSettings": {
        "format": "CSV",
        "delimiter": ",",
        "textqualifier": "'",
        "containsHeader": "true"
    }
}

各項目の意味は
- fileLocations: QuickSight が取得するファイルの場所
- globalUploadSettings: ファイルの設定（ファイル形式、区切り文字、ヘッダーの有無）

なので、ハンズオンのファイル data.csv に沿って記述すると以下になります。

manifest.json

{
    "fileLocations": [
        {
            "URIs": [
                "https://<S3のバケット名>.s3.amazonaws.com/data.csv"
            ]
        }
    ],
    "globalUploadSettings": {
        "format": "CSV",
        "delimiter": ",",
        "containsHeader": "true"
    }
}