14
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

<月刊>S3+DuckDB+GrafanaでQiita記事メトリクスのダッシュボードをつくる vol.1 構成の検討

14
Last updated at Posted at 2025-09-30

はじめに

ご存じの方もいらっしゃると思いますが、2025年1月の終わりごろにGrafanaでDuckDBを利用可能にするプラグインが登場したことが巷で少し話題となっていました。
先行してこの話題を取り上げていたこちらのブログを私も拝見し、社内でうまく活用できないか考えていたところでした。

ブログ中の以下の文言に誘われて、これはどうにか活用せねばと謎の使命感が湧いたのを覚えています。

S3 にログを置いておくだけで、必要なときだけ DuckDB が頑張る、そんな素敵な時代が来ました。
引用元:https://voluntas.ghost.io/grafana-duckdb-data-souce-plugin/

折しも、当社で運営しているこの記事が投稿されているOrganizationにおいて、記事のメトリクスの収集と可視化を自動化できないかという課題が上がっていました。

収集の部分は、GitHub Actionsを使用してQiita APIからメトリクスを取得し、GitHubのWikiに掲載する構成として構築し、運用を開始していたのですが、グラフにして分析しやすくする部分は未構築でした。ではどうしていたかというと、担当者が定期的にWikiを見てExcelに数値を入力し、Excelのグラフで可視化するというちょっとアレな運用を続けていました。

そこで、Qiita記事のメトリクスの可視化にS3+DuckDB+Grafanaで構築したダッシュボードを使おう、と取り組んだのが今回から始まる記事シリーズの内容です。
某趣味雑誌のようなタイトルを付けていますが、何回かに分けて構築する過程をご紹介していこうと思います。

第1回は、環境の構成を検討していきます。

今回作るものの全体像

本シリーズでは、以下に示すQiita記事のメトリクスダッシュボードをAWSに構築していきます。

完成品のダッシュボード

最初に、完成したダッシュボードはこんな感じです。
ダッシュボード.jpeg

少し恥ずかしいので一部にぼかしを入れていますが、以下のような項目を表やグラフで可視化しています。雰囲気は伝わるでしょうか。

  • Organization全体の投稿数、閲覧数、いいね数、ストック数
  • 著者別の投稿数、閲覧数、いいね数、ストック数
  • 記事別の閲覧数、いいね数、ストック数
  • 月別の投稿数、閲覧数

個人的な隠し目標として月1件以上投稿を設定しているので、今月の投稿がまだの場合は赤字で表示されます(このスクショで左上で赤くなっている部分です…)。

Grafanaを使うと、集計対象や時間範囲を動的に絞ったり、カーソルを当てた時点の値を簡単に確認できたりするので、圧倒的に便利になりました!

アーキテクチャ図

上記のダッシュボードは、以下の図で示したアーキテクチャの環境で動いています。

Grafanaアーキテクチャ図.jpg

Grafanaの稼働環境は、検討を重ねた上で、コスト面やその他制約などからEC2になりました。

メトリクスの収集とアップロードはGitHub Actionsで実行していますが、これは前述の経緯によるものなので、LambdaとEventBridgeスケジューラでも代用可能だと思います。

むしろ、GitHub Actionsのcron実行は開始時刻のぶれが十数分と大きいので、Lambda + EventBridgeスケジューラのパターンの方が良いかもしれません。

その他にも、ALBやCognitoなど、このコンポーネントいる?と思われる方もいらっしゃるかと思いますが、後述するいろいろな要件で必要になったものもあります。

環境構築の方法自体はクラスメソッドの方がすでに記事にされているのでこちらもお読みください。私も大変参考にさせていただきました。

要件・想定

可視化環境に対する要件と想定される利用状況をまとめます。

要件

可視化環境を作る上で、以下のような要件を定めました。

  • Qiita記事のメトリクスデータをS3上に保管し、DuckDBとGrafanaを使用して可視化できること
  • 社内のユーザーが誰でもセルフサインアップしてログインできること
  • 社内からのアクセスに限定すること

1つ目は今回の目的でもあったので、一番大きな要件です。

2つ目は、ユーザーを管理者側で作成して払い出す運用は負担になるので避けたかったため、ユーザーが好きなようにアカウントを作成して環境にログインできる構成を目指しました。
また、社内で興味がある方には広く開放したいとも考えていましたので、管理者への連絡なしに登録してダッシュボードを気軽に確認できることを目指しました。

1つのアカウントを使いまわす運用も考えられますが、セキュリティ的にもイケてないので不採用としました。

3つ目は、よくある制約だと思います。接続元のIPアドレスを制限するだけです。

想定

想定する利用状況は以下の通りとします。

  • ユーザーは20人(うち管理者は2名)
  • メトリクスの取得頻度は1日4回で、個別にファイルを保存する

想定するユーザー数は、現在の記事投稿者+ダッシュボードに興味がある追加ユーザーを含めた人数です。
メトリクスの取得頻度は、従来環境では毎朝1回でしたが、時間的解像度を上げるために、1日4回にすることにしました。

要件を満たすための技術選択

前述の要件を満たすために、使用するサービス・コンポーネントをどのように選択するかを考えていきます。

AthenaがあるけどなぜDuckDB?:DuckDB vs Athena

DuckDBを使うという目的があったため出来レース感もありますが、S3上のデータをクエリするという目的を果たすには、DuckDBの対抗馬としてAthenaを思い浮かべる方も多いと思います。

DuckDBとAthenaを簡単に比較します。

DuckDBとは

DuckDBは、オープンソースの列指向RDBMSで、データの頻繁な更新が少ないオンライン分析処理(OLAP)に特化しています。初版リリースは2019年、正式版リリースは2024年ですので、かなり新しい部類のデータベースですね。
公式ページでは軽量で高速であることがうたわれています。

データのソースとしては、CSV、Parquet、JSONなどに対応し、S3などのクラウドストレージに保管されているファイルの直接読み込みにも対応しています。
データのクエリにはSQLを使用できるので、学習コストも低いです。

今回扱うような、変更が発生しない時系列の統計データを分析するには相性がよさそうです。

Grafana用のプラグインはこちらのリポジトリで公開されています。Grafanaプラグインの公式カタログにはまだ掲載されていないため、Grafanaが稼働する環境に関連ファイルを手動で配置して導入する必要があります。

Athenaという手も

S3上のデータを分析するなら、Athenaがまず候補に上がります。
機能の詳細説明は割愛しますが、マネージドでサーバーレスで手軽に分析できるので、CloudWatchのログなどの解析に利用されている方も多いでしょう。

コスト面では、クエリ実行の都度、スキャンしたデータのサイズに応じて課金されるため、大量データのスキャン時にはネックになってきます。

DuckDBのコストの優位性

DuckDBとAthenaを使用する場合のコストを簡単に比較してみましょう。

料金は本記事執筆時点(2025年9月)の情報です。

条件

コスト算出に当たって、以下の条件も加えます。

共通の条件

  • メトリクスデータのサイズは、観測点1回当たり25KBとする
  • 1年分のデータを可視化の対象とする
  • 1日に同じデータに10回クエリするとする
  • データファイルは全体が読み出されるものとする
  • S3のストレージクラスは標準クラスとする
  • 各サービスはS3と同一リージョンで稼働する

DuckDBの条件

  • EC2インスタンス上で稼働するコストは対象外とする(Grafana側で考慮)
  • 1日の間で読み込んだデータはキャッシュする

DuckDBでは、S3上のファイルを読み込んでCREATE TABLEすると、読み込んだ内容がインメモリテーブルとしてキャッシュされるようです。
関連:https://github.com/duckdb/duckdb/discussions/6948#discussioncomment-8723353

コストの算出

1日当たりのコストを算出して比較したいと思います。

まず、1年分のメトリクスデータのサイズを算出しましょう。
25KB×4回/日×365日分=36.5MBです。

また、ファイルの数も算出します。
4ファイル/日×365日=1460ファイルです

Athenaのコスト
AthenaでS3上のデータをクエリする場合には、以下に対する料金が発生します。Athenaの場合は、クエリの実行のたびにデータが読み込まれてスキャンされます。

No. コスト項目 単価
1 SQLクエリでスキャンされたデータ量 USD 5.00/TB
2 S3に対するリクエスト数 USD 0.00037/1000リクエスト
3 S3からのデータ転送量 USD 0
(同一リージョンのため)

それぞれ計算しましょう。

1の「SQLクエリでスキャンされたデータ量」は、USD 5.00×0.000365TB×10回=USD 0.001825です。
2の「S3に対するリクエスト数」は、USD 0.00037×1460/1000リクエスト×10回=USD 0.0005402です。
3の「S3からのデータ転送量」は、同一リージョン内の転送であるためUSD 0です。

以上を合計すると、1日当たりUSD 0.0007227になります。

DuckDBのコスト
DuckDBでS3上のデータをクエリする場合は、以下に対する料金が発生します。キャッシュが効くため、データ転送が発生するのは初回のみです。

No. コスト項目 単価
1 S3に対するリクエスト数 USD 0.00037/1000リクエスト
2 S3からのデータ転送量 USD 0
(同一リージョンのため)

それぞれ計算しましょう。

1の「S3に対するリクエスト数」は、USD 0.00037×1460/1000リクエスト×1回=USD 0.00005402です。
2の「S3からのデータ転送量」は、同一リージョン内の転送であるためUSD 0です。

以上を合計すると、1日当たりUSD 0.00005402になります。

算出コストの比較

算出した結果を比べてみましょう。

サービス コスト
Athena USD 0.0007227
DuckDB USD 0.00005402

今回試算した条件では、DuckDBを使用した方がAthenaを使用した場合よりもクエリにかかるコストを92.5%削減できることが分かりました。

AthenaとDuckDBではS3に対するリクエストとS3からのデータ転送のコストは共通しています。しかし、Athenaはスキャンしたデータ量の課金額もさらに加わります。
DuckDBでデータのキャッシュが有効でなかった場合、つまりAthenaと同様に毎回リクエストしたとしても、25.2%の削減効果があります。

従って、1回取り込んだデータを何回もクエリするほど、DuckDBを使用する優位性がさらに向上するでしょう。

厳密にはS3からデータを取得する際には、HEADリクエストやLISTリクエストも発生しますが、今回の試算では簡単のため算出対象外としています。

Grafanaをどこで動かすべきか:AMG vs ECS vs EC2

続いて、Grafanaの実行環境をどこにするかを考えます。AWSでGrafanaを実行する環境としては以下の3パターンが考えられます。

  • Amazon Managed Grafana(AMG)
  • Fargateによるセルフホスト
  • EC2によるセルフホスト

各選択肢のコスト比較

各環境で動かした場合に、1か月当たりコストがどれだけ発生するか試算します。

セルフホストの場合、スペックは以下の想定とします。

  • スペックはt3.small(2 vCPU、メモリ2GB)相当
  • x86アーキテクチャのLinuxを使用
  • ストレージは20GB

稼働時間を限定できる場合は、業務時間内(5~22時)のみ稼働させることで、1日当たり17時間稼働、1か月当たり510時間の稼働とします。

今回の試算ではトラフィックの課金分は考慮しません。

AMGの場合
AMGでは、1か月あたりのアクティブユーザー数で課金されます。
編集・管理ユーザーがUSD 9、閲覧ユーザーがUSD 5です。

今回の利用例だと、管理者ユーザー2人、閲覧ユーザー18人ですので、USD 9/人×2人+USD 5/人×18人=USD 108となります。
運用コストは圧倒的に少ないですが、月1万円を優に超すのは少し高いですね…。

Fargateの場合
Fargateでセルフホストした場合を考えます。
課金されるのは、以下に示すようにvCPUとメモリに対してと永続ストレージ用のEFSに対してです。
使用しない時間帯に停止できるので、1か月の稼働時間は510時間とします。

項目 料金
vCPU USD 0.05056/(時間・v CPU)
メモリ USD 0.00553/(時間・GB)
EFS ストレージ(スタンダード) USD 0.36/(月・GB)

Fargateでt3.small相当とする場合、2 vCPUを選ぶとメモリは最低4GBを選ぶ必要がありますので、2 vCPU、メモリ4GBで計算します。

vCPU分は、USD 0.05056/(時間・vCPU)×510時間×2 vCPU=USD 51.5712です。
メモリ分は、USD 0.00553/(時間・GB)×510時間×4 GB=USD 11.2812です。
ストレージ分は、USD 0.36×1か月×20=USD 7.2です。

以上を合計すると、USD 70.0524です。

EC2の場合
EC2でセルフホストした場合を考えます。
課金されるのは、以下に示すようにインスタンスタイプに対してとストレージ用のEBSに対してです。
使用しない時間帯に停止できるので、1か月の稼働時間は510時間とします。

項目 料金
インスタンスタイプ(t3.small) USD 0.0272/時間
EBS ストレージ(gp3) USD 0.096/(月・GB)

インスタンスタイプ分は、USD 0.0272/時間×510時間=USD 13.872です。
ストレージ分は、USD 0.096/(月・GB)×1か月×20GB=USD 1.92です。

以上を合計すると、USD 15.792です。

最終比較
以上の計算結果をまとめると以下の通りになります。

稼働環境 コスト
AMG USD 108
Fargate USD 70.0524
EC2 USD 15.792

AMGが一番高く、EC2が一番安くなりました。AMGを選択した場合と比べてEC2を選んだ場合は、費用を 85.4% 削減できます。

機能・制約の比較

機能・制約に関しては、マネージド(AMG)であるかセルフホスト(Fargate、EC2)であるかによります。
主に今回の選択に影響する項目を中心に以下の表にまとめます。

項目 マネージド セルフホスト
認証方法 AWS IAM Identity Center、SAML 2.0に対応 Basic、LDAP、OAuth 2.0、SAML 2.0等に対応
カスタムプラグイン
(マニュアルインストール)
利用不可 利用可

ここで重要なのは、AMGはOAuthに対応していないため、Cognitoと連携できないことです。後述しますが、セルフサインアップを実現できないということになります。
また、GrafanaでDuckDBを使用するためのプラグインは、現時点ではカスタムプラグインに該当します。こちらもAMGでは利用できません。つまり、AMGではDuckDBを利用できません。

以上から、必然的にAMGは候補から外れ、セルフホスト一択になります。

EC2を選んだ理由

前述のように、コスト面と機能面からマネージドなGrafanaの利用はまず候補から外れました。また、稼働コストの面からEC2でのセルフホストに決定しました。

認証基盤:Cognitoを選んだ理由と追加で必要なもの

認証基盤で必要なサービスも考えていきます。

セルフサインアップ要件への対応

今回の要件として、セルフサインアップできることを挙げています。
AWSのサービスでこれを簡単に実現できるのがCognitoです。

Cognitoとの連携には、OAuthに対応していることが必要ですが、前述の通りセルフホストのGrafanaのみ対応しています。

その他にもSAMLによるADアカウント認証などがありますが、今回の規模で会社のADと連携させるには社内手続きが煩雑であるため、対象外とします。

Cognitoを使う上で必要になるもの

Cognitoを使う上で必要になるものがあります。

Cognitoでは、リダイレクトURIとして指定するURLには、テスト用のlocalhostを除いてHTTPSを使用する必要があります。つまり、Grafanaへの接続にはHTTPS接続が必要となります。

HTTPS接続が必要ということは、EC2をHTTPSに対応させる必要があるということです。
Let's Encryptを使うこともできますが証明書の管理が面倒です。また、オレオレ証明書(自己署名証明書)も避けたいところです。
そこでAWS Certificate Manager(ACM)の出番です。ただ、ACMで発行した証明書は、ELB、API Gateway、CloudFrontにはアタッチできますが、EC2へのアタッチには対応していません。また、証明書の発行には、管理下のドメインがあることが必要になります。

以上の経緯から、EC2で稼働させる当初の構成にセルフサインアップのためのCognito連携が加わった結果、ALBも必要になりました。
なお、ドメインに関しては、Route 53であらかじめ所有していたものがあるのでそちらを利用します。

インスタンスの方でコスト削減を選択していましたが、ここで大きなコスト増ですね…。

おわりに

いよいよ、構築といきたいところですが、長くなってきてしまったので、今回は構成を検討したところで終わりとしたいと思います。

本記事をまとめると、以下の通りです。

  • DuckDBはAthenaよりもコスト面で優位性がある
  • DuckDBをGrafanaで利用するにはセルフホストが必要
  • Grafanaの稼働環境はEC2が最安
  • Cognito連携するためにALBも必要になった

次回はメトリクスの収集や環境構築に取り組みたいと思います。お楽しみに。

14
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
14
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?