サービス概要

プロニチ（プログラミング新聞社）

定期的にバッチを走らせはてな、Qiita、Twitter、connpassからAPIを通してデータを取得
取得したデータをまとめてWEBサイト・画像にて公開した。

こだわりとしてはCloud Run+BigQueryを利用したサーバーレス構成なところ。完全従量課金にしたので初期のアクセスが少ない場合はほぼ無料でサイトを公開することができる。
データベースにBigQueryを使った理由は更新系はバッチ系以外ない、キャッシュすればデータベース参照する必要がない。従量課金で初期費用がかからずSQL構文が使える点、Pandasで加工したデータを簡単に追加できる点などなど

システム構成

Python3系

パッケージ

（こう見るといろいろ使ってた？

google-cloud-bigquery==2.6.2
google-cloud-logging==2.2.0
google-cloud-storage==1.36.0
Flask==1.1.2
Flask-Caching==1.9.0
Jinja2==2.11.2
tweepy==3.10.0
numpy==1.18.4
pyarrow==2.0.0
pandas==1.2.0
python-dotenv==0.15.0
pdfkit==0.6.1
imgkit==1.0.2
wkhtmltopdf==0.2
requests==2.25.1
feedparser==6.0.2
Japanera==0.1.1
Pillow==8.1.0

GCP構成図

定期的なバッチ実行

Cloud SchedulerからCloud Runを毎時実行
各種APIを実行
実行結果をBigQueryに保存
実行結果をHTML・画像出力しCloud Storageに保存

WEBサイト閲覧

pronichi.comにアクセス
サイト内画像はCloud Storage参照
サイト内記事はCloud Runが起動、基本はキャッシュを利用
キャッシュが存在しない場合はBigQueryから参照、キャッシュを作成

まとめ

まとめたんですがAWSに移行予定
データが増えてきてBigQueryの参照に費用が発生しはじめたため。
AWS App RunnerとAmazon Aurora Serverlessを使った構成にするつもり
移行後にまた記事にしたいと思います。