Python + Docker + NotionAPI + Google DriveでAtCoderの問題を収集する環境を作る

Github

• https://github.com/tf63/atcoder_offline_python

概要

• AtCoderの問題・解説ページをGoogleドライブで見れる環境を作る
• iPadのGoogleドライブで， フォルダの中身をオフラインで使用可能にしておけば， 外でも勉強できる
  

何をするか

• 指定したコンテストの問題・解説ページのスクリーンショットを撮影し， Googleドライブに保存する

• AtCoder ProblemのInformation APIから各問題のDifficultyを取得し，Difficultyごとに保存

• Notionのデータベースにノートを用意する
  

実行方法

• 実行コマンド (例)

  • abc280からabc284までのA, B, C問題がダウンロードされる

python -m atcoder_offline --prefix abc --begin 280 --end 284 --problem a b c

• --clear_doneオプションをつけることで，Notionのデータベースでstatus == Doneとした問題をGoogleドライブから削除できる

各種設定

.env

• 必ず.env.example.jsonを.envにリネームする

• .envにはAPIトークンを保管するため， 絶対にgit管理しない

  • 代わりに．env.example.jsonをgit管理する

docker

• docker-compose内のseleniumコンテナのイメージを次のように変更する

  • intelチップの場合，image:selenium/standalone-chromium
  • M1/M2チップ搭載のmacの場合，image:seleniarm/standalone-chromium

Goodleドライブ APIの有効化

• Google Drive APIを有効にし，PyDrive2からGoogleドライブを操作できるようにする

• 参考 https://qiita.com/ftnext/items/60ced8bc432bec6101f0

Goodleドライブの保存先

フォルダ構成

• フォルダ名は固定

• 保存先のディレクトリをオフラインで使用可能にしておく

フォルダIDの取得

• env.jsonのCOLOR_TO_DIRに，それぞれの色に対応するフォルダIDを設定する

• フォルダIDは，フォルダを開いてURLを確認することで得られる

https://drive.google.com/drive/folders/<フォルダID>

Notion APIの有効化

• https://www.notion.so/my-integrations からインテグレーションを作成し，トークンを取得

• ******************の部分をコピーし，env.jsonのTOKEN_NOTIONに割り当てる

参考 (公式) https://developers.notion.com/docs/create-a-notion-integration

Notion データベースの用意

データベースの作成

• プロパティにcontest, color, statusを持つデータベースを作成する
  

インテグレーションの接続

• コネクトの追加から，作成したインテグレーションを追加する

---

結果

実行結果

statusの更新

before

after

---

参考

macの場合，ベースイメージをseleniumではなくseleniarmを使う (docker-compose)

Seleniumを使ってスクリーンショット

Googleドライブの操作

beautifulsoup