はじめに
-
headless-chrome を GoogleCloudPlatform (GoogleAppEngine) 上で稼働し、Python で WEB スクレイピングをした結果を CloudSQL と CloudStorage に登録することをゴールとします。
-
はじめる前に、以下が作業が必要となります
-
【その１】Python で headless-chrome でのスクレイピング（Docker Hub / Google CONTAINER REGISTER 登録編）
Google Cloud SQL 構築
- GCP メニューより SQL を選択
- データベースエンジンは「MySQL」を選択し、「次へ」ボタンを押下
- インスタンスとして「第２世代を選択」ボタンを押下。
- インスタンスIDを入力し、「選択」ボタンを押下。マシンタイプも選択することができます。
- マシンタイプについて
- 共有コアマシンだと、Cloud SQL SLA の対象範囲外となるようです（https://cloud.google.com/sql/sla）
- マシンスペックは以下の通りです。
| カテゴリ | マシン名 | CPU | メモリ |
|---|---|---|---|
| 共有コアマシン | db-f1-micro | 1vCPU | 614.4 MB |
| db-g1-small | 1vCPU | 1.7 GB | |
| 標準マシン | db-n1-standard-1 | 1vCPU | 3.75 GB |
| db-n1-standard-2 | 2vCPU | 7.5 GB | |
| db-n1-standard-4 | 4vCPU | 15 GB | |
| db-n1-standard-8 | 8vCPU | 30 GB | |
| db-n1-standard-16 | 16vCPU | 60 GB | |
| db-n1-standard-32 | 32vCPU | 120 GB | |
| db-n1-standard-64 | 64vCPU | 240 GB | |
| ハイメモリマシン | db-n1-highmem-2 | 2vCPU | 13 GB |
| db-n1-highmem-4 | 4vCPU | 26 GB | |
| db-n1-highmem-8 | 8vCPU | 52 GB | |
| db-n1-highmem-16 | 16vCPU | 104 GB | |
| db-n1-highmem-32 | 32vCPU | 208 GB | |
| db-n1-highmem-64 | 64vCPU | 416 GB |
Google Cloud Storage 構築
- GCP メニューより「Storage」の「ブラウザ」を選択
- 「バケットの作成」を押下し「作成」ボタンを押下
- 完成
