本日clusterで行われた「さよなら平成カウントダウンライブ UNiON WAVE - clear -」に参加して、いっぱい写真を撮ったのですが、それらをDLする際に、いちいちボタンを押すのがめんどくさかったのでスクレイピングして一括DLするプログラムを作りました。
注意
- 現時点(2019/5/1)で公式に一括DLするシステムが無いためスクレイピングしています。公式に出てきたらそちらを使いましょう。
- clusterのアカウントをtwitterでログインしている方のみ使えます。そうでない方はプログラムを書き換える必要があります。
- プログラムを書き換える際はサーバーに配慮したリクエストになるようにしましょう。
環境
- Python 3.6
使い方
ソースコードを持ってきます
git clone https://github.com/meihei3/PicDL_cluster.git
cd PicDL_cluster
twitterでのログイン情報を入れたkeys.pyを作る
echo -e "username='your username'\npassword='your password'" > keys.py
画像を保存するディレクトリimg/を作る
mkdir img
必要な環境のインストール
pip install -r requirements.txt
ダウンローダーの実行
python downloader.py
実行したらこんな感じ↓にchromeで開かれてスクロールすると思います。
プログラムの説明
やってること
- selenium driverの設定
- clusterにログイン
- ページをスクロールしながら読み込んでDL用のリストの作成
- ダウンロード
1. selenium driverの設定
ChromeDriverを使うための設定をします。（chromeを使う理由はなんとなくです）
from selenium import webdriver
import chromedriver_binary
chromedriver_binary.add_chromedriver_to_path()
driver = webdriver.Chrome()
参考：Python + Selenium で Chrome の自動操作を一通り
2. clusterにログイン
1.ログインボタンを押す
driver.find_element_by_class_name('Header__login').click()
2.twitterでログインを押す
driver.find_element_by_class_name('LoginModalDialog__twitter').click()
3.twitterにログインする
作成したkeys.pyからusernameとpasswordをインポートしてログインします。
from keys import username, password
# send username
driver.find_element_by_id('username_or_email').send_keys(username)
# send password
driver.find_element_by_id('password').send_keys(password)
# send submit
driver.find_element_by_class_name('buttons').submit()
4.待つ
ログイン処理に時間がかかるので、適当に待ちます。
time.sleep(10)
clusterにtwitter以外のログイン方法をしている方は2,3を書き換えると良いと思います。
3. ページをスクロールしながら読み込んでDL用のリストの作成
cluster内で撮った写真の一覧が見れるページ（https://cluster.mu/account/photos ）に移動します。
このページは表示が必要になるまで画像を読み込まないので、そのままソースコードを取り出してもほぼからです。
なので、forループの中で
driver.execute_script("window.scrollTo(0, {});".format(i * 60))
を使ってページをスクロールします。
そして、imgタグからsrcを取り出すと、ほしい画像のサムネイルが取れます。
ほしい画像のurlと、そのサムネイルのurlはfilesがupdatedになり、/thumbnail.pngが.pngになる程度の違いなのでreplaceしていきます。
def thumbnail_to_large_img(url_text: str) -> str:
return url_text.replace("files", "uploads")[:-14]+".png"
4. ダウンロード
先程のurlをリスト化してforループでダウンロードしていきます。
この時、time.sleepでちょっと待ちながらダウンロードしていきましょう。
def download_img(url: str):
r = requests.get(url, stream=True)
if r.status_code == 200:
with open("img/"+url.split('/')[-1], 'wb') as f:
f.write(r.content)
for url in tqdm(dl_list):
download_img(url)
time.sleep(1)
この時imgを指定のパスにすれば保存したい場所に保存することが可能です。
参考：python3のrequestsを使って画像を保存