Python Selenium で自動ダウンロードした PDFファイル名を取得したい

クローリングでダウンロードした PDFファイル名を取得したいと思います。自動化してPDFダウンロードした際の課題として以下のものをあげました。

1. ダウンロード先フォルダをプロジェクトのフォルダに指定したい。

開発環境毎に異なるダウンロード場所になってしまうことを防ぐため、ChromeDriver の立ち上げの際に指定したダウンロードフォルダを設定します。

2. 処理がファイル名を直接指定して読み込めない

ファイル名が分からないため、ダウンロード直後に、ファイル名をすぐ取得する処理ができないか検討をしました。

以上の２点を自動ファイルダウンロードの課題としてあげました。これらを解決してダウンロードしたPDFファイル名を取得したいと思います。

WebDriver インスタンス作成時にダウンロード先を指定する

まず、ブラウザでダウンロードした際のダウンロード先を、WebDriverインスタンスを生成するタイミングで設定します。（Chromeドライバの場合、selenium.webdriver.ChromeOptionsインスタンスにadd_experimental_option()メソッドでdownload.default_directoryの指定をします。）

WebDriverModule.py

from selenium import webdriver
from selenium.webdriver import ChromeOptions 
from selenium.webdriver.chrome.webdriver import WebDriver
import os

downloadsFilePath = './downloads'
class WebDriverModule(object):
    def getChromeDriver(self)->WebDriver:
        return webdriver.Chrome(
            options=self.getCoromeOptions()
        )
    def getCoromeOptions(self)->ChromeOptions:
        options = ChromeOptions()
        prefs = {
            "plugins.always_open_pdf_externally": True,
            "profile.default_content_settings.popups": 1,
            "download.default_directory": 
                    os.path.abspath(downloadsFilePath) + r"\\", #IMPORTANT - ENDING SLASH V IMPORTANT
            "directory_upgrade": True
        }
        options.add_experimental_option("prefs", prefs)
        return options

webDriverModule = WebDriverModule()
driver = webDriverModule.getChromeDriver()

この時、plugins.always_open_pdf_externally=True を設定することで、PDFファイルにアクセスした際に、default の Viewer を使う処理を制御して、ファイルを直接ダウンロードできます。

test.py

from WebDriverModule import WebDriverModule
webDriverModule = WebDriverModule()
driver = webDriverModule.getChromeDriver()
fileUrl = 'http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h30/pdf/30daijin.pdf'
driver.get(fileUrl)

ダウンロードディレクトリ内の最新ダウンロードファイル名を取得する。

os と max(list, key）を使用して、ダウンロード先内の全ファイルから「最新の日付のファイル」という条件で1ファイル取得します。

WebDriverModule.py

downloadsFilePath = './downloads'
class WebDriverModule(object):
    def getLatestDownloadedFileName(self):
        if len(os.listdir(downloadsFilePath)) == 0:
            return None
        return max (
            [downloadsFilePath+ f for f in os.listdir(downloadsFilePath)], 
            key=os.path.getctime
        )

test.py

print(webDriverModule.getLatestDownloadedFileName())

出力結果.txt

python .\test.py
./downloads/30daijin.pdf

これで、PDFファイル名を取得することができました。

まとめ

ChromeDriver 立ち上げ時に、ダウンロード先を指定する。
ダウンロード先の最新のファイル名を取得する。

これで、ダウンロードしたPDFファイル名を取得することができました。

以上です。