はじめに

Seleniumを使うのはWebドライバのバージョンを気にしたりと何かと不便。requests_htmlを使用すれば比較的簡単そうと思いRaspberryPi4にインストールしてみましたが結局ハマってしまったのでその記録を残しておきます。

まずはインストール

sudo pip install requests_html

インストールはpipで行うだけ。いたって簡単です。

早速テストスクリプトで試してみるが…

次のようなスクリプトを作成して早速試してみます。

from requests_html import HTMLSession

session = HTMLSession()
url = "https://www.google.com/"
r = session.get(url)
r.html.render()

実行結果

[INFO] Starting Chromium download.
100%|████████████████████████████████████████| 109M/109M [00:12<00:00, 8.61Mb/s]
[INFO] Beginning extraction
[INFO] Chromium extracted to: /home/pi/.local/share/pyppeteer/local-chromium/588429
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/local/lib/python3.9/dist-packages/requests_html.py", line 586, in render
    self.browser = self.session.browser  # Automatically create a event loop and browser
  File "/usr/local/lib/python3.9/dist-packages/requests_html.py", line 730, in browser
    self._browser = self.loop.run_until_complete(super().browser)
  File "/usr/lib/python3.9/asyncio/base_events.py", line 642, in run_until_complete
    return future.result()
  File "/usr/local/lib/python3.9/dist-packages/requests_html.py", line 714, in browser
    self._browser = await pyppeteer.launch(ignoreHTTPSErrors=not(self.verify), headless=True, args=self.__browser_args)
  File "/usr/local/lib/python3.9/dist-packages/pyppeteer/launcher.py", line 307, in launch
    return await Launcher(options, **kwargs).launch()
  File "/usr/local/lib/python3.9/dist-packages/pyppeteer/launcher.py", line 148, in launch
    self.proc = subprocess.Popen(  # type: ignore
  File "/usr/lib/python3.9/subprocess.py", line 951, in __init__
    self._execute_child(args, executable, preexec_fn, close_fds,
  File "/usr/lib/python3.9/subprocess.py", line 1823, in _execute_child
    raise child_exception_type(errno_num, err_msg, err_filename)
OSError: [Errno 8] Exec format error: '/home/pi/.local/share/pyppeteer/local-chromium/588429/chrome-linux/chrome'

renderを実行した後にOS Errorが発生。ふむ…、素直に実行させてくれないらしい。

対処法

調べてみるとrenderの初回実行時にpyppeteerがChromiumをダウンロードするらしいがその際にintel64版をダウンロードしてしまっていることが原因（Raspberrypiはarm）とのこと。解決策は元々RaspberryPiにインストールされているChromiumに向き先を変えるということで解決するらしい。ということで以下を実施。

requests_html.pyを修正

まずはデフォルトで入っているChromiumの場所を確認

which chromium-browser

実行結果

/usr/bin/chromium-browser

そしてこれを元にrequests_html.pyを更新していく。

sudo vi usr/local/lib/python3.9/dist-packages/requests_html.py

変更前

self._browser = await pyppeteer.launch(ignoreHTTPSErrors=not(self.verify), headless=True, args=self.__browser_args)

変更後
※requests_html.pyのpyppeteer.launchを呼び出す箇所にexecutablePath='/usr/bin/chromium-browser'を追加

self._browser = await pyppeteer.launch(ignoreHTTPSErrors=not(self.verify), headless=True, executablePath='/usr/bin/chromium-browser', args=self.__browser_args)

さいごに

とりあえずローカルのターミナル上で実行するにはこの方法で上手くいきましたがJupyterを使用した場合は以下のエラーが発生してしまい上手くいかず。

---------------------------------------------------------------------------
RuntimeError                              Traceback (most recent call last)
<ipython-input-5-83d95e0e8a07> in <module>
----> 1 r.html.render(timeout=60.0)

/usr/local/lib/python3.9/dist-packages/requests_html.py in render(self, retries, script, wait, scrolldown, sleep, reload, timeout, keep_page)
    584         """
    585 
--> 586         self.browser = self.session.browser  # Automatically create a event loop and browser
    587         content = None
    588 

/usr/local/lib/python3.9/dist-packages/requests_html.py in browser(self)
    727             self.loop = asyncio.get_event_loop()
    728             if self.loop.is_running():
--> 729                 raise RuntimeError("Cannot use HTMLSession within an existing event loop. Use AsyncHTMLSession instead.")
    730             self._browser = self.loop.run_until_complete(super().browser)
    731         return self._browser

RuntimeError: Cannot use HTMLSession within an existing event loop. Use AsyncHTMLSession instead.

nest_asyncioを使用すると解決できるという記事も見かけましたが上手くいかず。一筋縄ではいきませんな〜。