JavascriptでどうにかなってるサイトをWebスクレイピングしたい！

というわけで、こちらの記事を参考にチャレンジしてみました。

Python Webスクレイピングテクニック集「取得できない値は無い」JavaScript対応@追記あり6/12

###まずは、'pip install selenium'　でインストール。

サンプルのindex.htmlをローカルに保存、日経平均が表示されるのを確認して
スクレイピングのコードを保存して実行！

$ python test.py
test.py:10: DeprecationWarning: use setter for headless property instead of set_headless
  options.set_headless(True)
test.py:13: DeprecationWarning: use options instead of chrome_options
  driver = webdriver.Chrome(chrome_options=options)
Traceback (most recent call last):
  File "/anaconda3/lib/python3.7/site-packages/selenium/webdriver/common/service.py", line 76, in start
    stdin=PIPE)
  File "/anaconda3/lib/python3.7/subprocess.py", line 756, in __init__
    restore_signals, start_new_session)
  File "/anaconda3/lib/python3.7/subprocess.py", line 1499, in _execute_child
    raise child_exception_type(errno_num, err_msg, err_filename)
FileNotFoundError: [Errno 2] No such file or directory: 'chromedriver': 'chromedriver'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "test.py", line 13, in <module>
    driver = webdriver.Chrome(chrome_options=options)
  File "/anaconda3/lib/python3.7/site-packages/selenium/webdriver/chrome/webdriver.py", line 73, in __init__
    self.service.start()
  File "/anaconda3/lib/python3.7/site-packages/selenium/webdriver/common/service.py", line 83, in start
    os.path.basename(self.path), self.start_error_message)
selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see https://sites.google.com/a/chromium.org/chromedriver/home

10行目、headlessプロパティの代わりにsetterを使ってね。
13行目、chrome_optionsの代わりにoptionsを使ってね。

FileNotFoundErrorでchromedriverがないと。うーん？

そのほか13行目でもエラーが起きましたと？
chromedriverがPATHにないから入れたらって？？？
詳しくはこちらを見てねと。https://sites.google.com/a/chromium.org/chromedriver/home

うぐ。英語だ。がんばってGetting Startedを読んでみる。
ドライバーをダウンロードしてPATHを通しましょうと。よかったふつうだ。

###2回目。/ApplicationsにコピーしてPATHを通す。

$ export PATH=$PATH:/Applications/chromedriver


$ python test.py
test.py:10: DeprecationWarning: use setter for headless property instead of set_headless
  options.set_headless(True)
test.py:13: DeprecationWarning: use options instead of chrome_options
  driver = webdriver.Chrome(chrome_options=options)
Traceback (most recent call last):
  File "test.py", line 13, in <module>
    driver = webdriver.Chrome(chrome_options=options)
  File "/anaconda3/lib/python3.7/site-packages/selenium/webdriver/chrome/webdriver.py", line 73, in __init__
    self.service.start()
  File "/anaconda3/lib/python3.7/site-packages/selenium/webdriver/common/service.py", line 76, in start
    stdin=PIPE)
  File "/anaconda3/lib/python3.7/subprocess.py", line 756, in __init__
    restore_signals, start_new_session)
  File "/anaconda3/lib/python3.7/subprocess.py", line 1499, in _execute_child
    raise child_exception_type(errno_num, err_msg, err_filename)
NotADirectoryError: [Errno 20] Not a directory: 'chromedriver'

うーん。
もう一度 Getting Startedを読んでみる。
・/usr/local/以下に置くといいらしい。
・Chromeのバージョンごとにドライバーがある！

###３回目。ローカルのChromeのバージョンが74。ドライバーは76。合わせてみます。

NotADirectoryError: [Errno 20] Not a directory: 'chromedriver'

変わらず。
これではないらしい。

（所要時間 70分）

(追記)

###brewでchromedriverがインストールできるって記事を見つけたのでやってみました。

brew install chromedriver
Updating Homebrew...
==> Auto-updated Homebrew!
Updated 3 taps (heroku/brew, homebrew/core and homebrew/cask).
==> New Formulae

(中略)

librealsense                             zstd
==> Renamed Formulae
gnatsd -> nats-server
==> Deleted Formulae
compose2kube        js-test-driver      safe                xmoto
erlang@18           minisat             tomcat@6
gtk-engines         node@6              typesafe-activator
gtk-murrine-engine  rlvm                whirr

Error: No available formula with the name "chromedriver" 
Found a cask named "chromedriver" instead.

？？？

パスが邪魔してるのかな？
chromedriverのパスを削除して再実行してみる

$ export PATH=/Users/........:/opt/X11/bin
$ brew install chromedriver
Error: No available formula with the name "chromedriver" 
Found a cask named "chromedriver" instead.

かわらず。
エラーメッセージでググってみたら、まったく同じケースの方がいました。

Selenium ChromeDriver & PythonをMacで動かせた。

brew cask install chromedriverしたらいいそうです。

$ brew cask install chromedriver
==> Satisfying dependencies
==> Downloading https://chromedriver.storage.googleapis.com/75.0.3770.8/chromedr
######################################################################## 100.0%
==> Verifying SHA-256 checksum for Cask 'chromedriver'.
==> Installing Cask chromedriver
==> Linking Binary 'chromedriver' to '/usr/local/bin/chromedriver'.
🍺  chromedriver was successfully installed!

インストールできた！！！
そしてなぜビール！？
caskって何？？？

###4度目の正直！

$ python test.py
test.py:10: DeprecationWarning: use setter for headless property instead of set_headless
  options.set_headless(True)
test.py:13: DeprecationWarning: use options instead of chrome_options
  driver = webdriver.Chrome(chrome_options=options)
Traceback (most recent call last):
  File "test.py", line 16, in <module>
    driver.get("/Users/takamatsuyouko/Documents/Python/kujira/rensyu/index.html")
  File "/anaconda3/lib/python3.7/site-packages/selenium/webdriver/remote/webdriver.py", line 333, in get
    self.execute(Command.GET, {'url': url})
  File "/anaconda3/lib/python3.7/site-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute
    self.error_handler.check_response(response)
  File "/anaconda3/lib/python3.7/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response
    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.InvalidArgumentException: Message: invalid argument
  (Session info: headless chrome=75.0.3770.80)

chromeが一瞬立ち上がって落ちる。
手元のchromeが74.xなのでバージョンが違うってこと！？
アップデートして、75.0.3770.80にしてみる。

５回目。同じエラーメッセージで落ちる。くそう。

６回目。再起動して再実行。

chromeが終了しなくてシャットダウンできない！

$ ps -ef | grep chrome
  501 40820     1   0  3:06PM ttys000    0:00.07 chromedriver --port=56238
  501 40932     1   0  3:11PM ttys000    0:00.05 chromedriver --port=56399
  501 40955 11785   0  3:16PM ttys000    0:00.00 grep chrome
$ kill -9 40820
$ kill -9 40932

再実行。同じくエラー。
うーん、なんなんだ。

（所要時間 60分）