[python]ヘッドレスChromeでGoogle検索結果上位10件

はじめに

Seleniumでスクレイピングする際に、ヘッドレス（ブラウザ非表示）で動かす方法のmemo。
ただし、このままだとファイルのダウンロードなどが失敗します。クロムの設定をいじる必要があるようです。ファイルDLを実施する場合は、その設定をするか非ヘッドレスで動かす必要があります。
設定については次回。

サンプルコード

Googleで「うんこ」上位10件

import time
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options

# 時間計測用
start = time.time()

options = Options()
options.add_argument('--headless')

# ChromeのWebDriverオブジェクトを作成(ヘッドレスモードの場合)
# ノーヘッドレスの場合は引数なしで実行する
driver = webdriver.Chrome(chrome_options=options)

driver.command_executor._commands["send_command"] = (
    "POST",
    '/session/$sessionId/chromium/send_command'
)
params = {
    'cmd': 'Page.setDownloadBehavior',
    'params': {
        'behavior': 'allow'
    }
}

# 検索ワード ########################################### 
word = "うんこ"
#######################################################

url =  "https://www.google.com/search?q={}&safe=off".format(word)
driver.get(url)
time.sleep(2)

elems1 = driver.find_elements_by_class_name("LC20lb")
elems2 = driver.find_elements_by_class_name("st")

for elem1,elem2 in zip(elems1,elems2):
    e1 = elem1.text
    e2 = elem2.text
    print(e1)
    print(e2)
    print("=====================================")

print("処理時間：　" + str(time.time() - start))
driver.quit()  # ブラウザーを終了する。

結果

株式会社うんこ【公式ショップ】
株式会社うんこ【公式ショップ】では、Tシャツ、ポロシャツ、パーカー、リストバンドなどなど、たくさんの【うんこ】グッズを取り揃えております。 新製品も続々生産中！ 今後も楽しい商品をご提案し、多くの笑顔をお届けします。
=====================================
うんこ - Wiktionary
While うんこ (unko) is sometimes given as a literal translation of English interjection shit! as an expression of displeasure, this is inaccurate, as unko! sounds more like someone saying “Oh turd!” or “Oh doo-doo!” in English. Rather, the vulgar ...
=====================================
日本うんこ学会
日本うんこ学会公式HP unkogakkai.jp.
=====================================
About うんコレ - 日本うんこ学会
About うんコレ. こんにちは、日本うんこ学会会長の石井洋介です。 私は医師として働く中で、「医療情報をもっと身近に、面白く、分かりやすく届け、大腸癌のことをもっと知ってもらいたい」という思いを抱いてきました。その解決方法の1つとして考えてきた ...
=====================================
うんこ - アンサイクロペディア
2019/01/02 - うんこはベルギー連邦に本部を置く、製品の技術的水準を審査する国際評価機関モンドセレクションの厳正な審査により、最高金賞を受賞しました。 この優秀品質賞は完全に独立した専門家によってその高品質を表彰するラベルであり、
=====================================
UNKO - アンサイクロペディア
2017/04/05 - UNKO（英・United Nations unification of the Korean peninsula Organization、邦訳「国連朝鮮半島統一機構」は、韓国と北朝鮮を統一するために発足した国連の補助機関。本部はパキスタンのフンザ。
=====================================
うんこ - 語源由来辞典
うんこは、いきむ声「うん」に接尾語「こ」が付いたものである。 その他、「阿吽」の「吽（うん）」と関連付ける説もある。 その説とは、中国仏教で大小便を「吽」、大小便の溜まり場を「吽置（うんち）」と呼んでおり、奈良時代に「吽」が日本へ入り上流語として使われてい ...
=====================================
処理時間：　6.296737194061279