wgetコマンドからの利用法
wget "https://www.google.co.jp/search?q=検索キーワード&ie=UTF-8&oe=UTF-8&num=20" \
--no-check-certificate --user-agent="(`・ω・´)" -O キーワード.html
Google検索のパラメータ
* q: 検索キーワード
* oe: 出力時の文字コード。UTF-8指定
* num: 検索結果の表示件数。デフォルト10を変更時
wget のパラメータ
* --no-check-certificate : サーバ証明書を検証しない
* --user-agent: を指定しないと wget だと弾かれたので
* -O: 出力先ファイル名を指定する
注意?
あんまりリクエスト投げすぎると駄目?
今やるとエラーになってしまうので・・・
具体的には次の用途で利用
Googleウェブマスターツールの検索クエリー(上位)に対して、クリック数の改善を行うため現在の検索結果を確認(タイトル、descriptionなど)する為に利用。
ウェブマスターツールの検索クエリを CSVなどでダウンロード。
ダウンロードして知りたいキーワードを適当に取得して、例えばテキストエディタで
01 キーワード(1)
02 キーワード(2)
とか タブ区切りで作成
s/(.+)\t(.+)/wget "https://www.google.co.jp/search?q=\2&ie=UTF-8&oe=UTF-8&num=20" --no-check-certificate --user-agent="(`・ω・´)" -O \1.html/
置換してコマンド流す。