クローラーとしてのwgetオプションをメモ。
wgetオプション
$ wget -r -l1 -w2 --random-wait -A jpg,png,gif -H -p -k http://example.com/
| オプション | 機能 |
|---|---|
| -r | 再帰ダウンロードの実行 |
| -l | 最初のページからリンクを辿る回数 |
| -w N | ダウンロードごとにN秒待つ |
| -random-wait | -wで指定した数の0.5〜1.5倍の時間待つ |
| -A LIST | 拡張子で指定したファイルのみを取得 |
| -H | 他のドメインもクロールする |
| -p | HTMLを表示するのに必要な画像・音声やCSSなどもダウンロード |
| -k | ダウンロードしたファイルを相対URLに変換してくれる |