web制作で使うwget

ディレクトリ構造を保ったまま、HTMLのみをダウンロード

wget -x http://hoge.com/
wget -x http://hoge.com/report/
wget -x http://hoge.com/service/
wget -x http://hoge.com/portfolio/
wget -x http://hoge.com/press/
wget -x http://hoge.com/company/
wget -x http://hoge.com/recruit/

HTMLページを表示するのに必要なリソース一式を取得

wget -p http://hoge.com/

※css内で@importしているファイルまで取得する場合はこのオプションが必要

サイト丸ごとダウンロード

wget -r http://hoge.com/

リンクチェック

wget --spider --recursive --no-directories --no-verbose http://hoge.com/

ベーシック認証

wget -p --http-user={ID} --http-passwd={PW} http://hoge.com

!などの記号は\!のようにエスケープする

ユーザーエージェント（iOS6）

wget --user-agent="Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25" http://hoge.com

別ドメインのファイルも取得

wget -p -H  http://m.hoge.com/

特定ディレクトリ以下を全てダウンロード

wget -r -np http://hoge.com/fuga/

拡張子を指定

wget -A jpg,gif http://hoge.com/fuga/

拡張子を除外

wget -R css http://hoge.com/fuga/