wgetを使う必要がありそうだったのでメモ
使う前に注意事項
インストール方法と、サーバーに負荷をかけたりしないよう必要最低限のオプションをつけておく方法
たくさんあるオプション
例
wget -np -r -p -l 1 -w 10 -limit-rate=20k -m -tries 10 URL
IDとパスワードいる場合
wget -np -r -p -l 1 -w 10 -limit-rate=20k -m -tries 10 http://id:pass@host/path
nofollowがついてたり、画像のみとりたい場合
wget -np -r -p -l 1 -w 10 -limit-rate=20k -m -tries 10 -e robots=off -A jpg,png,gif URL