一つ一つクリックしたらダウンロードできるけど、wgetで一括ダウンロードしたいと友人に聞かれたときのことをメモ。
BIの分子データを載せているサイトらしい、以下のサイトからダウンロードする。
https://www.ebi.ac.uk/arrayexpress/experiments/E-MTAB-8581/files/
手順
以下のコマンドでダウンロードできた。
$ wget -r -l 1 -A txt,gz -w 1 -nd https://www.ebi.ac.uk/arrayexpress/experiments/E-MTAB-8581/files/解説
-r -l 1
-rでリンク先にリンクがあればダウンロード、そこにまたリンクがあればダウンロード、、、と再帰的にダウンロード。
-lでリンクをたどる回数を指定。1を指定することで、そのWebページに貼ってあるリンクのみを複数ダウンロードする。
-A txt,gz
-Aでダウンロードする拡張子を指定する。ここではtxtとgzを指定。
-w 1
ダウンロード処理の間隔を一秒開ける。ダウンロード先の負担を軽減するために一応指定
-nd
同一のディレクトリへのダウンロードを指定。
これがないとWebページの/home/index/hoge/のようにURLの階層通りにダウンロードが行われる。