Help us understand the problem. What is going on with this article?

webスクレイピング Ruby 学習記録①

More than 1 year has passed since last update.

 概要

Rubyを使ってwebスクレイピングを学習します
 その学習記録です

webスクレイピングとは

ウェブサイトから情報を抽出するコンピュータソフトウェア技術のことです。
簡単に言うと、自分で google 検索を作るみたいな感じです。

 GUN Wget

 rubyでwebスピレイプングを学習する前に、GUN Wgetと言うソフトウェアが学習します。

GUN Wgetとは
・HTTP,FTF経由で自動ダウンロードを行うソフトウェア
・有名なダウンローダ

GUN Wgetのwiki
https://ja.wikipedia.org/wiki/GNU_Wget

 GUN Wgetのインストール

 macのターミナルを開きます。
以下のコード打ち込むと、インストールされます。
macは、元から入っているぽいです。

$brew install wget

  wget コマンド

wget http://ファイルのURL ダウンロード
wget -O 出力先PATH http://ファイルのURL ファイルの保存先を指定する
wget -c http://ファイルのURL ダウンロードに失敗しても、再度やり直しする
wget --limit-rate=制限する速度 http://ファイルのURL ダウンロードの速度制限を行う
wget -b http://ファイルのURL wget -b http://ファイルのURL
wget --user-agent="偽装するUserAgentの内容" http://ファイルのURL UserAgentを偽装する
wget -i URLを記述したファイルPATH URLの記述されたファイルを読み込んで複数ファイルを連続でダウンロードする
wget -r http://再帰的にダウンロードを行うURL   再起的にダウンロードを行う

Wgetの再帰ダウンロードについて

再帰ダウンロードとは、ダウンロードするwebサイトに載っているリンク先までダウンロードすることである。

参考文献

http://kengo92i.hatenablog.jp/entry/2014/09/01/173547
http://www.atmarkit.co.jp/ait/articles/1606/20/news024.html
https://www.amazon.co.jp/gp/product/4797380357/ref=oh_aui_detailpage_o09_s00?ie=UTF8&psc=1

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away