More than 5 years have passed since last update.

webスクレイピング　Ruby 学習記録①

Last updated at 2018-08-04Posted at 2018-08-02

##　概要
Rubyを使ってwebスクレイピングを学習します
　その学習記録です

##webスクレイピングとは

ウェブサイトから情報を抽出するコンピュータソフトウェア技術のことです。
簡単に言うと、自分で　google　検索を作るみたいな感じです。

##　GUN Wget

　rubyでwebスピレイプングを学習する前に、GUN Wgetと言うソフトウェアが学習します。

GUN Wgetとは
・HTTP,FTF経由で自動ダウンロードを行うソフトウェア
・有名なダウンローダ

##　GUN Wgetのインストール

　macのターミナルを開きます。
以下のコード打ち込むと、インストールされます。
macは、元から入っているぽいです。

＄brew install wget

##　　wget コマンド


wget http://ファイルのURL	ダウンロード
wget -O 出力先PATH http://ファイルのURL	ファイルの保存先を指定する
wget -c http://ファイルのURL	ダウンロードに失敗しても、再度やり直しする
wget --limit-rate=制限する速度 http://ファイルのURL	ダウンロードの速度制限を行う
wget -b http://ファイルのURL	wget -b http://ファイルのURL
wget --user-agent="偽装するUserAgentの内容" http://ファイルのURL	UserAgentを偽装する
wget -i URLを記述したファイルPATH	URLの記述されたファイルを読み込んで複数ファイルを連続でダウンロードする
wget -r http://再帰的にダウンロードを行うURL	再起的にダウンロードを行う

##Wgetの再帰ダウンロードについて

再帰ダウンロードとは、ダウンロードするwebサイトに載っているリンク先までダウンロードすることである。