[クローリングハック]メモ1

INFO

こちらは
クローリングハック1章目のメモになります。(2章目もちょっと入ってる)

僕がしらないことだけメモしているの内容に偏りがあります。

WARNING

typoなど多めです。

curlコマンド

curl -iでヘッダーも取得
curl -Iでヘッダーのみ取得
(これがHEADリクエストだったんだ！
last-modifiedヘッダを確認してGETするときとかに便利。)
curl -Aでuser-agent情報の追加
curl -x post url -d username=suzuki
-dで送信する内容
jsonを送るときはシングルクォートで囲むと
改行して送信できるので便利。

-d '{
  username: "suzuki"
}'

curl --verboseオプションで
すべてのリクエストとレスポンスが見れる。
> リクエストヘッダ
< レスポンスヘッダ

クローラー時に気をつけること

user-agentヘッダには、
クローラーの説明ページのURLと、取得する情報の用途を。

robots.txtを最初に確認しよう。

便利

クローラーのwebサイト:
import.io
クロムの拡張機能:
scraper

他

HTTPは基本的に「1つのリクエストに対して、1つのレスポンスを返す」プロトコル。
(この表現面白い、逆に複数レスポンスがあるもの知りたい。)

**HTTPリクエスト**  
リクエストライン
リクエストヘッダ
空行
リクエストボディ

**HTTPレスポンス**
ステータスライン
レスポンスヘッダ
空行
レスポンスボディ

HTML5は、GET・POST以外のリクエストを送信することができないために、
Rails5などではname="_method" value="post"のような書き方が見られた。
(擬似的に表現)

JSONやXMLなどをリクエストボディとして
送信したい場合はX-HTTP-METHOD-OVERRIDEの設定。

XMKHttpリクエストならばput、deleteメソッドが使える。

Remote Procedure Callは、
処理の内容をボディに書く(REST以外に初めて見た！)

405はMethod Not allowed
501はnot implemented

rel="nofollow"と書けばクローラー対象外に
(SEO関連の話で聞いたことある)

www.example.com
サブドメイン.ドメイン.トップドメイン
(順番へん！w)

クローリングする前は
エンコードを確認する！

例えば、半角は
RFC3986だと%20
POSTメソッドのapplication/x-www-form-unlencsdedは+