前書き
クローラーについて学んだことを自分用にまとめます（2020/05/02現在）
Googlebotを例にとって書きます
あくまで自分用ですので間違っていてもよしなによろしくお願いします～
クローラーとは
・Webサイトの情報を収集して回るプログラム(例：Googlebot、Bingbot)
・ブラウザの検索エンジンの検索結果の優先順位付けに用いられる、結果は各検索エンジンのDBに保存れる
・HTTP/HTTPSプロトコルで得られる情報すべてが対象（HTML、js、cssなど）
・一回では全情報読み込めないらしく、短いスパンで何回もクローラーにアクセスしてもらえる（クローラビリティを向上する）と上位になるらしい。
→Webサイトの制作・運用をして検索結果の上位に表示させるにはクローラーを惚れさせてメンヘラ化させればいい
クローリングされるサイト
・DBに保存されているサイトのリンクから辿っていく
・サイトマップ（サイトのすべてのURLを記載したxmlファイル）をグーグルに提供することで新規のサイトもクローリングの対象とすることができる。
・Fetch as GoogleからURLを入力してグーグルに送信する。すると対象のURLのサイトのみクローリングの対象に追加される。（サイトマップのほうがまとめてできるのでお得）
→新規にサイト作ったらサイトマップをグーグルに連携しましょう。サイトを更新したらサイトマップも更新しましょう。ってことかな
クローラーの動きの確認
・Google search consoleから過去90日分の統計情報を確認することが可能
※クローリングされるページ数の減少、ページのダウンロード時間が長すぎるときなどはそのページに問題があることも、、そうなるとクローリングされなくなってしまうかもなので割と確認しておいたほうが良さそう
クローラビリティを上げたい!!!
こっちにまとめたから読んで見ちゃってよ
SEOについて
まとめ
クローラーはWebサイトの検索結果の順位を決定するのに重要な存在でした！！