サイトのページ数を調べる

ページ数が少ないサイトだったら
人力で調査することも可能でしょうが、
数十を超えたあたりからもうめんどくさい。

クローラを使う

e-word先生から転載。

クローラ【 crawler 】
　クローラとは、全文検索型サーチエンジンの検索データベースを作成するために、世界中のありとあらゆるWebページを回収するプログラム。

ページ内のリンクを辿って、他のページに行って
さらに、そのページのリンクから別のページへ行って･･･
って繰り返してくれるソフトです。たぶん。おそらく。

サイトマップを作るとか、孤立してるページを見つけるとか出来るらしい。

~~スパイダー【 spider 】　とも呼ぶらしいです。~~
どうも、厳密にはクローラとスパイダーは別物らしい。
詳しくは、おまけで。

今回、使用したクローラ

クローラでサイトの URL 一覧を生成して
そこからページ数を調べるという戦略。

ページ数を調べたいサイトのトップのURLを入力するだけ。以上。

二つのソフトをあげた理由としては

という完全なる主観。

どちらも URL 一覧を Excel に出力できるので
出力してから整理すればいいのかもしれない。

検索エンジンの５つのプログラム - スパイダーとクローラって別物？
http://www.seojuku.info/seoblog/searchengine/20070111095317.html
によれば

クローラ : ページのリンクを追跡
スパイダー : ウェブページをダウンロード

とのことです。

そもそも、クロールという単語は「這い回る」「ハイハイする」などの意味らしいです。

なので、
クローラ → ハイハイして、ページをたどっていくソフト
スパイダー → たどって行って、絡め取って持って帰ってくるソフト
っていうイメージなのかな。
なるほど、わからん。