スクレイピングにも色々あって、クローラにガーッとデータを一気に抜いてきてもらう場合もあれば、IR情報など、更新をウォッチしたいサイトに定期的にクロールするという場合もあると思います。

今回は後者のときのための話です

TL;DR

日毎のスクレイピングという場合、更新情報の管理が必要になって面倒
スクレイピング結果をRSS形式にしておくようにしたら、その辺の手間がなくなって嬉しかった

更新情報をとってくる

例えばニュースサイトで新しい記事が出てきたらその内容を取得したい。
という場合、以下の手順が必要になります

ニュースサイトの一覧画面からスクレイピングして記事のリストをとってくる
記事が未知のURLか、既知のURLか判定
未知のURLだったら処理する

これはこれでやれば良いのですが、 記事が未知のURLか既知のURLか判定 という手順が意外と面倒臭かったりします。なぜならこの判断をするには、既知のURLが保存されているストレージが必要だからです。ストレージを管理するということはどこかが状態を持つということで、まあなんというかサクッとやりたい場合は面倒臭いです。