User-Agentを指定しないと通知できないサイトの通知

UrlFetchAppではUser-Agentヘッダーを指定するオプションが無いため、User-Agentを指定しないとエラーページを返すようなサイトはクロールできません。

これは良い方法が見つからず、他のページから同じ情報をクロールする方法で対応しました。同じ問題が多ければ、AWS Lambda等、もっと自由度の高い環境に移行したほうが楽でしょう。

HTMLのDOM要素が変わる

当然ながら、サイトのデザインが変わるとエラーが発生するようになります。

そのため度々コードの変更が発生するのですが、以下の工夫で最小限の手間で済むようにしました。

クロール先のサイトが落ちている場合があり、これは度々発生します。

ニュースの通知が目的だと割り切って、次の実行で成功すればニュースがきちんと通知されるように作りました。

様々なレイヤーのエラーが通知されるのでネットワーク通信周りの勉強にもなると思います。

運用していた間、急に以下のエラーが発生するようになりました。

InternalError: 正規表現の操作が実行時間の上限を超えました。

Atomフィードをパースしていたサイトがあったのですが、記事のHTMLの一部で正規表現のパースに時間がかかっていたようです。

実は一部のサイトでHTMLからの情報抽出でXMLServiceでパースできない場合があり、汎用性のために正規表現を利用していました。

XMLServiceを使う方法は、以下のサイトを参考にすると良いと思います。

この際は、スクレイピングするページを変えることで対応しました。「より高速な正規表現で実装した」とかならかっこいいですが、ちょっとそこまで手が回りませんでした。

そのため、自分が自動投稿したニュース記事に自分で気づかない状態になってしまいました。

自動投稿後に「未読をつけるAPI」を追加で叩くように変更しました。

Google Apps Scriptでは便利なスクリプトをサクッと書けるのが魅力で、業務の空き時間に便利なプログラムを作ってしまうことも可能です。

そのため機能が制限されており、どうしても知恵や工夫が必要な面があります。がんばっていきましょう。