GAS スクレイピング 302が頻発してエラーとなってしまう
解決したいこと
特定のウェブページをGASでスクレイピングする際に302が頻発するエラーを回避したい。
例)
下記のコードで問題のURLを確認すると、302となります。
しかし、手動でウェブブラウザからアクセスすると200です。
function checkUrlResponse() {
var url = "URL";
var options = {
followRedirects: false
};
try {
var response = UrlFetchApp.fetch(url, options);
var statusCode = response.getResponseCode();
var headers = response.getHeaders();
Logger.log("Status Code: " + statusCode);
Logger.log("Content-Type: " + headers['Content-Type']);
if (statusCode === 302) {
Logger.log("Redirecting to " + headers['Location']);
}
} catch (e) {
Logger.log("Error fetching URL: " + e.toString());
}
}
発生している問題・エラー
確かにアクセスしたいURLは存在していますが、
302のリダイレクト先は404になってしまいます。
Status Code: 302
Content-Type: text/html; charset=iso-8859-1
Redirecting to http://"ホスト名"/404.shtml
自分で試したこと
ここに問題・エラーに対して試したことを記載してください。
リクエストヘッダーなども追記してみましたが、ダメなようでした。