1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

GASでスクレイピングする時にログインがうまくいかないとき

Last updated at Posted at 2022-07-11

問題

Google Apps Script(GAS)におけるスクレイピングでログインプロセスを実装するときには、UrlFetchAppなどでHttp Requestを何度か送信することになりますが、再現性なく400エラーなどに遭遇することがあります。

原因

この現象の原因はおそらく、リクエスト毎にIPが異なることがあるため、向こうのサーバーが不正と検知しているためと思われます。

対処法

これに対するGASでの対処法はおそらく無く、うまくいくまで繰り返す処理にする(あまりお勧めしない)か、別のサービスを利用するか、ローカルで実行するかしかないでしょう。

Github Actionsなどを検討してみてもよいと思われます。

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?