1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

Python3について(->とは,API通信の例外処理,指数関数的なリトライ処理)

Last updated at Posted at 2021-09-08

#アノテーション

この関数はこれを返します とかの説明用->以降の文字は関数に影響しない

def fetch(url : str) -> requests.Response:
	max_retries = 3
	retries = 0
	while True:
		try:
			print(f'Retrieving {url} ...')
			response = requests.get(url)
			print(f'Status: {response.status_code}')
			if response.status_code not in TEMPORARY_ERROR_CODES:
				return response
	...

#API通信の例外処理

この方のページが参考になりました

#指数関数的なリトライ間隔を求める

この方のページが参考になりました

イメージは、同じ間隔でスクレイピングを続けてサーバーに負荷がかかりエラーが吐かれた場合、同じ間隔で続けるとずっとエラーを吐かれてしまうので、
リトライ間隔を開けて、サーバーの負荷を軽減している。と理解しました。

純粋に+1秒ずつでも良いのでは?とも思いましたが…

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?