Python スクレイピング についての質問
解決したいこと
Pythonでスクレイピングする際にrequestsにプロキシ設定をすると以下のエラーが起きます。
前までは問題なかったのですが、どこが問題なのでしょうか？プロキシ設定を指定しければ問題なく動作します。
コード内の追記コードを使用して画像のようなjsonファイルを読み込んでプロキシ設定をしていました。前は問題がなかったのですが、同じようにしてもエラーが起きるようになってしまいました。
＜試したこと＞
リンク先を複数試した。(初めてのリンク先も試した。)
proxiesの内容を複数試した。
時間を1日ほどおいた。
Colab環境なのでJupyter labも試した。
環境端末を変更した。
発生している問題・エラー
[ConnectionRefusedError] Traceback (most recent call last)
[MaxRetryError] Traceback (most recent call last)
[NewConnectionError] Traceback (most recent call last)
[ProxyError] Traceback (most recent call last)
[ProxyError]: HTTPSConnectionPool: Max retries exceeded
該当するソースコード
import requests
from bs4 import BeautifulSoup
URL = "https://www.cman.jp/network/support/go_access.cgi"
USER_AGENT = "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"
proxies = {
'http':'https://39.108.154.193:22',
'https':'https://39.108.154.193:22'
}
headers = {'User-Agent': USER_AGENT}
resp = requests.get(URL, proxies=proxies, headers=headers, timeout=10)
resp.encoding = 'utf8'
soup = BeautifulSoup(resp.text, 'html.parser')
ip = soup.find(class_ = "outIp").text
print(ip)
#＜追記＞
json_open = open(FILE_PATH, 'r')
proxy_list = json.load(json_open)
proxy_info = random.choice(proxy_list)
ip = proxy_info['ip']
port = proxy_info['port']
protocol = proxy_info['protocol']
proxy = protocol + '://' + str(ip) + ':' + port
proxies = { 'http':proxy,
'https':proxy}
0
