クラウド環境におけるスクレイピングでcloudflareが突破できない
概要
OCI環境でcloudflareを突破するスクレイピングの処理を実現したいのですがうまくいきません。
以下に示すように、複数の方法でローカルでは成功するのにクラウド環境で成功しないのですが、これはOCIのIPアドレスがcloudflareのブラックリストに載っていると理解した方が良いのでしょうか？
知見をお持ちの方いらっしゃいましたらご教授いただけますと幸いです。
試したこと
pythonでのスクレイピング
- nodriver：モジュール
- drissionpage：モジュール
- flaresolverr：dockerのプロキシ
環境
ローカル
- マシン：Mac mini M2チップ
- macOS：Sonoma14.6.1
クラウド環境
- OKE（oracle linux（arm基盤））
- OCI instance（oracle linux（arm基盤）, Ubuntu）
成否
nodriver
- ローカル：Mac上で実行しcloudflareを突破
- クラウド環境：OCI instanse上で実行しcloudflareの突破失敗（処理自体は正常に終了）
drissionpage
- ローカル：Mac上で実行しcloudflareを突破
- クラウド環境：OCI instanse上で実行しcloudflareの突破失敗（処理自体は正常に終了）
flaresolverr
- ローカル：Mac上でdocker composeを実行しプロキシコンテナを立てた上で、pythonからプロキシを通してcloudflareを突破
- クラウド環境（OKE）：プロキシのPODを起動しpythonからプロキシを通してcloudflareの突破失敗（処理自体は正常に終了）
- クラウド環境（OCI instanse）：instanse上でdocker composeを実行しプロキシコンテナを立てた上で、pythonからプロキシを通してcloudflareの突破失敗（処理自体は正常に終了）
0
