@yamamuratkrposted at 2024-10-02

クラウド環境におけるスクレイピングでcloudflareが突破できない

Q&A

概要

OCI環境でcloudflareを突破するスクレイピングの処理を実現したいのですがうまくいきません。
以下に示すように、複数の方法でローカルでは成功するのにクラウド環境で成功しないのですが、これはOCIのIPアドレスがcloudflareのブラックリストに載っていると理解した方が良いのでしょうか？

知見をお持ちの方いらっしゃいましたらご教授いただけますと幸いです。

pythonでのスクレイピング

ローカル：Mac上でdocker composeを実行しプロキシコンテナを立てた上で、pythonからプロキシを通してcloudflareを突破
クラウド環境（OKE）：プロキシのPODを起動しpythonからプロキシを通してcloudflareの突破失敗（処理自体は正常に終了）
クラウド環境（OCI instanse）：instanse上でdocker composeを実行しプロキシコンテナを立てた上で、pythonからプロキシを通してcloudflareの突破失敗（処理自体は正常に終了）

2Answer

This answer has been deleted for violation of our Terms of Service.

余計なお世話かもしれませんが・・・

スクレイピングは、サイトの管理者に許可を得ているとか、規約に従って専用の API にアクセスしているとかでなければ、迷惑行為になるかもしれないということは認識してますか？

クローラーを作って某図書館サイトにアクセスしたら業務妨害とかで逮捕された事例もありますので、甘く見ない方がいいと思います。

逮捕までいかなくても、被害が深刻な場合は損害賠償の訴訟を受けるかもしれません。

訴訟までいかなくても、アクセス遮断なら Web サーバーの設定で管理者だけの判断で容易に可能なので、多分に可能性はあると思います。帯域ごと遮断され、多数の利用者が巻き添えを喰らうことになるかもしれません。

0Like