スクレイピングによるデータ収集や海外サイトの閲覧時に、過剰なアクセスを行うと、IPアドレスが制限されてアクセスできなくなることがあります。これは、Webサイト側がセキュリティ対策やサーバー負荷軽減のために、一定の条件下でIPアドレスをブロックする仕組みを導入しているためです。
IP制限にかかると、通常のWebページの閲覧ができなくなるだけでなく、一部のサイトでは長期間にわたってブロックが解除されないこともあります。特に、スクレイピングを行う際は、意図せずIPアドレスが制限されるケースも少なくありません。
そこで本記事では、IPアドレス制限の仕組みや原因、回避方法を解説します。
IPアドレス制限(IP制限)とは?
IPアドレス制限(IP制限)とは、Webサイト側が特定のIPアドレスまたはIPレンジからのアクセスを制限する仕組みです。IPアドレス制限はサーバーの負荷軽減やセキュリティ強化を目的としています。例えば、短時間に大量のリクエストを送信した場合や、不審なアクセスパターンを検出された場合、アクセスがブロックされることがあります。
はじめに、IPアドレス制限の概要と、その原因について解説します。
WebサイトごとにIPアドレスを制限している
Webサイトの運営者は、IPアドレス単位でアクセスを制限することが可能です。この制限方法にはいくつかの種類があります。
· レートリミット:一定時間内に同一IPアドレスから過剰なリクエストが発生した場合、一時的にブロックする。
· ジオブロッキング:特定の国や地域のIPアドレスを完全に遮断し、アクセスを制限する。
· ブラックリスト登録:アクセスログを監視し、異常なパターンを検出すると、該当IPアドレスをブラックリストに追加してアクセスを拒否する。
これらのIP制限は、サーバーが記録するアクセスログをもとに判断されます。例えば、Webサイトにアクセスがあった場合、以下のようなログが記録されます。
x.x.x.x - - [28/May/2022:21:17:01 +0900] "POST / HTTP/1.1" 200 5 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36" "x.x.x.x"
※上記、"x.x.x.x"部分にはアクセス元(=自分)IPアドレスが入ります。
ここで記録されるのは、アクセス元のIPアドレス・リクエストの種類・日時・使用デバイスやブラウザなどの情報です。Webサイト側はこれらのデータをもとに、不審なアクセスを検出、制限をしています。
IPアドレス制限は解除される?
IPアドレス制限がかかった場合、解除されるかどうかはWebサイトの運営者の判断によります。一時的な制限であれば、時間が経過することで解除される場合もありますが、ブラックリストに登録された場合は、長期間アクセスできなくなります。
例えば、レートリミットのような一時的な制限は数分~数時間で解除されることが多いですが、内容が悪質である場合は恒久的にブロックされます。その場合、運営会社に異議申し立てを行っても解除されないことが一般的です。
IPアドレスが制限される原因
IP制限の原因は多岐にわたりますが、その原因を理解することで適切な対策を講じることが可能になります。まずは、IPアドレスが制限される原因について理解しましょう。
IPアドレスが制限される主な原因は、以下のような行為です。
- 短時間の大量アクセス 一定時間内に過剰なリクエストを送信すると、DDoS攻撃とみなされ、アクセスがブロックされます。
- BOTや自動ツールの使用 スクレイピングツールや自動化スクリプトを使用してデータを取得すると、人間による通常のブラウジングとは異なるアクセスパターン(1秒以内に数クリック行われる等)が検出され、制限されます。
- 国や地域によるブロック 一部のWebサイトは、特定の国や地域からのアクセスを禁止することがあります。例えば、アフリカやロシア等の国ではサイバー攻撃やフィッシング詐欺が横行し、「インターネットの世界で治安が悪い地域」とされています。
- 既にブラックリストに登録されているIPが当てられた場合 現在、IPアドレス(特にIPv4)はそのほとんどが使いまわし、言わば中古品の状態です。そのため、自身が所有する前の持ち主がアクセス制限されるような行為をしていた場合、現在の持ち主に関係なくアクセス制限されていることがあります。この場合、インターネット回線事業者に連絡することでIPの変更対応が可能です。
IPアドレス制限を回避する方法
IPアドレス制限にかかると、通常の閲覧やサービスの利用ができなくなります。しかし、適切な対策をすればIPアドレス制限を回避することが可能です。ここからは、IPアドレス制限を回避するための方法を解説します。
プロキシサーバーを利用する
プロキシは、ユーザーのリクエストを代理し、別のIPアドレスを使って目的のサイトに接続する仕組みです。つまり、プロキシサーバーを利用することで、Webサイトに対して異なるIPアドレスでアクセス可能となります。
特に、ローテーションプロキシ(Rotating Proxy)を利用すると、一定の間隔でIPアドレスを変更しながらアクセスできるため、連続的なアクセスと見なされにくくなり、ブロックを回避できます。
参考:【2025年最新】ブロックを回避する無料プロキシサーバー12選
VPNを利用する
VPN(Virtual Private Network)を利用することで、IPアドレスを変更しながらWebサイトにアクセスすることが可能です。
VPNを活用するメリットの一つは、IPアドレスを簡単に変更できる点です。特に、多くのVPNサービスでは複数の国や地域のサーバーを選択できるため、ブロックされたIPアドレスとは異なる地域のサーバーを経由してアクセスを試みることができます。
しかし、VPNにはデメリットもあります。無料のVPNサービスは接続速度が遅く、IPアドレスがすでにブラックリストに登録されている場合もあります。また、IKEv2(Internet Key Exchange Version 2)接続暗号化対応のサービスである必要があります。
ルーターを再起動する
自宅のルーターを再起動することでIPアドレスが変更され、IPアドレス制限から回避できる場合があります。これは、自宅で契約しているインターネット回線事業者(ISP)が動的IPアドレス(DHCP)方式の場合に有効な手段です。
一般的に、家庭用インターネット接続では、ISPが定期的にIPアドレスを自動的に変更する仕組みを採用しています。そのため、ルーターを再起動することで新しいIPアドレスが割り当てられる可能性があります。ただし、ISPによっては、一定期間内に再起動を行っても同じIPアドレスが割り当てられることもあるため、必ずしも効果があるとは限りません。
モバイル回線を利用する
モバイル回線(4G・5G)を契約している場合は、テザリングすることでスマートフォンに付与されているIPアドレスで通信可能になります。
ただし、通信速度の低さから大量のデータ取得には不向きとなります。また、モバイル回線側のIPもアクセス制限を受ける可能性もあるため、利用には注意が必要です。
IPアドレス制限を気にせずデータを収集する方法
ここまで、IPアドレス制限の回避方法について解説しました。プロキシサーバーやVPNを使うことでIPアドレスを変更してWebサイトにアクセス可能になります。
しかし、セキュリティや機能面を考慮すると、無料のサービスではなく信頼できる有償サービスを契約する必要があります。また、単にIPを変更するだけでなく、Webサイトの閲覧やスクレイピングの設定、プログラミングの調整も並行して行わなければなりません。
そのような手間を省き、効率的にデータ収集を行う方法のひとつがOctoparseの活用です。Octoparseは、クラウド経由でスクレイピングを実行できるため、自身のIPアドレスを使わずにデータを取得できます。さらに、IPローテーション機能によりアクセス制限を回避しながら安定した収集が可能です。
参考:Octoparse-ブロッキング防止対策、Octoparse-クラウドサーバーを切り替える
Octoparseを活用し、IPアドレス制限のリスクを抑えて効果的なデータ収集を実現しましょう。