2
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

@zeotech7

Web魚拓、InternetArchiveに勝手にコピーをとられないようにする方法

2
Last updated at Posted at 2025-05-19

いつの間にか自分のブログがWeb魚拓に取られていたり、InternetArchiveに収録されていたりすることってありませんか？

人によって違うかと思いますが、勝手にコピーを作られることに違和感を感じたり、気持ち悪いと思う方もいらっしゃると思います。

そんな時はIPアドレスレベルで、魚拓、InternetArchiveのクローラーをブロックすることをお勧めします。
それでは早速、例を見ていきましょう。

iptablesの設定

基本のiptablesの設定

ちなみにWebサイトを公開するサーバのiptablesの設定は以下のようになっていると思います。この設定を基本として、Web魚拓、InternetArchiveをブロックするようカスタマイズしていきます。

# sample configuration for iptables service
# you can edit this manually or use system-config-firewall
# please do not ask us to add additional ports/services to this default configuration
*filter
:INPUT DROP [0:0]
:FORWARD DROP [0:0]
:OUTPUT ACCEPT [0:0]
-A INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT
-A INPUT -p icmp -j ACCEPT
-A INPUT -i lo -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 22 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 25 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 53 -j ACCEPT
-A INPUT -p udp -m state --state NEW -m udp --dport 53 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 80 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 443 -j ACCEPT
-A INPUT -j REJECT --reject-with icmp-host-prohibited
-A FORWARD -j REJECT --reject-with icmp-host-prohibited
COMMIT

Web魚拓をブロックするiptables

基本のiptablesにWeb魚拓のクローラーをブロックするルールを追加します。以下のようになります。

# sample configuration for iptables service
# you can edit this manually or use system-config-firewall
# please do not ask us to add additional ports/services to this default configuration
*filter
:INPUT DROP [0:0]
:FORWARD DROP [0:0]
:OUTPUT ACCEPT [0:0]
:DROPGYOTAKU - [0:0]
-A INPUT -j DROPGYOTAKU
-A INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT
-A INPUT -p icmp -j ACCEPT
-A INPUT -i lo -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 22002 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 25 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 53 -j ACCEPT
-A INPUT -p udp -m state --state NEW -m udp --dport 53 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 80 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 443 -j ACCEPT
-A INPUT -j REJECT --reject-with icmp-host-prohibited
-A FORWARD -j REJECT --reject-with icmp-host-prohibited
-A DROPGYOTAKU -s 160.16.235.118/32 -j DROP
-A DROPGYOTAKU -s 219.94.255.189/32 -j DROP
-A DROPGYOTAKU -s 160.16.242.5/32 -j DROP
-A DROPGYOTAKU -s 8.34.208.0/20 -j DROP
-A DROPGYOTAKU -s 8.35.192.0/21 -j DROP
-A DROPGYOTAKU -s 8.35.200.0/23 -j DROP
-A DROPGYOTAKU -s 23.236.48.0/20 -j DROP
-A DROPGYOTAKU -s 23.251.128.0/19 -j DROP
-A DROPGYOTAKU -s 34.64.0.0/11 -j DROP
-A DROPGYOTAKU -s 34.96.0.0/14 -j DROP
-A DROPGYOTAKU -s 34.100.0.0/16 -j DROP
-A DROPGYOTAKU -s 34.102.0.0/15 -j DROP
-A DROPGYOTAKU -s 34.104.0.0/22 -j DROP
-A DROPGYOTAKU -s 35.204.0.0/14 -j DROP
-A DROPGYOTAKU -s 35.208.0.0/13 -j DROP
-A DROPGYOTAKU -s 35.184.0.0/14 -j DROP
-A DROPGYOTAKU -s 35.188.0.0/15 -j DROP
-A DROPGYOTAKU -s 35.190.0.0/17 -j DROP
-A DROPGYOTAKU -s 35.190.128.0/18 -j DROP
-A DROPGYOTAKU -s 35.190.192.0/19 -j DROP
-A DROPGYOTAKU -s 35.190.224.0/20 -j DROP
-A DROPGYOTAKU -s 35.190.240.0/22 -j DROP
-A DROPGYOTAKU -s 35.190.242.0/23 -j DROP
-A DROPGYOTAKU -s 35.192.0.0/14 -j DROP
-A DROPGYOTAKU -s 35.196.0.0/15 -j DROP
-A DROPGYOTAKU -s 35.198.0.0/16 -j DROP
-A DROPGYOTAKU -s 35.199.0.0/17 -j DROP
-A DROPGYOTAKU -s 35.199.128.0/18 -j DROP
-A DROPGYOTAKU -s 35.200.0.0/14 -j DROP
-A DROPGYOTAKU -s 35.203.232.0/21 -j DROP
-A DROPGYOTAKU -s 35.206.0.0/15 -j DROP
-A DROPGYOTAKU -s 35.216.0.0/15 -j DROP
-A DROPGYOTAKU -s 35.220.0.0/14 -j DROP
-A DROPGYOTAKU -s 35.224.0.0/13 -j DROP
-A DROPGYOTAKU -s 35.232.0.0/15 -j DROP
-A DROPGYOTAKU -s 35.234.0.0/16 -j DROP
-A DROPGYOTAKU -s 35.235.0.0/17 -j DROP
-A DROPGYOTAKU -s 35.235.192.0/20 -j DROP
-A DROPGYOTAKU -s 35.235.216.0/21 -j DROP
-A DROPGYOTAKU -s 35.235.224.0/20 -j DROP
-A DROPGYOTAKU -s 35.236.0.0/14 -j DROP
-A DROPGYOTAKU -s 35.240.0.0/15 -j DROP
-A DROPGYOTAKU -s 35.242.0.0/15 -j DROP
-A DROPGYOTAKU -s 35.244.0.0/14 -j DROP
-A DROPGYOTAKU -s 104.154.0.0/15 -j DROP
-A DROPGYOTAKU -s 104.196.0.0/14 -j DROP
-A DROPGYOTAKU -s 107.167.160.0/19 -j DROP
-A DROPGYOTAKU -s 107.178.192.0/18 -j DROP
-A DROPGYOTAKU -s 108.59.80.0/20 -j DROP
-A DROPGYOTAKU -s 108.170.192.0/20 -j DROP
-A DROPGYOTAKU -s 108.170.208.0/21 -j DROP
-A DROPGYOTAKU -s 108.170.216.0/22 -j DROP
-A DROPGYOTAKU -s 108.170.220.0/23 -j DROP
-A DROPGYOTAKU -s 108.170.222.0/24 -j DROP
-A DROPGYOTAKU -s 130.211.4.0/22 -j DROP
-A DROPGYOTAKU -s 130.211.8.0/21 -j DROP
-A DROPGYOTAKU -s 130.211.16.0/20 -j DROP
-A DROPGYOTAKU -s 130.211.32.0/19 -j DROP
-A DROPGYOTAKU -s 130.211.64.0/18 -j DROP
-A DROPGYOTAKU -s 130.211.128.0/17 -j DROP
-A DROPGYOTAKU -s 146.148.2.0/23 -j DROP
-A DROPGYOTAKU -s 146.148.4.0/22 -j DROP
-A DROPGYOTAKU -s 146.148.8.0/21 -j DROP
-A DROPGYOTAKU -s 146.148.16.0/20 -j DROP
-A DROPGYOTAKU -s 146.148.32.0/19 -j DROP
-A DROPGYOTAKU -s 146.148.64.0/18 -j DROP
-A DROPGYOTAKU -s 162.216.148.0/22 -j DROP
-A DROPGYOTAKU -s 162.222.176.0/21 -j DROP
-A DROPGYOTAKU -s 173.255.112.0/20 -j DROP
-A DROPGYOTAKU -s 192.158.28.0/22 -j DROP
-A DROPGYOTAKU -s 199.192.112.0/22 -j DROP
-A DROPGYOTAKU -s 199.223.232.0/22 -j DROP
-A DROPGYOTAKU -s 199.223.236.0/23 -j DROP
-A DROPGYOTAKU -s 208.68.108.0/23 -j DROP
COMMIT

Web魚拓用のチェインを定義して、このルールでIPアドレスがマッチしたらパケットを破棄するようにします。また、基本ルールのチェックよりも前にチェインを追加することに注意して下さい。

internetArchiveをブロックするiptables

Web魚拓をブロックするようにしたiptablesにInternetArchiveのクローラーをブロックするルールを追加していきます。InternetArchiveのチェインを追加しますが、このチェインはWeb魚拓をブロックするチェインの次に定義することに注意して下さい。

# sample configuration for iptables service
# you can edit this manually or use system-config-firewall
# please do not ask us to add additional ports/services to this default configuration
*filter
:INPUT DROP [0:0]
:FORWARD DROP [0:0]
:OUTPUT ACCEPT [0:0]
:DROPGYOTAKU - [0:0]
:DROPARCHIVE - [0:0]
-A INPUT -j DROPGYOTAKU
-A INPUT -j DROPARCHIVE
-A INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT
-A INPUT -p icmp -j ACCEPT
-A INPUT -i lo -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 22 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 25 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 53 -j ACCEPT
-A INPUT -p udp -m state --state NEW -m udp --dport 53 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 80 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 443 -j ACCEPT
-A INPUT -j REJECT --reject-with icmp-host-prohibited
-A FORWARD -j REJECT --reject-with icmp-host-prohibited
-A DROPGYOTAKU -s 160.16.235.118/32 -j DROP
-A DROPGYOTAKU -s 219.94.255.189/32 -j DROP
-A DROPGYOTAKU -s 160.16.242.5/32 -j DROP
-A DROPGYOTAKU -s 8.34.208.0/20 -j DROP
-A DROPGYOTAKU -s 8.35.192.0/21 -j DROP
-A DROPGYOTAKU -s 8.35.200.0/23 -j DROP
-A DROPGYOTAKU -s 23.236.48.0/20 -j DROP
-A DROPGYOTAKU -s 23.251.128.0/19 -j DROP
-A DROPGYOTAKU -s 34.64.0.0/11 -j DROP
-A DROPGYOTAKU -s 34.96.0.0/14 -j DROP
-A DROPGYOTAKU -s 34.100.0.0/16 -j DROP
-A DROPGYOTAKU -s 34.102.0.0/15 -j DROP
-A DROPGYOTAKU -s 34.104.0.0/22 -j DROP
-A DROPGYOTAKU -s 35.204.0.0/14 -j DROP
-A DROPGYOTAKU -s 35.208.0.0/13 -j DROP
-A DROPGYOTAKU -s 35.184.0.0/14 -j DROP
-A DROPGYOTAKU -s 35.188.0.0/15 -j DROP
-A DROPGYOTAKU -s 35.190.0.0/17 -j DROP
-A DROPGYOTAKU -s 35.190.128.0/18 -j DROP
-A DROPGYOTAKU -s 35.190.192.0/19 -j DROP
-A DROPGYOTAKU -s 35.190.224.0/20 -j DROP
-A DROPGYOTAKU -s 35.190.240.0/22 -j DROP
-A DROPGYOTAKU -s 35.190.242.0/23 -j DROP
-A DROPGYOTAKU -s 35.192.0.0/14 -j DROP
-A DROPGYOTAKU -s 35.196.0.0/15 -j DROP
-A DROPGYOTAKU -s 35.198.0.0/16 -j DROP
-A DROPGYOTAKU -s 35.199.0.0/17 -j DROP
-A DROPGYOTAKU -s 35.199.128.0/18 -j DROP
-A DROPGYOTAKU -s 35.200.0.0/14 -j DROP
-A DROPGYOTAKU -s 35.203.232.0/21 -j DROP
-A DROPGYOTAKU -s 35.206.0.0/15 -j DROP
-A DROPGYOTAKU -s 35.216.0.0/15 -j DROP
-A DROPGYOTAKU -s 35.220.0.0/14 -j DROP
-A DROPGYOTAKU -s 35.224.0.0/13 -j DROP
-A DROPGYOTAKU -s 35.232.0.0/15 -j DROP
-A DROPGYOTAKU -s 35.234.0.0/16 -j DROP
-A DROPGYOTAKU -s 35.235.0.0/17 -j DROP
-A DROPGYOTAKU -s 35.235.192.0/20 -j DROP
-A DROPGYOTAKU -s 35.235.216.0/21 -j DROP
-A DROPGYOTAKU -s 35.235.224.0/20 -j DROP
-A DROPGYOTAKU -s 35.236.0.0/14 -j DROP
-A DROPGYOTAKU -s 35.240.0.0/15 -j DROP
-A DROPGYOTAKU -s 35.242.0.0/15 -j DROP
-A DROPGYOTAKU -s 35.244.0.0/14 -j DROP
-A DROPGYOTAKU -s 104.154.0.0/15 -j DROP
-A DROPGYOTAKU -s 104.196.0.0/14 -j DROP
-A DROPGYOTAKU -s 107.167.160.0/19 -j DROP
-A DROPGYOTAKU -s 107.178.192.0/18 -j DROP
-A DROPGYOTAKU -s 108.59.80.0/20 -j DROP
-A DROPGYOTAKU -s 108.170.192.0/20 -j DROP
-A DROPGYOTAKU -s 108.170.208.0/21 -j DROP
-A DROPGYOTAKU -s 108.170.216.0/22 -j DROP
-A DROPGYOTAKU -s 108.170.220.0/23 -j DROP
-A DROPGYOTAKU -s 108.170.222.0/24 -j DROP
-A DROPGYOTAKU -s 130.211.4.0/22 -j DROP
-A DROPGYOTAKU -s 130.211.8.0/21 -j DROP
-A DROPGYOTAKU -s 130.211.16.0/20 -j DROP
-A DROPGYOTAKU -s 130.211.32.0/19 -j DROP
-A DROPGYOTAKU -s 130.211.64.0/18 -j DROP
-A DROPGYOTAKU -s 130.211.128.0/17 -j DROP
-A DROPGYOTAKU -s 146.148.2.0/23 -j DROP
-A DROPGYOTAKU -s 146.148.4.0/22 -j DROP
-A DROPGYOTAKU -s 146.148.8.0/21 -j DROP
-A DROPGYOTAKU -s 146.148.16.0/20 -j DROP
-A DROPGYOTAKU -s 146.148.32.0/19 -j DROP
-A DROPGYOTAKU -s 146.148.64.0/18 -j DROP
-A DROPGYOTAKU -s 162.216.148.0/22 -j DROP
-A DROPGYOTAKU -s 162.222.176.0/21 -j DROP
-A DROPGYOTAKU -s 173.255.112.0/20 -j DROP
-A DROPGYOTAKU -s 192.158.28.0/22 -j DROP
-A DROPGYOTAKU -s 199.192.112.0/22 -j DROP
-A DROPGYOTAKU -s 199.223.232.0/22 -j DROP
-A DROPGYOTAKU -s 199.223.236.0/23 -j DROP
-A DROPGYOTAKU -s 208.68.108.0/23 -j DROP
-A DROPARCHIVE -s 5.45.64.0/21 -j DROP
-A DROPARCHIVE -s 46.45.128.0/18 -j DROP
-A DROPARCHIVE -s 46.166.136.0/21 -j DROP
-A DROPARCHIVE -s 78.46.0.0/15 -j DROP
-A DROPARCHIVE -s 78.108.176.0/20 -j DROP
-A DROPARCHIVE -s 84.22.118.0/24 -j DROP
-A DROPARCHIVE -s 91.121.0.0/16 -j DROP
-A DROPARCHIVE -s 91.235.136.0/23 -j DROP
-A DROPARCHIVE -s 94.242.0.0/18 -j DROP
-A DROPARCHIVE -s 104.16.0.0/12 -j DROP
-A DROPARCHIVE -s 130.0.232.0/21 -j DROP
-A DROPARCHIVE -s 139.162.192.0/19 -j DROP
-A DROPARCHIVE -s 146.0.72.0/24 -j DROP
-A DROPARCHIVE -s 146.0.75.0/24 -j DROP
-A DROPARCHIVE -s 151.236.216.0/21 -j DROP
-A DROPARCHIVE -s 158.58.168.0/21 -j DROP
-A DROPARCHIVE -s 178.62.128.0/17 -j DROP
-A DROPARCHIVE -s 104.16.0.0/12 -j DROP
-A DROPARCHIVE -s 104.28.25.2/32 -j DROP
-A DROPARCHIVE -s 104.24.125.35/32 -j DROP
-A DROPARCHIVE -s 104.27.168.37/32 -j DROP
-A DROPARCHIVE -s 104.27.129.65/32 -j DROP
-A DROPARCHIVE -s 104.27.171.40/32 -j DROP
-A DROPARCHIVE -s 209.50.56.33/32 -j DROP
COMMIT

まとめ

基本的にiptablesでも他のファイアウォールでも上記iptablesで使用したサブネットアドレス、ホストアドレスを拒否設定すれば、各種クローラーをブロックできます。

ちなみにこれらサブネット・ホスト情報は2024年12月現在のものですので、今後増えることも考えられます。また、過去数年この設定で運用してますが、魚拓、InternetArchiveに収録されるに至っておりません。

ですので、今のところは上記iptablesの設定で運用していけると思います。

2
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
2
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?