squidを透過プロクシーで使っていると、CDNを全くcacheしないんだけど
きっかけ
squidを利用して、リモートのCDNサーバーに置かれたzipファイルやdebなどをローカルに
キャッシュしようとしても毎回フェッチするので、おかしいなと感じ少し調べてみました。
産業で説明
CDN（コンテンツ配布）サーバーは負荷分散のためにDNSラウンドロビンなどを行なっていて
１つのURLに対して複数のIPアドレス（サーバー）を持っています
なので、squidの動作上そうなります。(リクエストしたIPアドレスと、URLから引いたIPアドレスが一致しない)
実際のところ何が起きてる？
src/client_side_request.cc: 556
ClientRequestContext::hostHeaderIpVerify(const ipcache_addrs* ia, const DnsLookupDetails &dns)
・・・
debugs(85, 3, HERE << "FAIL: validate IP " << clientConn->local << " possible from Host:");
hostHeaderVerifyFailed("local IP", "any domain IP");
}
OUCH!
同じファイルを何回ダウンロードしようが、DNSのラウンドロビンのIPアドレス全部をガチャ引きしようが、
透過プロクシーでsquidを叩く限り、このCDNサーバーのキャッシュオブジェクトは生成されません。
同一URLに対して、
運良く、端末が引いたIPアドレスとsquidが引いたIPアドレスが同じだったときだけ生成されます。
そして、運良く、もう一度端末が引いたIPアドレスでアクセスが発生し、なおかつその時点でもsquidが引いたIPアドレスと一致した場合に限りCACHE HITになります。（ベリーレアIPアイテム）
実験
#if 0
hostHeaderVerifyFailed("local IP", "any domain IP");
#else
http->request->flags.hostVerified = 1;
http->doCallouts();
#endif
//ぃぃのかょこんなことして
HIT OKでした。
真面目に対策を考える
- 許された サイトURLだけ、IPアドレス不一致を許すような実装。
- http-proxyポートも開いておいて、キャッシュしたい端末には、全部proxyを設定する。
http_port 3128
http_port 3129 intercept
- iptablesでLAN側80番portリクエストをlocalhost:3129 にNATする (必要ならば)
- http-proxy は GWサーバーの3128をアナウンスする
補足
http-proxyモードではCDNの配布ファイルをちゃんとキャッシュしてくれます。
これは、squidに渡されるのがURLのみなので、squid内部でdnsを引きに行き、dnsキャッシュもsquid側にあるので、url->ipの一貫性があるからです。
squid3 デバッグメッセージの出し方
squid3 -k debug
root権限でこれをやると、以後、/var/log/squid3/cache.log にdebugメッセージが大量に出る
squid3 -k reconfigure
で戻せます