初めに
すでに色々と情報はあるNginx ですが、AWSのNetwork Load Balancer（以降NLB）をTargetにてIP指定＋nginx を連携させた際のアクセスログが、かゆい所に手が届いてなかったのでその際の情報をまとめてみました。
困った事
- NLBとNginxを連携したところ、Nginxのアクセスログに出力していた送信元のクライアントIPが変わってしまった。
- Nginx のアクセルログに
X-Forwarded-Forの値を出力させたいが、その値が入る$http_x_forwarded_for変数にも-(ハイフン)となり取れていないので、後続（下図におけるApache）へ渡せるようにしたい。
原因
- 困った事の原因としては、NLB(target group)の設定で、ターゲットをインスタンス指定でなくIP指定としていた為、 出力していたクライアントのIPがNLBのIPになっていた。これはAWS仕様。
- NLBは
X-Forwarded-Forを付与しない為、個別に設定する必要があった。
(NLBでは送信元IPアドレスと送信元ポートの書き換えを行わないため、パケットからの情報でアクセス元が判断する)
対応前
nginx.conf
- log_format
余談ですが、log_formatにて変数を””（ダブルクォーテーション）で囲っているものは値に空白を含む可能性のある場合に設定しておくと位置特定に便利です。
log_format main '$remote_addr $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent"';
Nginx
access.log
remote_addr にはNLBのIPアドレスが入るためクライアントIPは出力されてない。
172.26.22.241 - [09/Dec/2020:18:07:46 +0900] "GET / HTTP/2.0" 403 2135 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36"
対応
- NLB target group
Proxy Protocol ヘッダーから送信元のIP アドレスを取得するため、NLBのターゲットグループにてProxy Protocol V2 機能を利用する。
有効化にチェックをつけて保存する。（反映に数分かかります。）
- Nginx
Nginx でのproxy_protocolの設定。
| ディレクティブ | 説明 |
|---|---|
| listen | ディレクティブにproxy_protocolを追加することで有効になる。 |
| real_ip_header | 今回X-Forwarded-Forはとれていないので、remote_addrをクライアントIPで上書きしたいのであれば「real_ip_header proxy_protocol」とする必要がある。remote_addrをクライアントIPで上書きしたくないので今回は不要。 |
| set_real_ip_form | NLBのIPアドレスを指定。 |
| real_ip_recursive | real_ip_header X-Forwarded-Forの場合に意味のある設定のため今回は不要。 |
server {
listen 443 ssl proxy_protocol;
set_real_ip_from XXX.XXX.XXX.XXX;
}
nginx.conf のlog_formatに変数を追加。
- $proxy_protocol_addr ：クライアントのIPアドレスが格納される。
- $proxy_protocol_port ：クライアントのポートが格納される。
log_format main '$proxy_protocol_addr:$proxy_protocol_port $remote_addr:$remote_port $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" "$http_user_agent" $server_port';
Nginx access_log
クライアントのIPアドレスとポートが出力されるようになりました。
192.178.185.120:51714 172.26.22.241:6919 - [09/Dec/2020:18:43:34 +0900] "GET / HTTP/2.0" 403 2135 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36" 443
対応 + α
欲しい情報は無事取得できましたが、アクセスログの最後に出力しようとしている http_x_forwarded_forは変わらず-（ハイフン）のままなので、後続のサーバでも取得できません。
後続へ転送設定時に取得したproxy_protocol_addr変数の値を渡す必要があります。
Nginxの後ろにあるApacheのアクセスログに出力されているか確認します。
location / {
proxy_pass http://XXX.XXX.XXX.XX2/;
proxy_set_header Host XXX.XXX.XXX.XX2;
proxy_set_header X-Forwarded-for $proxy_protocol_addr;
proxy_pass_request_headers on;
}
- Apache
Nginxで設定したX-Forwarded-Forの値を Apache のアクセスログで出力されているか確認する為にApache側のLogFormatを以下のように変更します。
httpd.conf
LogFormat "%{X-Forwarded-For}i %h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
access.log(Apache)
192.178.185.120 172.26.22.183 - - [09/Dec/2020:18:43:31 +0900] "GET /noindex/css/fonts/Light/OpenSans-Light.ttf HTTP/1.0" 404 240 "https://XXX-nlb-dev-XXXXXXXXXXXXX.elb.ap-northeast-1.amazonaws.com/noindex/css/open-sans.css" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36"
NLBとNginxのアクセスログ出力項目
障害調査や監査等でNLBのアクセスログとNginxのアクセスログを突合せたいケースがあると思います。
その際に、どの項目で突合せできるかまとめてみました。
NLBのアクセスログをベースにNginxのアクセスログへ出力できる変数を表にしてみました。
- NLBの項目と突合せできそうなものを表にします。（一部マスキングしています）
- 意外と対応する項目がない。
★箇所がクライアントIP、portではなくNLBの値になってしまう。
| フィールド（NLB） | NLB出力結果 | Nginx変数 | Nginx出力結果 |
|---|---|---|---|
| type | tls | ― | |
| バージョン | 2.0 | ― | |
| time | 2020-12-10T08:22:43 | \$time_iso8601、$time_local | 2020-12-10T17:22:44+09:00、10/Dec/2020:17:44:09 +0900 |
| elb | net/xxx-NLB-DEV/XXXXXXXXXXXXX | ― | |
| listener | XXXXXXXXXXXXX | ― | |
| client:port | 192.178.185.120:57569 | ★ |
|
| destination:port | 172.26.22.241:443 | ― | |
| connection_time | 102628 | ― | |
| tls_handshake_time | 4 | ― | |
| received_bytes | 1008 | ― | |
| sent_bytes | 28259 | \$bytes_sent | 28259 |
| incoming_tls_alert | - | ― | |
| chosen_cert_arn | arn:aws:iam::XXXXXXXXXXXXX:server-certificate/dx-xxx-test2 | ― | |
| chosen_cert_serial | - | ― | |
| tls_cipher | ECDHE-RSA-AES128-GCM-SHA256 | ― | |
| tls_protocol_version | tlsv12 | ― | |
| tls_named_group | - | ― | |
| domain_name | xxx-nlb-dev-XXXXXXXXXXXXX.elb.ap-northeast-1.amazonaws.com | $host | xxx-nlb-dev-XXXXXXXXXXXXX.elb.ap-northeast-1.amazonaws.com |
| alpn_fe_protocol | h2 | ― | |
| alpn_be_protocol | h2 | ― | |
| alpn_client_preference_list | "h2","http/1.1" | ― |
NLBのアクセスログの詳細については以下の公式を参考にしてください。
Network Load Balancer のアクセスログ