概要
- L7ロードバランサーやAPサーバで使うnginxを設計する際に、パラメーターチューニング大事だなと思ったので書き残します。
- 大体この辺り本番に合わせて適値を見つけて設定していくのが良いかなぁと思いました。
- CentOS 6系です
- ipv6の設定は無視してます。。
チューニング
| パラメーター | 内容 | default値 |
|---|---|---|
| net.core.rmem_max = 16777216 | TCPとUDPの受信バッファのデフォルトサイズと最大サイズ。 | 124928 |
| net.core.wmem_max = 16777216 | TCPとUDPの送信バッファのデフォルトサイズと最大サイズ。 | 124928 |
| net.nf_conntrack_max = 1053616 | ESTABLISHEDのリストの最大数(OS側の管理数) | 可変 |
| net.ipv4.conf.default.accept_source_route = 0 | ソースルートが指定されたパケットを拒否。本来は経路のテストを行う目的であるのでoffにする | 1 |
| net.ipv4.tcp_rmem = 4096 349520 16777216 | データ受信バッファ サイズ | 可変 |
| net.ipv4.tcp_timestamps = 0 | NAT環境下で、複数ホストがクライアントのときに、WAN側のサーバに接続が切られる対策 | 1 |
| net.ipv4.tcp_fin_timeout = 5 | FINのタイムアウト時間 | 60 |
| net.ipv4.tcp_syn_retries = 3 | tcpのSYNを送信するリトライ回数。 この回数SYNを送ってもダメなら諦める |
5 |
| net.ipv4.tcp_synack_retries = 3 | 接続を受付側としてオープンするとき、 カーネルは SYN に ACK を詰め込んで送り、先に受けとった SYN を確認する。 | 5 |
| net.ipv4.tcp_syncookies = 1 | SYN flood攻撃対策 | 1 |
| net.ipv4.ip_local_port_range = 10000 65535 | TCP/IPの送信時に使用するポートの範囲 可能なら 1024-65535が良いが、iptablesやAWSだとNetworkACLとかで 同様に必要に応じて開放しておかないとパケットが途中で止まってハマるから注意。 $ cat /proc/sys/net/ipv4/ip_local_port_rangeで確認できる |
32768 61000 |
| net.ipv4.tcp_tw_reuse = 1 | 自分からの接続を使い回す。tcp_tw_recycleは相手からの接続を使い回す。 | 0 |
| net.ipv4.tcp_tw_recycle = 0 | 相手からの接続を使い回す。 | 0 |
| net.ipv4.tcp_rfc1337 = 1 | RFC1337に準拠させる。TIME_WAIT状態のときにRSTを受信した場合、TIME_WAIT期間の終了を待たずにそのソケットをクローズする | 0 |
| net.ipv4.tcp_fin_timeout = 5 | タイムアウトはできる限り短いほうがいい | 60 |
| net.ipv4.tcp_max_tw_buckets = 65536 | システムが同時に保持するtime-waitソケットの最大数。 DoS攻撃を防げるため、低くするのはやめたほうが良い。 |
動的 |
| net.ipv4.tcp_orphan_retries = 0 | こちらからクローズしたTCPコネクションを終了する前の再送回数。 webサーバだとリソースを消費する可能性があるため、低くしたほうが良い |
0 |
| net.ipv4.tcp_keepalive_probes = 5 | TCP が keepalive プローブを送る数。この数に達すると、 その接続が壊れたとみなす。 |
9 |
| net.ipv4.tcp_slow_start_after_idle = 0 | keepaliveしててもしばらく通信がなかったらcongestion window sizeをresetする。 keepaliveを利用しており、かつ輻輳が少ない環境ではoffが良い。 |
1 |
| net.core.netdev_max_backlog = 65536 | パケット受信時にキューに繋ぐことができるパケットの最大数 | 1000 |
| net.ipv4.tcp_max_syn_backlog = 65536 | ソケット当たりのSYNを受け付けてACKを受け取っていない状態のコネクションの保持可能数。 この値を超えたものに関してはOSはSYNパケットを拒否することになる。 溢れたパケットはnetstatで確認できる。 ただし、この値はnet.core.somaxconnより大きかった場合、net.core.somaxconnの値を優先する。 |
1024 |
| net.ipv4.conf.eth180.arp_ignore = 1 | ぶら下がってるAPサーバ群にarpに応答させない（MACアドレスを覚えさせない） IPとmacアドレスが関係ずけられると、送りたい機器に通信できなくなる。 |
0 |
| net.ipv4.conf.eth180.arp_announce = 2 | ぶら下がってるAPサーバ群にarpに応答させない（MACアドレスを覚えさせない） IPとmacアドレスが関係ずけられると、送りたい機器に通信できなくなる。 |
0 |
| net.core.somaxconn = 65535 | 一度に受け入れられるTCPセッションのキューの数。 TCPのセッション数をbacklogで管理し、それを超えたものはキューに格納される。 このキューの数をここで設定する |
128 |
| vm.swappiness = 0 | 実メモリがある状態でスワップを使用しない | 0 |
| vm.overcommit_memory = 2 | 実メモリ以上にプロセスにメモリを割り当てない | 0 |
| vm.overcommit_ratio = 99 | OOM killerで勝手にkillするくらいだったら、メモリ不足を検出してエラー処理をさせる。 vm.overcommit_memory = 2のときに設定する |
50 |
| kernel.shmmax = メモリのByte数 | 共有メモリの最大サイズ。サーバーの搭載メモリ(1GB)に合わせて変更するので | 動的？ |
| kernel.shmall = 68719476736 | システム全体の共有メモリ・ページの最大数 | 68719476736 |
| kernel.msgmnb = 65536 | 1つのメッセージキューに保持できるメッセージの最大値 | 65536 |
| kernel.msgmax = 65536 | メッセージキューIDの最大値 | 65536 |
| kernel.sysrq = 0 | SysRqとは、サーバでキーボード操作ができなくなったとき、カーネルが昨日してれば特定のキー（Alt + PrintScreen)で割り込める。使わないので0 | 0 |
| kernel.core_uses_pid = 1 | コアダンプ時、".PID"をコアファイル名に追加しない | 0 |