参考: https://underyx.me/2015/05/18/raising-the-maximum-number-of-file-descriptors

ulimit -n の値は、オープンできるファイル数の上限を表します。オープンしているファイル数がこの上限に達すると、それ以上はソケットも開けなくなるので、通信もできなくなります。
今回、supervisordでデーモン化している process-x プロセス(仮名)の ulimit -n 値を増やした時の手順を記します。

環境チェック

$ cat /etc/issue
Ubuntu 14.04.2 LTS \n \l

$ cat /etc/lsb-release 
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=14.04
DISTRIB_CODENAME=trusty
DISTRIB_DESCRIPTION="Ubuntu 14.04.2 LTS"

デフォルト値

$ ulimit -n
1024
$ ulimit -Sn
1024
$ ulimit -Hn
4096

設定

/etc/security/limits.conf に追加

/etc/security/limits.conf

*    soft nofile 65536
*    hard nofile 65536
root soft nofile 65536
root hard nofile 65536

/etc/pam.d/common-session に追加

/etc/pam.d/common-session

# Set up user limits from /etc/security/limits.conf.
session    required     pam_limits.so

/etc/pam.d/common-nonsession に追加

/etc/pam.d/common-nonsession

# Set up user limits from /etc/security/limits.conf.
session    required     pam_limits.so

開発環境のUbuntu 14.04.3では、上の追加部分はコメント行として存在していました。
ここまでで、各ユーザーがログインしなおすと、設定が更新されています。

$ ulimit -n
65536

/etc/supervisor/supervisord.conf に追加

/etc/supervisor/supervisord.conf

[supervisord]
minfds=65536

supervisord 再起動

$ sudo service supervisor restart

daemonは起動スクリプト中で、 ulimit -n の呼び出しが必要。今回はsuperversordの設定により同等の内容となっています。
実行中のプロセスに変更が適用されているかどうかの確認
- PIDを取得
- cat /proc/{PID}/limits

$ ps -ef | grep process-x | grep -v grep
www-data 15322 22208  0 07:44 ?        00:03:03 /**/process-x

$ cat /proc/15322/limits
Limit                     Soft Limit           Hard Limit           Units     
Max cpu time              unlimited            unlimited            seconds   
Max file size             unlimited            unlimited            bytes     
Max data size             unlimited            unlimited            bytes     
Max stack size            8388608              unlimited            bytes     
Max core file size        0                    unlimited            bytes     
Max resident set          unlimited            unlimited            bytes     
Max processes             31534                31534                processes 
Max open files            65536                65536                files     
Max locked memory         65536                65536                bytes     
Max address space         unlimited            unlimited            bytes     
Max file locks            unlimited            unlimited            locks     
Max pending signals       31534                31534                signals   
Max msgqueue size         819200               819200               bytes     
Max nice priority         0                    0                    
Max realtime priority     0                    0                    
Max realtime timeout      unlimited            unlimited            us