AWS で t2.micro でサーバを立てて Webサービスを立ち上げているとよく落ちる。
LAMP環境であるが、DOS攻撃を受けたら真っ先にMySQLが落ちてしまう。
適当にMySQLを立ち上げ直していたが、今日起動しなくなっていた。
環境
Ubuntu 14.04
# /etc/init.d/mysql start
* Starting MySQL database server mysqld [fail]
とりあえず、syslogを見てみます。
root@fablib:/tmp# tail /var/log/syslog
Jul 24 07:00:31 fab /etc/init.d/mysql[5817]: #007/usr/bin/mysqladmin: connect to server at 'localhost' failed
Jul 24 07:00:31 fab /etc/init.d/mysql[5817]: error: 'Can't connect to local MySQL server through socket '/var/run/mysqld/mysqld.sock' (2)'
Jul 24 07:00:31 fab /etc/init.d/mysql[5817]: Check that mysqld is running and that the socket: '/var/run/mysqld/mysqld.sock' exists!
Jul 24 07:00:31 fab /etc/init.d/mysql[5817]:
Jul 24 07:00:31 fab CRON[5085]: (CRON) info (No MTA installed, discarding output)
Jul 24 07:02:08 fab /etc/init.d/mysql[6558]: 0 processes alive and '/usr/bin/mysqladmin --defaults-file=/etc/mysql/debian.cnf ping' resulted in
Jul 24 07:02:08 fab /etc/init.d/mysql[6558]: #007/usr/bin/mysqladmin: connect to server at 'localhost' failed
Jul 24 07:02:08 fab /etc/init.d/mysql[6558]: error: 'Can't connect to local MySQL server through socket '/var/run/mysqld/mysqld.sock' (2)'
Jul 24 07:02:08 fab /etc/init.d/mysql[6558]: Check that mysqld is running and that the socket: '/var/run/mysqld/mysqld.sock' exists!
Jul 24 07:02:08 fab /etc/init.d/mysql[6558]:
うーん、sockファイルね。
# cd /var/run/mysqld
# ls
# cd /tmp/
# ls -alh
total 16K
drwxrwxrwt 4 root root 4.0K Jul 24 06:52 .
drwxr-xr-x 22 root root 4.0K Sep 27 2017 ..
drwxrwxrwt 2 root root 4.0K Sep 27 2017 .ICE-unix
drwxrwxrwt 2 root root 4.0K Sep 27 2017 .X11-unix
あれ、何もない。pidファイルみたいに落ちた時のゴミファイルが残っているのかと思っていましたが、そうではないようです。
他の方の事例を元に、sockファイルを作りなおしたりしてみたが改善しません。
# cd /var/run/mysqld
# ls
# touch mysqld.sock
# chown mysql:mysql mysqld.sock
syslogではなく、MySQLのログを見てみます。
# ls -alh
total 19M
drwxr-s--- 2 mysql adm 4.0K Jul 24 06:53 mysql
-rw-r----- 1 mysql adm 0 Oct 3 2014 mysql.err
-rw-r----- 1 mysql adm 0 Jul 24 06:53 mysql.log
-rw-r----- 1 mysql adm 20 Jul 23 06:27 mysql.log.1.gz
-rw-r----- 1 mysql adm 20 Jul 22 06:57 mysql.log.2.gz
-rw-r----- 1 mysql adm 20 Jul 21 06:38 mysql.log.3.gz
-rw-r----- 1 mysql adm 20 Jul 20 06:50 mysql.log.4.gz
-rw-r----- 1 mysql adm 20 Jul 19 06:44 mysql.log.5.gz
-rw-r----- 1 mysql adm 20 Jul 18 06:42 mysql.log.6.gz
-rw-r----- 1 mysql adm 20 Jul 17 06:50 mysql.log.7.gz
うーん、mysqlというディレクトリがあるが・・・
# cd mysql
# ls -alh
total 44K
drwxr-s--- 2 mysql adm 4.0K Jul 24 06:53 .
drwxrwxr-x 10 root syslog 4.0K Jul 24 06:53 ..
-rw-r----- 1 mysql adm 5.5K Jul 24 07:10 error.log
-rw-r----- 1 mysql adm 2.4K Jul 24 06:37 error.log.1.gz
-rw-r----- 1 mysql adm 2.8K Jul 23 06:00 error.log.2.gz
-rw-r----- 1 mysql adm 2.3K Jul 22 06:00 error.log.3.gz
-rw-r----- 1 mysql adm 2.2K Jul 21 06:00 error.log.4.gz
-rw-r----- 1 mysql adm 2.7K Jul 20 06:00 error.log.5.gz
-rw-r----- 1 mysql adm 2.6K Jul 19 06:00 error.log.6.gz
-rw-r----- 1 mysql adm 2.7K Jul 18 06:00 error.log.7.gz
こっちが本物らしいですね。
# tail -30 error.log
180724 7:08:25 InnoDB: Completed initialization of buffer pool
180724 7:08:25 InnoDB: Fatal error: cannot allocate memory for the buffer pool
180724 7:08:25 [ERROR] Plugin 'InnoDB' init function returned error.
180724 7:08:25 [ERROR] Plugin 'InnoDB' registration as a STORAGE ENGINE failed.
180724 7:08:25 [ERROR] Unknown/unsupported storage engine: InnoDB
180724 7:08:25 [ERROR] Aborting
180724 7:08:25 [Note] /usr/sbin/mysqld: Shutdown complete
180724 07:08:25 mysqld_safe mysqld from pid file /var/run/mysqld/mysqld.pid ended
180724 07:10:37 mysqld_safe Starting mysqld daemon with databases from /var/lib/mysql
180724 7:10:37 [Warning] Using unique option prefix key_buffer instead of key_buffer_size is deprecated and will be removed in a future release. Please use the full name instead.
180724 7:10:37 [Warning] Using unique option prefix myisam-recover instead of myisam-recover-options is deprecated and will be removed in a future release. Please use the full name instead.
180724 7:10:37 [Note] Plugin 'FEDERATED' is disabled.
180724 7:10:37 InnoDB: The InnoDB memory heap is disabled
180724 7:10:37 InnoDB: Mutexes and rw_locks use GCC atomic builtins
180724 7:10:37 InnoDB: Compressed tables use zlib 1.2.8
180724 7:10:37 InnoDB: Using Linux native AIO
180724 7:10:37 InnoDB: Initializing buffer pool, size = 128.0M
InnoDB: mmap(137363456 bytes) failed; errno 12
180724 7:10:37 InnoDB: Completed initialization of buffer pool
180724 7:10:37 InnoDB: Fatal error: cannot allocate memory for the buffer pool
180724 7:10:37 [ERROR] Plugin 'InnoDB' init function returned error.
180724 7:10:37 [ERROR] Plugin 'InnoDB' registration as a STORAGE ENGINE failed.
180724 7:10:37 [ERROR] Unknown/unsupported storage engine: InnoDB
180724 7:10:37 [ERROR] Aborting
180724 7:10:37 [Note] /usr/sbin/mysqld: Shutdown complete
180724 07:10:37 mysqld_safe mysqld from pid file /var/run/mysqld/mysqld.pid ended
うーん、メモリが足りなくなっているらしい。
root@fablib:/var/log/mysql# free
total used free shared buffers cached
Mem: 1016256 935508 80748 326408 42652 387616
-/+ buffers/cache: 505240 511016
Swap: 0 0 0
どこかでメモリーリークでも起こっているかな？？
root@fablib:/var/log/mysql# top
top - 07:15:59 up 299 days, 7:40, 1 user, load average: 0.00, 0.01, 0.05
Tasks: 129 total, 1 running, 128 sleeping, 0 stopped, 0 zombie
%Cpu(s): 0.0 us, 0.0 sy, 0.0 ni, 99.7 id, 0.3 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem: 1016256 total, 936028 used, 80228 free, 42688 buffers
KiB Swap: 0 total, 0 used, 0 free. 387744 cached Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1 root 20 0 33492 1860 456 S 0.0 0.2 0:39.93 init
2 root 20 0 0 0 0 S 0.0 0.0 0:00.00 kthreadd
3 root 20 0 0 0 0 S 0.0 0.0 0:11.77 ksoftirqd/0
4 root 20 0 0 0 0 S 0.0 0.0 0:00.00 kworker/0:0
5 root 0 -20 0 0 0 S 0.0 0.0 0:00.00 kworker/0:0H
7 root 20 0 0 0 0 S 0.0 0.0 2:43.30 rcu_sched
8 root 20 0 0 0 0 S 0.0 0.0 10:48.38 rcuos/0
9 root 20 0 0 0 0 S 0.0 0.0 0:00.02 rcuos/1
10 root 20 0 0 0 0 S 0.0 0.0 0:00.01 rcuos/2
11 root 20 0 0 0 0 S 0.0 0.0 0:00.01 rcuos/3
12 root 20 0 0 0 0 S 0.0 0.0 0:00.01 rcuos/4
13 root 20 0 0 0 0 S 0.0 0.0 0:00.01 rcuos/5
14 root 20 0 0 0 0 S 0.0 0.0 0:00.01 rcuos/6
15 root 20 0 0 0 0 S 0.0 0.0 0:00.01 rcuos/7
16 root 20 0 0 0 0 S 0.0 0.0 0:00.01 rcuos/8
17 root 20 0 0 0 0 S 0.0 0.0 0:00.01 rcuos/9
18 root 20 0 0 0 0 S 0.0 0.0 0:00.01 rcuos/10
19 root 20 0 0 0 0 S 0.0 0.0 0:00.01 rcuos/11
20 root 20 0 0 0 0 S 0.0 0.0 0:00.01 rcuos/12
21 root 20 0 0 0 0 S 0.0 0.0 0:00.01 rcuos/13
22 root 20 0 0 0 0 S 0.0 0.0 0:00.01 rcuos/14
23 root 20 0 0 0 0 S 0.0 0.0 0:00.00 rcu_bh
24 root 20 0 0 0 0 S 0.0 0.0 0:00.00 rcuob/0
25 root 20 0 0 0 0 S 0.0 0.0 0:00.00 rcuob/1
26 root 20 0 0 0 0 S 0.0 0.0 0:00.00 rcuob/2
27 root 20 0 0 0 0 S 0.0 0.0 0:00.00 rcuob/3
28 root 20 0 0 0 0 S 0.0 0.0 0:00.00 rcuob/4
29 root 20 0 0 0 0 S 0.0 0.0 0:00.00 rcuob/5
30 root 20 0 0 0 0 S 0.0 0.0 0:00.00 rcuob/6
31 root 20 0 0 0 0 S 0.0 0.0 0:00.00 rcuob/7
32 root 20 0 0 0 0 S 0.0 0.0 0:00.00 rcuob/8
33 root 20 0 0 0 0 S 0.0 0.0 0:00.00 rcuob/9
34 root 20 0 0 0 0 S 0.0 0.0 0:00.00 rcuob/10
ぱっと見わからなかったので、結局、リブート。リブートすると回復しました。