概要

急にpossibly out of free disk spaceといったエラーがでた時の原因のひとつ。
EC2のinstanceを生成する時には、十分な容量のEBSボリュームをアタッチしたはずなのになあ、おかしいなと思っていたところ、割り当てたボリュームが認識されていないという問題がありました。

動作環境

AWS CentOS Linux release 7.7.1908 (Core)

解決策

まず、パーテーションの確認を行います。
xvdaには最初にアタッチした160GBのストレージを確認できますが、実際に使われているのは、そのうちのxvda2のパーテーションの34GBしかないです。

$ lsblk
NAME    MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
xvda    202:0    0  160G  0 disk
├─xvda1 202:1    0    1G  0 part /boot
└─xvda2 202:2    0   34G  0 part /

この時のdisk容量を確認すると、見事100%になっています。

$ df -h
ファイルシス   サイズ  使用  残り 使用% マウント位置
devtmpfs         7.8G     0  7.8G    0% /dev
tmpfs            7.8G     0  7.8G    0% /dev/shm
tmpfs            7.8G  225M  7.6G    3% /run
tmpfs            7.8G     0  7.8G    0% /sys/fs/cgroup
/dev/xvda2        34G   34G     0  100% /
/dev/xvda1      1014M  192M  823M   19% /boot
tmpfs            1.6G     0  1.6G    0% /run/user/1000

したがって、この状況を解決するには、
まず、xvda2のパーテーションを拡張する必要があります。
その時にgrowpartというツールを使うので、インストールします。
growpartをinstallできない場合は、空き容量がないということなので、いらないファイルを削除して、再試行するするとうまくいくと思います。

$ sudo yum install cloud-utils-growpart
$ sudo growpart /dev/xvda 2 # xvdaの2番目のパーテーション(xvda2)を拡張

$ lsblk
NAME    MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
xvda    202:0    0  160G  0 disk
├─xvda1 202:1    0    1G  0 part /boot
└─xvda2 202:2    0  159G  0 part /

パーテーションを拡張できました！

念の為、ファイルサイズを確認すると、、、

$ df -h
ファイルシス   サイズ  使用  残り 使用% マウント位置
devtmpfs         7.8G     0  7.8G    0% /dev
tmpfs            7.8G     0  7.8G    0% /dev/shm
tmpfs            7.8G  225M  7.6G    3% /run
tmpfs            7.8G     0  7.8G    0% /sys/fs/cgroup
/dev/xvda2        34G   34G  249M  100% /
/dev/xvda1      1014M  192M  823M   19% /boot
tmpfs            1.6G     0  1.6G    0% /run/user/1000

あれれ。。。まだ使用率が100%になっています。
このままだと、xvda2のファイルサイズが、元の34GBのままなので、今度はファイルシステムを拡張する必要があります。その前に、ext2、ext3、ext4、XFSといったどのファイルシステムでxvdaが管理されているのかを確認します。

$ df -T
ファイルシス   タイプ   1K-ブロック     使用  使用可 使用% マウント位置
devtmpfs       devtmpfs     8110620        0 8110620    0% /dev
tmpfs          tmpfs        8132940        0 8132940    0% /dev/shm
tmpfs          tmpfs        8132940   229880 7903060    3% /run
tmpfs          tmpfs        8132940        0 8132940    0% /sys/fs/cgroup
/dev/xvda2     xfs         35640300 35386356  253944  100% /
/dev/xvda1     xfs          1038336   195928  842408   19% /boot
tmpfs          tmpfs        1626592        0 1626592    0% /run/user/1000

xvda2はxfs形式であることが確認できました。
それでは、xvda2のmount pointである/からファイルシステムを拡張します。

$ sudo xfs_growfs -d /
meta-data=/dev/xvda2             isize=512    agcount=31, agsize=288256 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=0 spinodes=0
data     =                       bsize=4096   blocks=8912635, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal               bsize=4096   blocks=2560, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
data blocks changed from 8912635 to 41680635

無事ファイルシステムを拡張することができました！

$ df -h
ファイルシス   サイズ  使用  残り 使用% マウント位置
devtmpfs         7.8G     0  7.8G    0% /dev
tmpfs            7.8G     0  7.8G    0% /dev/shm
tmpfs            7.8G  225M  7.6G    3% /run
tmpfs            7.8G     0  7.8G    0% /sys/fs/cgroup
/dev/xvda2       159G   34G  126G   22% /
/dev/xvda1      1014M  192M  823M   19% /boot
tmpfs            1.6G     0  1.6G    0% /run/user/1000

volumeの確認→パーテーションの拡張→ファイルシステムの拡張の順番で処理していけば大丈夫そうですね。

参考

ボリュームサイズ変更後の Linux ファイルシステムの拡張