LXC/cgroupsについても調べてみたのでめもめも

Dockerを調べていたら、下位レイヤであるLXCやcgroupに興味が出てきたので少し調べました。
まだ触ってみたくらい。

What is LXC?

• LinuX Containerの略で、システムのコンテナ化を行なうための機構
• OSレベルで提供されている
• Linux kernelの機構であるcgroups/namespaceなどに依存している
• 低レイヤな機構であるcgroupsなどをとりまとめる中間レイヤ的な側面を持つが、さらに高レイヤのDockerから利用されることが多い
• 同様の技術にFreeBSD jailやSolaris Containersなど

How to use

以下でインストール。

ubuntu@ubuntu:~$ sudo apt-get install lxc

以下がテンプレートとして用意されている。

ubuntu@ubuntu:~$ ls -l /usr/lib/lxc/templates/
total 88
-rwxr-xr-x 1 root root  8227 Oct 29  2013 lxc-busybox
-rwxr-xr-x 1 root root  9806 Oct 29  2013 lxc-debian
-rwxr-xr-x 1 root root 10520 Oct 29  2013 lxc-fedora
-rwxr-xr-x 1 root root  9094 Oct 29  2013 lxc-opensuse
-rwxr-xr-x 1 root root  5115 Oct 29  2013 lxc-sshd
-rwxr-xr-x 1 root root 19736 Oct 29  2013 lxc-ubuntu
-rwxr-xr-x 1 root root 10590 Oct 29  2013 lxc-ubuntu-cloud

Debianをインストールしてみる。
十分以上かかるので注意。

ubuntu@ubuntu:~$ sudo lxc-create -t debian -n debian0
No config file specified, using the default config
debootstrap is /usr/sbin/debootstrap
Checking cache download in /var/cache/lxc/debian/rootfs-squeeze-i386 ... 
Downloading debian minimal ...
I: Retrieving Release
W: Cannot check Release signature; keyring file not available /usr/share/keyrings
/debian-archive-keyring.gpg
I: Retrieving Packages
I: Validating Packages
I: Resolving dependencies of required packages...
I: Resolving dependencies of base packages...
...

一覧を表示すると存在している。

ubuntu@ubuntu:~$ sudo lxc list                                                   
RUNNING

FROZEN

STOPPED
  debian0

開始してみる。

ubuntu@ubuntu:~$ sudo lxc start debian0
INIT: version 2.88 booting
...
Starting OpenBSD Secure Shell server: sshd.

Debian GNU/Linux 6.0 debian0 console

debian0 login: root
Password: 
Linux debian0 3.2.0-24-generic-pae #39-Ubuntu SMP Mon May 21 18:54:21 UTC 2012 i686

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
root@debian0:~# 

distributionは異なっているが、同一カーネル上で動作していることが分かる。

ubuntu@ubuntu:~$ uname -a
Linux ubuntu 3.2.0-24-generic-pae #39-Ubuntu SMP Mon May 21 18:54:21 UTC 2012 i686 i686 i386 GNU/Linux

root@debian0:~# uname -a
Linux debian0 3.2.0-24-generic-pae #39-Ubuntu SMP Mon May 21 18:54:21 UTC 2012 i686 GNU/Linux

ちなみに、以下のコマンドでfedoraをインストールすることもできるが、debianの場合と比較して時間がかかる。1時間くらいかかるかも。
ベースシステムの相違が大きいため、いろんなrpmを別途インストールする必要があるためぽい。

ubuntu@ubuntu:~$ sudo lxc-create -t fedora -n fedora0

No config file specified, using the default config
...
'fedora' template installed
'fedora0' created
ubuntu@ubuntu:~$ sudo lxc-start -n fedora0

Fedora release 14 (Laughlin)
Kernel 3.2.0-24-generic-pae on an i686 (tty1)

fedora0 login: root
Password: 
Last login: Tue Jul 15 01:01:39 on console
[root@fedora0 ~]# uname -a
Linux fedora0 3.2.0-24-generic-pae #39-Ubuntu SMP Mon May 21 18:54:21 UTC 2012 i686 i686 i386 GNU/Linux

What is cgroups?

• リソースの制限
  • グループ単位でメモリ割り当てを制限
• 優先順位の変動
  • グループ単位でCPU, Disk I/Oの優先順位を変更
• 監視
  • グループ単位で使用しているリソースを計上
• 各グループは階層構造を持つ
  • 子グループは親グループの属性を一定引き継ぐ

なお、以前のバージョンだとnamespaceの分離もcgroupが対応していたようですが、消されました。
namespaceはカーネルの機能として独立した、ということかな。

How to use

リソース制限についてやってみる。
まずはインストール。

$ sudo apt-get install cgroup-bin

関連コマンドは

• cgcreate
• cgexec
• cgclassify

cgroupを作成。メモリとCPUのリソースを制限できるようにする。

$ sudo cgcreate -g memory,cpu:test

下記のsysfsで確認できる。

$ ls -l  -l /sys/fs/cgroup/cpu/test/
total 0
-rw-r--r-- 1 root root 0 Jul 15 13:17 cgroup.clone_children
--w--w--w- 1 root root 0 Jul 15 13:17 cgroup.event_control
-rw-r--r-- 1 root root 0 Jul 15 13:17 cgroup.procs
-rw-r--r-- 1 root root 0 Jul 15 13:17 cpu.cfs_period_us
-rw-r--r-- 1 root root 0 Jul 15 13:17 cpu.cfs_quota_us
-rw-r--r-- 1 root root 0 Jul 15 13:17 cpu.rt_period_us
-rw-r--r-- 1 root root 0 Jul 15 13:17 cpu.rt_runtime_us
-rw-r--r-- 1 root root 0 Jul 15 13:17 cpu.shares
-r--r--r-- 1 root root 0 Jul 15 13:17 cpu.stat
-rw-r--r-- 1 root root 0 Jul 15 13:17 notify_on_release
-rw-r--r-- 1 root root 0 Jul 15 13:17 tasks

指定cgroupでプロセスを起動。

$ sudo cgexec -g memory,cpu:test /bin/bash

指定cgroupに属していることが分かる。

# cat /proc/self/cgroup
5:freezer:/sysdefault
4:memory:/test
3:devices:/sysdefault
2:cpuacct:/sysdefault
1:cpu:/test

CPU共有の優先度を指定可能。100で10%。

# cat /sys/fs/cgroup/cpu/test/cpu.shares                          
1024
# echo 100 >/sys/fs/cgroup/cpu/test/cpu.shares

メモリ使用量の制限。これ以上のメモリを確保しようとするとスワップアウトする。

# cat /sys/fs/cgroup/memory/test/memory.limit_in_bytes
9223372036854775807
# echo $((1024*1024)) >/sys/fs/cgroup/memory/test/memory.limit_in_bytes

統計情報も見える。

cat /sys/fs/cgroup/cpu/test/cgroup.procs 
9239
# ps auxw | grep 9239
root      9239  0.0  0.4   6960  2216 pts/1    S    13:35   0:00 /bin/bash

Docker / LXC / cgroups

なんだか似たようなシステムに思えるけど、結局これらの関係ってどうなってるの？　という疑問についてはこちらが詳しい。

• Dockerは下位レイヤとしてLXCを利用する
• コンテナの可搬性（LXCでは環境が異なるとコンテナの互換性がない）
• アプリの配布に最適化している
• 自動ビルド(Dockerfile)
• バージョン管理
• コンテナ再利用
• コンテナ共有
• 様々なツール/システムとの連携

機能別に分類すると、

ファイルシステムの分離

LXC(namespace)が提供

リソースの分離

LXC(cgroup)が提供

ネットワークの分離

LXC(cgroup)が提供

ファイルシステムのCopy on Write

AUFSが提供

ロギング

Dockerが提供

ファイルの変更管理と再利用

Dockerが提供

対話的シェル

LXCが提供