静止衛星(GEO)は、高度 36,000 km で地球の直径の3倍ぐらいのところにあるそうです。結構遠い。光や電波の速度が 299,792.458 km/s なので、地球から静止衛星まで届くのに約 120ms かかる計算となります。地上にある host1 と host2 が静止衛星を経由した通信をすると片道 240ms で、往復で 480 ms になる計算です。

この時間（遅延）を docker と tc の netem を使って簡易的なエミュレーションをして体感できればと思っています。

静止衛星を使ったことがないので、どんな感じなのかなという興味から始まっています。（スターリンクも使ったことはないです。）

伝搬遅延時間の計算

遅延時間 = 静止衛星高度 / 光や電波の速度

静止衛星高度: 約 36,000 km
光や電波の速度: 299,792.458 m/s

0.120 s = 36,000 / 299,792.458
遅延時間は約 120 ms

試した時の環境

OS: Ubuntu 24.04
docker: 27.4.0
コンテナイメージ: alpine

参考にした通信帯域

帯域の設定は、スカパーJSAT さんの衛星通信サービス | いざという時にも繋がる安心の回線をのページにあった通信速度上り/下り最大3Mbps/最大10Mbps の数値を利用しています。

docker による環境の作成

docker compose を使って、作りました。作りやすそうだったので静止衛星をルータとしました。

link1 と link2 は、docker compose の networks で作成します。docker compose の出来上がりのちょっと詳細のイメージは次のような感じです。

作成した docker-compose.yml

docker-compose.yml

name: test
services:
  host1:
    image: alpine
    hostname: host1
    container_name: host1
    networks:
        link1:
          ipv4_address: 192.168.1.2
    entrypoint: sleep infinity
  host2:
    image: alpine
    depends_on:
      - host1
    hostname: host2
    container_name: host2
    networks:
        link2:
          ipv4_address: 192.168.2.2
    entrypoint: sleep infinity
  router:
    image: alpine
    depends_on:
      - host1
    hostname: router
    container_name: router
    networks:
        link1:
          ipv4_address: 192.168.1.1
        link2:
          ipv4_address: 192.168.2.1
    entrypoint: sleep infinity

networks:
  link1:
    name: link1
    driver: bridge
    driver_opts:
      com.docker.network.bridge.name: link1
    ipam:
      config:
        - subnet: 192.168.1.0/24
          gateway: 192.168.1.254
  link2:
    name: link2
    driver: bridge
    driver_opts:
      com.docker.network.bridge.name: link2
    ipam:
      config:
        - subnet: 192.168.2.0/24
          gateway: 192.168.2.254

docker compose の実行

docker compose up -d を実行

$ sudo docker compose up -d
[+] Running 5/5
 ✔ Network link2     Created                                                                                       0.1s
 ✔ Network link1     Created                                                                                       0.1s
 ✔ Container host1   Started                                                                                       0.6s
 ✔ Container host2   Started                                                                                       0.8s
 ✔ Container router  Started                                                                                       0.8s
$

docker compose ps や docker network ls でコンテナやネットワークが作成されたのが確認できます。

$ sudo docker compose ps
NAME      IMAGE     COMMAND            SERVICE   CREATED         STATUS         PORTS
host1     alpine    "sleep infinity"   host1     8 seconds ago   Up 7 seconds
host2     alpine    "sleep infinity"   host2     8 seconds ago   Up 7 seconds
router    alpine    "sleep infinity"   router    8 seconds ago   Up 7 seconds
$ sudo docker network ls
NETWORK ID     NAME      DRIVER    SCOPE
2f2e69c7a428   bridge    bridge    local
17c880397ec4   host      host      local
b7d4487ff67f   link1     bridge    local
7472333ccaf4   link2     bridge    local
805c54a55165   none      null      local
$

デフォルトルートの設定

このままでは、通信経路がないので host1 と host2 では通信できません。host1 と host2 のデフォルトルートを静止衛星と想定した router に設定します。
手抜きかもしれませんが、ホスト OS 側から nsenter による docker コンテナの設定用するクリプトをつかって、デフォルトルートを変更しました。

nsenter による docker コンテナの設定用するクリプト

コンテナのプロセスIDを取得し nsenter の target に設定しています。

nsenter.sh

#!/bin/sh

if [ $# -lt 2 ]; then
    echo "Usage: $0 host prog"
    exit 1
fi
HOST=$1
shift

UID=`id -u`
if [ "$UID" != "0" ]; then
    echo "Please run as root."
    exit 1
fi

PID=`docker inspect --format {{.State.Pid}} $HOST`
if [ -z "$PID" ]; then
    echo "${HOST}: not found"
    exit 1
fi

exec nsenter --target $PID $*

$ sudo ./nsenter.sh host1 --net ip route change default via 192.168.1.1
$ sudo ./nsenter.sh host2 --net ip route change default via 192.168.2.1
$

遅延を設定していない環境で host1 から host2 へ ping をしてみます。私の環境たと平均 0.260 ms と表示されました。

$ sudo docker compose exec host1 ping -c 5 192.168.2.2
PING 192.168.2.2 (192.168.2.2): 56 data bytes
64 bytes from 192.168.2.2: seq=0 ttl=63 time=0.846 ms
64 bytes from 192.168.2.2: seq=1 ttl=63 time=0.130 ms
64 bytes from 192.168.2.2: seq=2 ttl=63 time=0.112 ms
64 bytes from 192.168.2.2: seq=3 ttl=63 time=0.116 ms
64 bytes from 192.168.2.2: seq=4 ttl=63 time=0.097 ms

--- 192.168.2.2 ping statistics ---
5 packets transmitted, 5 packets received, 0% packet loss
round-trip min/avg/max = 0.097/0.260/0.846 ms
$

tc の netem による遅延と帯域の設定

tc コマンドの netem を使って遅延と帯域を設定します。
ここでは、遅延時間 120 ms と上り帯域 2Mbit、下り帯域 10Mbit を設定しました。
実際はパケットロスとかも設定したほうがよさそうですが、ここではロスなしで設定しています。

Windows の WSL2 の ubuntu では、netem は動きませんでした。使えるようにするにはカーネルを netem を有効にしてビルドする必要がありそうです。

$ sudo ./nsenter.sh host1 --net tc qdisc add dev eth0 root netem delay 120ms rate 3mbit
$ sudo ./nsenter.sh router --net tc qdisc add dev eth0 root netem delay 120ms rate 10mbit
$ sudo ./nsenter.sh host2 --net tc qdisc add dev eth0 root netem delay 120ms rate 3mbit
$ sudo ./nsenter.sh router --net tc qdisc add dev eth1 root netem delay 120ms rate 10mbit
$

netem によるジッターの設定

delay のところに遅延時間と一緒にジッターも設定できます。下記は、遅延 120ms とジッター 10ms を設定した例です。

tc qdisc add dev eth0 root netem delay 120ms 10ms rate 3mbit

netem によるパケットロスの設定

今回は、パケットロスは設定していませんが、loss random 0.1% を入れるとランダムで 0.1% のパケットがロスします。random はランダムにパケットをロスさせるモデルで、ranndom 以外にも state、gemodel といったモデルがあるようです。

下記は、ランダムで 10% のパケットロスを設定する例です。

tc qdisc add dev eth0 root netem delay 120ms rate 3mbit loss random 10%

遅延を設定した場合で host1 から host2 へ ping をしてみます。
平均 481 ms と表示されました。設定はうまくいったと思っています。

$ sudo docker compose exec host1 ping -c 5 192.168.2.2
PING 192.168.2.2 (192.168.2.2): 56 data bytes
64 bytes from 192.168.2.2: seq=0 ttl=63 time=481.078 ms
64 bytes from 192.168.2.2: seq=1 ttl=63 time=480.985 ms
64 bytes from 192.168.2.2: seq=2 ttl=63 time=481.003 ms
64 bytes from 192.168.2.2: seq=3 ttl=63 time=480.953 ms
64 bytes from 192.168.2.2: seq=4 ttl=63 time=481.008 ms

--- 192.168.2.2 ping statistics ---
5 packets transmitted, 5 packets received, 0% packet loss
round-trip min/avg/max = 480.953/481.005/481.078 ms
$

netem 設定の参照

$ sudo ./nsenter.sh host1 --net tc qdisc show dev eth0
qdisc netem 802d: root refcnt 3 limit 1000 delay 120ms rate 3Mbit
$ sudo ./nsenter.sh router --net tc qdisc show dev eth0
qdisc netem 802e: root refcnt 3 limit 1000 delay 120ms rate 10Mbit
$ sudo ./nsenter.sh host2 --net tc qdisc show dev eth0
qdisc netem 802f: root refcnt 3 limit 1000 delay 120ms rate 3Mbit
$ sudo ./nsenter.sh router --net tc qdisc show dev eth0
qdisc netem 802e: root refcnt 3 limit 1000 delay 120ms rate 10Mbit
$

netem 設定の削除方法

$ sudo ./nsenter.sh host1  --net tc qdisc del dev eth0 root
$ sudo ./nsenter.sh router --net tc qdisc del dev eth0 root
$ sudo ./nsenter.sh host2  --net tc qdisc del dev eth0 root
$ sudo ./nsenter.sh router --net tc qdisc del dev eth1 root
$

簡単なインタラクティブを試す

host1 から host2 の shell にアクセスして簡単なインタラクティブを試してみます。
host1 と host2 用の window を用意します。

host2 で nc のサーバモードで shell を実行し待ち受け

nc で標準エラーもクライアントに返したいので、下記のように実行しました。
（素直に ssh サーバとか動かせばよいのかもしれませんん。）

$ sudo docker compose exec host2 nc -l -p 5000 -e /bin/sh -c 'sh -i 2>&1'

host1 で nc のクライアントモードで host2 に接続

別の window から host1 で nc のクライアントモードで host2 に接続して ls -l を実行してみました。ちょっと遅く感じますが、すごく遅いという感じではなかった。

$ sudo docker compose exec host1 nc 192.168.2.2 5000
/ # ls -l
total 56
drwxr-xr-x    2 root     root          4096 Dec  5 12:17 bin
drwxr-xr-x    5 root     root           340 Dec 15 08:50 dev
drwxr-xr-x    1 root     root          4096 Dec 15 08:50 etc
drwxr-xr-x    2 root     root          4096 Dec  5 12:17 home
drwxr-xr-x    6 root     root          4096 Dec  5 12:17 lib
drwxr-xr-x    5 root     root          4096 Dec  5 12:17 media
drwxr-xr-x    2 root     root          4096 Dec  5 12:17 mnt
drwxr-xr-x    2 root     root          4096 Dec  5 12:17 opt
dr-xr-xr-x  208 root     root             0 Dec 15 08:50 proc
drwx------    2 root     root          4096 Dec  5 12:17 root
drwxr-xr-x    2 root     root          4096 Dec  5 12:17 run
drwxr-xr-x    2 root     root          4096 Dec  5 12:17 sbin
drwxr-xr-x    2 root     root          4096 Dec  5 12:17 srv
dr-xr-xr-x   13 root     root             0 Dec 15 08:50 sys
drwxrwxrwt    2 root     root          4096 Dec  5 12:17 tmp
drwxr-xr-x    7 root     root          4096 Dec  5 12:17 usr
drwxr-xr-x   11 root     root          4096 Dec  5 12:17 var
/ #

iperf による帯域の確認

次は、 host1、host2 に iperf をインストールして帯域も確認してみます。

$ sudo docker compose exec host1 apk --no-cache add iperf
fetch https://dl-cdn.alpinelinux.org/alpine/v3.21/main/x86_64/APKINDEX.tar.gz
fetch https://dl-cdn.alpinelinux.org/alpine/v3.21/community/x86_64/APKINDEX.tar.gz
(1/3) Installing libgcc (14.2.0-r4)
(2/3) Installing libstdc++ (14.2.0-r4)
(3/3) Installing iperf (2.2.0-r0)
Executing busybox-1.37.0-r8.trigger
OK: 10 MiB in 18 packages
$ sudo docker compose exec host2 apk --no-cache add iperf
fetch https://dl-cdn.alpinelinux.org/alpine/v3.21/main/x86_64/APKINDEX.tar.gz
fetch https://dl-cdn.alpinelinux.org/alpine/v3.21/community/x86_64/APKINDEX.tar.gz
(1/3) Installing libgcc (14.2.0-r4)
(2/3) Installing libstdc++ (14.2.0-r4)
(3/3) Installing iperf (2.2.0-r0)
Executing busybox-1.37.0-r8.trigger
OK: 10 MiB in 18 packages
$

host2 で iperf サーバモードを実行

host2 で iperf サーバモードを実行します。

$ sudo docker compose exec host2 iperf -s
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size:  128 KByte (default)
------------------------------------------------------------

host1 で iperf クライアントモードで host2 へアクセス

別の window から host1 で iperf クライアントモードを実行します。実行した結果、帯域が 2.54 Mbits/sec と出ました。上りの帯域を 3Mbit にしたので、その値に近いのがでています。帯域の設定もできている感じです。

$ sudo docker compose exec host1 iperf -c 192.168.2.2
------------------------------------------------------------
Client connecting to 192.168.2.2, TCP port 5001
TCP window size: 16.0 KByte (default)
------------------------------------------------------------
[  1] local 192.168.1.2 port 45170 connected with 192.168.2.2 port 5001
[ ID] Interval       Transfer     Bandwidth
[  1] 0.00-15.91 sec  4.81 MBytes  2.54 Mbits/sec
$

感想

docker と tc の netem を使って遅延の管理エミュレーションが簡易ながらもできた。単純にコマンド打つのなら特に問題はない感じです。ファイル編集とか色々やると遅く感じるのかも。
今回は、パケットロスをどれぐらい入れればよいのか不明だったので入れませんでした。パケットロスがあると再送が 480ms の遅延が起きるはずなので、簡単なインタラクティブでももっと遅く感じるのかもしれない。

スターリンクのように低軌道衛星だと衛星までの距離も変動するので遅延も変動するはず。netem で遅延幅も設定できるのですがランダムになってしまうので、ちょっと違うかもしれない。低軌道衛星のように遅延変動もよい方法があれば試してみたい。

追記

tc-netem に slot というのもあり、最小遅延、最大遅延が設定出来るみたい。

tc-netem と eBPF の組み合わせでもっと色々できるみたいです。以下のサイトを読んで何が出来るか考えたい

ebpf-network-emulation