データセンター向けネットワークと、GPUクラスタに興味を持ったので勉強開始。日記として残していきます。
Day 1: やったこと
- SN2010 と SN3700 への Network OS インストール
- 管理用 IP アドレスの固定設定
- サーバーへの仮想 OS インストール
- サーバーと各スイッチの 100G 接続
作業内容
1. SN2010 の OS インストール
SN2010 では、まずブート時に GRUB を呼び出し、ONIE から起動した。途中で自動アップデートが走りそうだったため、それは中止して手動でインストールを進めた。
USB メモリをマウントし、保存しておいた Cumulus Linux のイメージを使ってインストールした。
mkdir -p /mnt/usb
mount /dev/sdb /mnt/usb
onie-nos-install /mnt/usb/cumulus-linux-5.17.0-mlx-amd64.bin
インストール後に再起動し、初回ログインを実施した。
- 初期ログイン:
cumulus / cumulus - 初回ログイン後にパスワード変更を実施
2. SN3700 の OS インストールと IP 固定
SN3700 も同様に ONIE でブートし、自動アップデートを中止してから作業した。イメージは scp で転送して利用した。
scp -o cumulus-linux-5.17.0-mlx-amd64.bin root@192.168.100.XX:/tmp/
その後、管理インターフェース eth0 の状態を確認し、DHCP を無効化して固定 IP を設定した。
nv show interface eth0
nv unset interface eth0 ipv4 dhcp-client
nv set interface eth0 ip address 192.168.100.XX/24
nv set interface eth0 ip gateway 192.168.100.1
nv config apply
nv config save
作業の流れとしては、まず現在の IP 設定を確認し、DHCP クライアントを無効化したうえで、固定 IP とデフォルトゲートウェイを設定し、最後に設定を反映・保存した。
3. サーバーとスイッチの接続
サーバー側には仮想 OS をインストールし、その後サーバーと各スイッチを ケーブル で接続した。初日の作業として、今後のネットワーク検証を進めるための土台を整えられたのが大きい。
学んだこと
ONIE とは
ONIE は Open Network Install Environment の略で、ホワイトボックススイッチ向けのブートローダ兼 OS インストール環境である。ハードウェアと Network OS を切り離して扱えるため、用途に応じて OS を選んで導入できるのが特徴。
今回の作業を通して、スイッチを単なる既製品として扱うのではなく、サーバーに近い感覚で初期化・OS 導入・ネットワーク設定を行うことを実感した。
疑問
OSを再インストールする前は100Gのケーブル繋いだ時にリンクアップしていたが、OS再インストール後はリンクアップしない。前使った人の設定が残っていたと思うのだが、何か必要な設定があるのかも。
次にやること
- VLAN の基礎を整理する
- LAG / MLAG の仕組みを学ぶ
- MLAG の実機テストを行う