3
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

SONiCAdvent Calendar 2019

Day 1

SONiCが動きそうで動かないスイッチを動かした話

Last updated at Posted at 2019-12-05

このスイッチでSONiC動きますか?

ホワイトボックススイッチは端的に言えばパケット転送用ハードウェアをPCIeスロットにぶっさしたPCのようなもの、といえる。形状が1Uラックマウントで正面にたくさんのLANポートが並んでいるため、外観はPCとはかけ離れているし、実際利用する段になるとPC的な使われ方をするのは珍しい。

このホワイトボックススイッチだが、実際のところいろんなスイッチベンダーからいろんなモデルが発売されていて、その中のごく一部はAmazonやNTT-X Storeから個人で購入することも不可能ではない。ずばり買えると書かなかったのは単純に価格の問題である。売ってるからと言って80万円とか100万円とかポンと出せる人はなかなかいないだろう。(さっき割引後価格だけど35万円のホワイトボックススイッチを見つけて少し動揺している)

SONiCはホワイトボックススイッチで動作するOSだが、どのスイッチに入れても動くというわけではない。幸い、公式から対応しているデバイス・プラットフォームの一覧が公開されている。ここに載ってれば動くよ! と言いたいところなのだが、実は動かないスイッチが載っている。正確には、対応する設定ファイルが用意されそれに基づいてインストールイメージが作成されていて、実際インストールできるし起動もするけれど、パケット転送機能が動作しないスイッチがあるのだ。

表に載っているのに動かない経緯

自分の知る限り、少なくとも表に載っている中で2つのスイッチはそのままでは動作しない。

  • Accton AS7326-56X
  • Accton AS7726-32X
    これらはいずれも、スイッチASICとしてBroadcom Trident3を採用している。

Accton以外にもTrident3を採用しているスイッチはいくつかあり、例えば

  • DELL EMC S5232F-ON
  • Delta AG9032v2a
    これらについては、表に記載されていて、かつパケット転送動作を確認できている。この差はどこからきているのだろうか。

答えを先に書いてしまうと、BroadcomのスイッチASICの基本設定を記述するconfig.bcmというファイルがあるのだが、Acctonの2モデルはこのファイルの内容に不足があり、またファイルのパスを正しく指定していないため、Trident3の初期化ができていないことが原因である。

ただし、これは単なるAcctonのミスというわけではない。時系列を追って説明する。

  1. 前提としてconfig.bcmに記述できるキーワードには制限があり、自由に制限を緩めることはできない。ASICベンダーであるBroadcomから了解を得る必要がある。
  2. Acctonが対応コードとconfig.bcmをPRする。config.bcmに関して、Trident3を動作させるのに必要なキーワードは書けない(書くとビルドに失敗する)ため、それを省いた差分となっている。
  3. AcctonのPRがマージされる。
  4. DELL EMC S5232F-ON対応コードがcommitされる。config.bcmにはTrident3に必要な設定が含まれている。このときconfig.bcm用キーワードにも追加があり、またBroadcom SAIもTrident3対応のものに更新されたため、S5232F-ONではこの時点で問題なく動作している。
  5. Delta AG9032v2a対応コードがcommitされる。こちらのconfig.bcmにもTrident3の動作に必要なキーワードが加えられていた。こちらも問題なく動作している。
  6. 現在に至る。

つまるところ、Acctonは対応が早すぎたのだ。

動かすには?

config.bcmの中身に設定を追加し、そのファイルを参照するようsai.profileの中身を書き換えればよい。AS7326-56XおよびAS7726-32Xの対応差分が下記である。ソースコードをcloneしてパッチを当てるもよし、変更内容をなぞってインストール済みのSONiCの設定ファイルを書き換えるもよし。思想や感情を創作的に表現したものじゃないので著作権フリーでどうぞ。

なお、sai.profileの中に書くパスはSONiCにログインしても見えない。syncd dockerの中で参照するパスとなっている。

diff --git a/device/accton/x86_64-accton_as7326_56x-r0/Accton-AS7326-56X/sai.profile b/device/accton/x86_64-accton_as7326_56x-r0/Accton-AS7326-56X/sai.profile
index 0e465ce1..47e31074 100644
--- a/device/accton/x86_64-accton_as7326_56x-r0/Accton-AS7326-56X/sai.profile
+++ b/device/accton/x86_64-accton_as7326_56x-r0/Accton-AS7326-56X/sai.profile
@@ -1 +1 @@
-SAI_INIT_CONFIG_FILE=/etc/bcm/td3-as7326-48x25G+8x100G.config.bcm
+SAI_INIT_CONFIG_FILE=/usr/share/sonic/hwsku/td3-as7326-48x25G+8x100G.config.bcm
diff --git a/device/accton/x86_64-accton_as7326_56x-r0/Accton-AS7326-56X/td3-as7326-48x25G+8x100G.config.bcm b/device/accton/x86_64-accton_as7326_56x-r0/Accton-AS7326-56X/td3-as7326-48x25G+8x100G.config.bcm
index 2b7b6fb0..35a79836 100755
--- a/device/accton/x86_64-accton_as7326_56x-r0/Accton-AS7326-56X/td3-as7326-48x25G+8x100G.config.bcm
+++ b/device/accton/x86_64-accton_as7326_56x-r0/Accton-AS7326-56X/td3-as7326-48x25G+8x100G.config.bcm
@@ -30,6 +30,9 @@ tdma_timeout_usec=3000000
 skip_L2_USER_ENTRY=0
 bcm_tunnel_term_compatible_mode=1

+ifp_inports_support_enable=1
+port_flex_enable=1
+
 dport_map_port_1=6
 dport_map_port_2=2
 dport_map_port_3=1
diff --git a/device/accton/x86_64-accton_as7726_32x-r0/Accton-AS7726-32X/sai.profile b/device/accton/x86_64-accton_as7726_32x-r0/Accton-AS7726-32X/sai.profile
index 46f5cb3b..461cdd76 100644
--- a/device/accton/x86_64-accton_as7726_32x-r0/Accton-AS7726-32X/sai.profile
+++ b/device/accton/x86_64-accton_as7726_32x-r0/Accton-AS7726-32X/sai.profile
@@ -1 +1 @@
-SAI_INIT_CONFIG_FILE=/etc/bcm/td3-as7726-32x100G.config.bcm
+SAI_INIT_CONFIG_FILE=/usr/share/sonic/hwsku/td3-as7726-32x100G.config.bcm
diff --git a/device/accton/x86_64-accton_as7726_32x-r0/Accton-AS7726-32X/td3-as7726-32x100G.config.bcm b/device/accton/x86_64-accton_as7726_32x-r0/Accton-AS7726-32X/td3-as7726-32x100G.config.bcm
index 16cbb8d3..2fe2c1d3 100755
--- a/device/accton/x86_64-accton_as7726_32x-r0/Accton-AS7726-32X/td3-as7726-32x100G.config.bcm
+++ b/device/accton/x86_64-accton_as7726_32x-r0/Accton-AS7726-32X/td3-as7726-32x100G.config.bcm
@@ -33,6 +33,9 @@ bcm_tunnel_term_compatible_mode=1

 phy_an_c73=1

+ifp_inports_support_enable=1
+port_flex_enable=1
+
 dport_map_port_1=1
 dport_map_port_5=2
 dport_map_port_9=3

なお、config.bcmへの追加内容についてはPR#2482を参考にしている。

終わりに

わかってしまえば数行いじくるだけではあるが、動かないときはログにもnot supportedなどと出るだけでしばらくのあいだ原因がわからず、ずっと頭を抱えていたことを思い出す。自力で解決できたのは偶々であり、このレイヤーについては基本的にスイッチベンダーが対応すべきものだと考える。

3
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
3
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?