QSFP28ポートに接続できるインターフェースの種類を考えてみる
QSFP28
QSFP28ポートはQuad SFP28の意味です。28Gbpsシリアルバスが四本平行に配線されています。
このポートに何が接続できるかは、このシリアルバスの組み合わせが意味を持ちます。単純に100Gbps以下であれば何でも接続できるわけではありません。
400GでQSFP-DD(QSFP56-DD)はQSFP28の構成のまま56Gbpsに速度を上げてそれを二重にしたコネクタで筐体と接続します。
SFP-DD(SFP28-DD or SFP56-DD) http://sfp-dd.com/
QuadしないSFP/SFP+/SFP28はそれぞれ1G/10G/28G。これを二重にしたものがSFP-DD。
2018/01/07に公表されたSpecification Rev 1.1では14G x 2と28G x 2しか定義されておらず56G x 2がありません。つまりまだ100Gには使えないと言う事です。
25Gではなくて28GなのはFEC(エラー訂正)などを使用すると実効データレートが下がりますのでその分上乗せしているからです。
100Gを考える
|
SerDes |
package |
silicon | NOS | |
|---|---|---|---|---|
| 100G x 1 | 28G x 4 | QSFP28 | OK | OK |
| 40G x 1 | 10G x 4 | QSFP+ | OK | OK |
| 25G x 4 | 28G x 1 | SFP28 | OK | OK |
| 10G x 4 | 10G x 1 | SFP+ | OK | OK |
| 50G x 2 | 28G x 2 |
QSFP28改
|
OK |
EdgeOSはNG CumulusはOK |
| 40G x 2 | NG | |||
| 1G x 4 | 1G x 1 | SFP | OK | Edge OSはエラーを吐く |
| 20G x 2 | 10G x 2 | ? | NG | |
| 10G x 10 | NG | |||
| 30G x 1 | 10G x 3 | ? | NG | |
| 75G x 1 | 28G x 3 | ? | NG |
50G x 2はEdgeOSはサポートしていませんがTomahawkを対応のCumulus Linuxでは対応しているようです。その際に使用するケーブルはQSFP28が両端について二分岐しているもので。Mellanoxから製品設定がされ対応するNICもあるようです。
http://www.mellanox.com/blog/2017/07/sfp-dd-next-generation-sfp-module-support-100g/
http://www.mellanox.com/related-docs/prod_cables/PB_MFA7A20-Cxxx_100GbE_QSFP28_to_2x50GbE_QSFP28_MMF_AOC.pdf
検索できる範囲で各種NOSのコマンドマニュアルを覗いた結果
| 50Gx2可 | 50Gx2不可 | 50Gx2不明 |
|---|---|---|
|
Cumulus cisco Nexus Juniper QFX DELL Mellanox MLNX |
EdgeOS(QOS) PICA8 PicOS Arista EOS |
OcNOS |
QSFP28パッケージでの50G
28G x 4のHOST側のインターフェースが基本のQSFP28を50Gで使用すると言う事は、28G x 2で2 laneを使わない構成と思われます。これはSFFの仕様に明記がないと思われます。
10Gx4のbreakout設定したQSFP+ポートにQSFP/SFPアダプタを経由して1G-T SFPを使用して通信が出来ることをAS7712 + EdgeOSで確認しています。但し、定期的にコンソールにエラーメッセージが出力されます。
配線形態
Breakout DAC
Breakout AOC
SR4 + MMF fanout cable + SR
PLR4 + SMF fanout cable + LR
PLR4 pigtail + SMF fanout cable + LR
PSM4 + SMF fanout cable + LR でも接続できるけど受信感度の限界値がアンバランスになるのでお勧めしない。
200Gを考える
QSFP28-DD(28G x 4 x 2)かQSFP56(56G x 4)かで考えられる組み合わせが変わってきます。
400Gを考える
QSFP-DD(QSFP56-DD)はQSFP56の端子が二層になっているので、56G x 4 x 2のシリアルバスになります。
| QSFP56-DD | SerDes | package | silicon | NOS |
|---|---|---|---|---|
| 400G DR4 - 100G DRx4 | 56G x 2 | SFP56-DD | ? | ? |
| 400G SR16 - 25G SR x 16 | 28G x 1 | SFP28 | ? | ? |
| 400G SR16 - 100G SR4 x 4 | 28G x 4 | QSFP28 | ||
| 400G SR8 - 50G x 8 | 56G x 1 | SFP56 | ? | ? |
| 400G SR8 - 100G SR2 x 4 | 56G x 2 | SFP56-DD |
400G SR16はIEEE802.3bs仕様ですが、56G SERDESのシリコンが主流になると実装しにくいのであまり使われないのではないでしょうか。400G SR8は8芯のMPOコネクター付マルチモードファイバーと言う新たな種類のファイバーを要求するのでAOCで使われると予測しています。
PIC BUSの容量
ブレイクアウト接続はサーバーとの接続に主に使われるので、サーバー側に装備されるNICとの対応が重要になります。その場合、25G x 2をPCI exspess bus x 8の伝送容量とバランスします。
| PCI bus構成 | 伝送帯域 | 全二重換算 |
|---|---|---|
| PCI express 3.0 x 8 | 8GB | 64Gbps |
| PCI express 4.0 x 8 | 16GB | 128Gbps |
| PCI express 4.0 x 16 | 32GB | 256Gbps |
パッケージのインターフェースと伝送容量
| 10G x n | 28G x n | 56G x n | |
|---|---|---|---|
| 10G | SFP+ | ||
| 25G | SFP28 | ||
| 40G | QSFP+ | ||
| 50G | SFP28-DD | SFP56 | |
| 100G | QSFP28 | SFP56-DD | |
| 200G | QSFP28-DD | QSFP56 | |
| 400G | QSFP56-DD |