短距離の光伝送で盛り上がるOFC2023のセッション

光による伝送は多くの場合、ある程度の伝送距離を実現するために採用されています。電気信号による伝送では不可能な距離なのでレーザー光による通信を行う。

しかし、最近では消費電力の観点から光伝送を使う話が主流です。CPOもその一つでしょう。そして、さらに密度が高い領域にも光伝送を積極的に導入する動きが活発です。消費電力と放熱の観点から数センチの距離でも電気による伝送から切り替えたいのです。

400G DR4の低遅延版の要求

RS(544/514)よりも遅延が少ないSD-FECの採用。BER 2E-4想定。

VCSEL MMFによる超パラレル短距離配線

高密度になるとSMF用のDML LDは放熱が大きくて密度が上げられないので外部ソースからひっぱる必要がある。VCSELなら消費電力も少なく実装面積が少ないのでonチップで沢山並べられる。その代わりに30mとか短距離だけどもGPUノード間接続には十分。MMFケーブルもパラレル芯になるけどリボン形状のファイバーを使えばよい。

光スイッチによるファブリックコア実装

光スイッチにOEO/パケット転送なしの接続であれば低遅延大容量低消費電力のファブリックコアが実現できる。これは、DCのより規模が大きいSPIN層の光スイッチ化と同じ発想です。

CPOの流用案

主にイーサネットスイッチファブリックからの配線を高密度光化することを目標としたCPOですが。その他の用途も当初から想定されています。その一つがGPU/CPUのノード間接続です。遅延の要求など必ずしも要件が同じではないのですが、共通化による品質の向上とコストダウンが期待されています。

200G / lane

30m以下の短距離であれば、200Gbps/laneも実現可能です。1.6Tを8laneで実装という構造になります。QSFP-DD1600という試験的実装もありますが、ファブリックからフロントパネルのQSFP-DD1600までの配線が太い同軸を使っても難しいでしょう。

Nvidia NVLink4

• H100 DGX 8 GPU, 4 NVLink4 switch, 18 NVLink OSFP port.8 CX7 Ethernet OSFP.
• GPU IO 400Gbps x 18 = 900GB/s
• NVIDIA NVLINK4 Switch, 128 ports, 32 OSFP ports
• 256 GPU, 32 switch System

スーパーコンピュータの拡張バスの歴史

スーパーコンピュータの高速ノード間接続は処理能力向上のカギであり、昔から多くの研究開発が行われています。しかし、その多くは独自実装で標準化にそれほど注力することは有りませんでした。

近年では独自実装ではあるが、それを実現する多くの部品は標準化仕様の為に作られたものを流用することが主流です。価格的にも性能的にも全ても独自の部品でくみ上げる事にメリットは無いからです。

その結果、境界設定をしてHPCやAI/MLファブリック用の標準化仕様も可能だろうと言う話になるのですが、なかなか簡単には進んでいません。どうしても標準化に伴う作業に時間が必要になりますし、他社が実装出来ない技術であるからこそ価値がある側面を否定できないからです。