Hot Interconnects 2024 | 人工智能系統(tǒng)互連技術(shù)的未來：挑戰(zhàn)與解決方案

逍遙設(shè)計(jì)自動(dòng)化

引言
隨著AI技術(shù)的持續(xù)進(jìn)步，對(duì)更快、更高效計(jì)算系統(tǒng)的需求呈指數(shù)級(jí)增長(zhǎng)。互連組件是這些系統(tǒng)的核心，負(fù)責(zé)處理單元之間的數(shù)據(jù)傳輸。然而，隨著AI性能的提升，互連技術(shù)在維持所需帶寬和能效方面面臨著重大挑戰(zhàn)[1]。
$ R. `5 T' G3 x- h
( o$ J! j+ \0 r, g" W) a0 u( F7 b8 ^XPU性能和I/O帶寬的擴(kuò)展
& e( N2 m7 {5 d/ R( uAI加速器（通常稱為XPU，即擴(kuò)展處理單元）的性能預(yù)計(jì)在未來幾年將顯著提升。這一增長(zhǎng)主要由芯片架構(gòu)、工藝技術(shù)和基板技術(shù)的進(jìn)步推動(dòng)。
  n1 C% O- b) r/ r7 [2 Y" T2 Q
8 n: y/ G, B" H+ T" a圖1展示了預(yù)期的未來XPU性能，預(yù)計(jì)到2028年將比2022年提高50倍，如果有更好的散熱技術(shù)，可能達(dá)到100倍的提升。

根據(jù)圖表，可以預(yù)期從2022年到2026年，每?jī)赡晷阅軐⑻岣?.3倍，從2026年到2028年將提高5倍。XPU性能的這種指數(shù)級(jí)增長(zhǎng)需要相應(yīng)的I/O帶寬增加，以避免數(shù)據(jù)傳輸成為瓶頸。

芯片級(jí)高速互連
. Q! j7 |, J& a5 I' B: g為滿足不斷增加的帶寬需求，芯片制造商正專注于改進(jìn)片上和片外互連技術(shù)。
1. 片上芯片間接口：
4 }8 M8 c7 B; ~) w

當(dāng)前速度：32-64 Gbps NRZ

能效：

前沿密度：5 -> 10 Terabits/mm
. O( {$ y; g% l3 o% n" L
6 U" k5 V. l! c  g1 D1 y2. 片外高速SERDES：
" J" N" l. Q! Z& w: ^

當(dāng)前速度：224G-PAM4，正向448G-PAM4發(fā)展

能效：5 -> 4 pJ/Bit

前沿密度：1 -> 2 Terabits/mm
$ T; R4 M! I* U. Q1 b/ ^6 N
9 Z# L" I: J+ ?這些芯片級(jí)互連技術(shù)的進(jìn)步對(duì)實(shí)現(xiàn)未來AI系統(tǒng)所需的高帶寬極為重要。
( b8 n1 n0 ]9 |8 Y7 P8 J8 {
! ?$ P* H& ~! M1 `/ v! U1 FAI網(wǎng)絡(luò)帶寬和功耗
+ p0 n# W9 G6 \' P7 N' g+ Z( V+ N; t隨著XPU性能的提升，所需的AI網(wǎng)絡(luò)帶寬也必須相應(yīng)擴(kuò)展。然而，這種擴(kuò)展在功耗方面帶來了挑戰(zhàn)。
9 k" s+ J' i2 b* |9 J
2 {6 t* x% E/ z2 m" U圖2展示了從2022年到2028年預(yù)期的AI網(wǎng)絡(luò)帶寬增長(zhǎng)，顯示了1600G端口的數(shù)量和相關(guān)功耗。
' s% o  X1 I/ N0 x, A
. v9 ]1 T6 [/ ^" ^3 i圖2的表格顯示，盡管帶寬需求顯著增加（從2022年的3200 Gbps增加到2028年的25600 Gbps），I/O的功耗仍然只占XPU總功耗的一小部分（約2.5%）。這表明SERDES I/O功耗在整體系統(tǒng)功耗中并不是一個(gè)顯著的瓶頸。

( U9 l5 W- b$ i' W% ?高速SERDES的優(yōu)勢(shì)
1 r% n  ?/ B" j3 D6 A高速SERDES（串行器/解串器）技術(shù)仍然是AI系統(tǒng)互連最實(shí)用的解決方案。其優(yōu)勢(shì)包括：

通用電氣接口兼容性

支持銅纜、有源光纜（AOC）和各種類型的光學(xué)器件

從112G到224G再到448G的明確發(fā)展路線圖

改善系統(tǒng)級(jí)密度

與光學(xué)模塊路線圖一致（8通道光學(xué)從800G到1600G再到3200G）

& B! V4 F0 s1 w: N- R3 _9 k機(jī)箱和機(jī)架級(jí)I/O擴(kuò)展
2 m5 S. P& M1 j$ h4 {5 O在機(jī)箱或機(jī)架內(nèi)，無源銅互連仍然是最具成本效益和能效的解決方案。液冷機(jī)架中XPU密度的增加（從64到128再到256個(gè)XPU）解決了大部分規(guī)模擴(kuò)展需求，可能占市場(chǎng)需求的50%或更多。

機(jī)架之外：光互連技術(shù)和功耗挑戰(zhàn)
/ r+ q" I/ l+ R4 ~4 g對(duì)于機(jī)架之外的連接，光互連成為必要。然而，與銅互連相比，光互連技術(shù)帶來了更高的成本和功耗。關(guān)鍵挑戰(zhàn)是如何最小化這種損失，特別是對(duì)于AI集群擴(kuò)展中常見的短距離鏈路（10到15米）。
+ q5 R2 [2 U7 g- D
圖3比較了102.4T交換機(jī)中不同光互連技術(shù)的功耗：線性可插拔光學(xué)（LPO）、線性僅接收光學(xué)（LRO）和基于DSP的光學(xué)技術(shù)。
0 w! z# f. F( v# ]# D
圖表清楚地顯示，與基于DSP的光學(xué)技術(shù)相比，LPO提供了顯著的功耗節(jié)省，差異高達(dá)1600W或總功耗的50%。這凸顯了為大規(guī)模AI系統(tǒng)開發(fā)更高效光學(xué)互連技術(shù)的重要性。

( R. ~9 `* h8 n( j% M' I1 j線性可插拔光學(xué)（LPO）
線性可插拔光學(xué)（LPO）成為解決AI系統(tǒng)中光學(xué)互連功耗挑戰(zhàn)的有前景解決方案。LPO提供了幾個(gè)優(yōu)勢(shì)：

與基于DSP的光學(xué)技術(shù)相比，顯著節(jié)省功耗

保持可插拔模塊的可維護(hù)性和易用性

避免了與光電共封裝（CPO）相關(guān)的制造和可靠性挑戰(zhàn)

; X5 c) \$ k3 k8 ]' K' g

, z# H9 n" z8 }6 a: E% z圖4展示了線性可插拔光學(xué)（LPO）的概念，展示了其在不影響可維護(hù)性的情況下提供功耗優(yōu)勢(shì)的潛力。
& ^$ F; P7 Q# s2 a- D, D' b' \+ V
/ }7 V$ m- W! i2 Q' cLPO多源協(xié)議（MSA）匯集了12個(gè)行業(yè)領(lǐng)導(dǎo)者，旨在為線性可插拔光學(xué)定義規(guī)范，目標(biāo)是使這項(xiàng)技術(shù)標(biāo)準(zhǔn)化以便廣泛采用。
. R. O7 i, a* ^, K3 u
7 E# L0 E. P, J未來發(fā)展：224G和448G
+ W& s9 z2 ~1 b& N隨著行業(yè)向更高數(shù)據(jù)速率發(fā)展，224G-PAM4和448G-PAM4技術(shù)正在到來。這些進(jìn)步帶來了新的挑戰(zhàn)和機(jī)遇：
& S9 |( y) Z! H( c
a. 224G-PAM4：
- U3 C# V3 M1 W' y

需要干凈、低損耗的電氣通道（理想情況下，芯片到模塊的損耗

可能需要飛躍電纜以減少通道損耗和干擾

更高性能的TIA和線性驅(qū)動(dòng)器正在開發(fā)中
1 r( r& d8 W" O4 |* X
b. 448G-PAM4：

對(duì)電氣通道提出了重大挑戰(zhàn)

可能需要新的可插拔模塊連接器

100+ GHz的光學(xué)帶寬具有挑戰(zhàn)性，薄膜鋰鈮酸鹽（TFLN）是一個(gè)有前景的解決方案
1 J# H% f" ]0 D4 |$ \" W0 k& N
先有雞還是先有蛋的問題
在AI生態(tài)系統(tǒng)中引入新的I/O技術(shù)面臨著先有雞還是先有蛋的問題。雖然像較慢和更寬的光學(xué)技術(shù)（例如4G微型LED或32G-NRZ微環(huán)）提供了潛在的優(yōu)勢(shì)，但其采用面臨幾個(gè)障礙：
2 V& [% b8 X8 g: R7 r' A" q' p1 w

開發(fā)和提升新光學(xué)技術(shù)產(chǎn)量的長(zhǎng)周期

高產(chǎn)量制造需要大量投資

沒有重大設(shè)計(jì)贏得的情況下，不愿意承諾使用未經(jīng)驗(yàn)證的技術(shù)
# h/ T- c$ S- i2 |% K
' I0 E* n% Z' L. A
4 V) A- i1 e! ]: e) P% r6 l
  P  A, T- ?9 k圖5展示了使用4G微型LED的1600G-OSFP模塊的概念設(shè)計(jì)，說明了未來光學(xué)互連可能實(shí)現(xiàn)的低功耗。
3 ?, A; R4 b. l6 Y# Z6 V
6 L& M2 [: d7 U% _  X, r0 K為解決這些挑戰(zhàn)，行業(yè)必須專注于分散風(fēng)險(xiǎn)并保持采用新技術(shù)的靈活性。
+ Q8 @! I9 J+ ^6 ^% [7 |
5 p* T3 ]; Q# [: P) b結(jié)論
% P6 e9 l# s0 l; b! q隨著AI系統(tǒng)不斷發(fā)展并要求更高的性能，互連技術(shù)的作用變得越來越關(guān)鍵。雖然高速SERDES技術(shù)在可預(yù)見的將來仍然是最實(shí)用的解決方案，但像線性可插拔光學(xué)這樣的新興技術(shù)為解決功耗挑戰(zhàn)提供了有前景的途徑。
9 x1 o0 e! R0 h3 ^- A4 \+ b
在這個(gè)快速發(fā)展的領(lǐng)域中，成功的關(guān)鍵在于平衡創(chuàng)新和實(shí)用性。通過專注于上市時(shí)間、分散風(fēng)險(xiǎn)和保持采用新技術(shù)的靈活性，行業(yè)可以確�；ミB技術(shù)跟上AI系統(tǒng)的快速進(jìn)步。

參考文獻(xiàn)
[1] Bechtolsheim, "Can Interconnects Keep up with AI? A System-Level Perspective," presented at Hot Interconnects 2024.
. _  E" h; X: g- |4 U5 h
& p) W2 t/ X, v  H8 N1 Q$ ^END
3 |( c$ U4 ^# y& S

軟件申請(qǐng)我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請(qǐng)?bào)w驗(yàn)免費(fèi)版PIC Studio軟件。無論是研究還是商業(yè)應(yīng)用，PIC Studio都可提升您的工作效能。
- j2 h2 I! Z6 v2 v9 {# B點(diǎn)擊左下角"閱讀原文"馬上申請(qǐng)

歡迎轉(zhuǎn)載
# l, ?- H, q: |( {5 E" O' j- Y
4 }1 w4 l5 T. T1 Q! m$ o9 p轉(zhuǎn)載請(qǐng)注明出處，請(qǐng)勿修改內(nèi)容和刪除作者信息！
+ X( n0 V& ]6 C# O8 z* O
  r/ s/ |0 {7 @' }; v- l  R



關(guān)注我們
. R% Y/ k5 k/ m7 [: R3 X* Y
' o0 ], r" A% F" @! f4 p! I

3 I2 N, N+ \6 f* s# b  h9 P5 q; G   {( e! x, C; v3 z7 n4 b

" F8 ]" J+ ?5 h5 n, f

0 F* M2 [* o  x! ?, P# z8 x , l6 v& I: e6 n4 [' p

                     
5 k6 b1 A! B& o: t( Z( ?' b; R
1 T( T. ^5 q5 j: u
) D, U. R, A' q: }& e& a' r
) b) w* o) r  L( B關(guān)于我們：
4 U/ {+ K. H6 [. R/ J深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導(dǎo)體芯片設(shè)計(jì)自動(dòng)化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計(jì)和仿真軟件，提供成熟的設(shè)計(jì)解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對(duì)光電芯片、微機(jī)電系統(tǒng)、超透鏡的設(shè)計(jì)與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù)，廣泛服務(wù)于光通訊、光計(jì)算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國(guó)內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動(dòng)特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務(wù)。
0 T/ I. `0 T/ A
5 K3 W+ `$ T( b, n4 m# shttp://www.latitudeda.com/
（點(diǎn)擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）