Hot Interconnects 2024 | 人工智能系統(tǒng)互連技術(shù)的未來：挑戰(zhàn)與解決方案

逍遙設(shè)計(jì)自動(dòng)化

引言
隨著AI技術(shù)的持續(xù)進(jìn)步，對(duì)更快、更高效計(jì)算系統(tǒng)的需求呈指數(shù)級(jí)增長(zhǎng)�；ミB組件是這些系統(tǒng)的核心，負(fù)責(zé)處理單元之間的數(shù)據(jù)傳輸。然而，隨著AI性能的提升，互連技術(shù)在維持所需帶寬和能效方面面臨著重大挑戰(zhàn)[1]。
/ }. `9 M/ z$ S* g- r' H. a/ @
XPU性能和I/O帶寬的擴(kuò)展
AI加速器（通常稱為XPU，即擴(kuò)展處理單元）的性能預(yù)計(jì)在未來幾年將顯著提升。這一增長(zhǎng)主要由芯片架構(gòu)、工藝技術(shù)和基板技術(shù)的進(jìn)步推動(dòng)。
* ]. |( P# r! s3 j3 ~& v$ z
" ^2 l; p! V4 X4 v& X圖1展示了預(yù)期的未來XPU性能，預(yù)計(jì)到2028年將比2022年提高50倍，如果有更好的散熱技術(shù)，可能達(dá)到100倍的提升。
: g/ H* ~! L+ H- e+ A% _
根據(jù)圖表，可以預(yù)期從2022年到2026年，每?jī)赡晷阅軐⑻岣?.3倍，從2026年到2028年將提高5倍。XPU性能的這種指數(shù)級(jí)增長(zhǎng)需要相應(yīng)的I/O帶寬增加，以避免數(shù)據(jù)傳輸成為瓶頸。
% {# N$ O; a. Z5 z: B: a3 n
芯片級(jí)高速互連
! m4 e, U8 ~5 l0 e為滿足不斷增加的帶寬需求，芯片制造商正專注于改進(jìn)片上和片外互連技術(shù)。
. E8 {, v6 M- o" J7 U  u2 i5 ]* j1. 片上芯片間接口：
( q7 D" |5 ~7 B( W5 }2 V5 t

當(dāng)前速度：32-64 Gbps NRZ

能效：

前沿密度：5 -> 10 Terabits/mm

" u2 b1 ~$ ~9 L7 n2. 片外高速SERDES：

當(dāng)前速度：224G-PAM4，正向448G-PAM4發(fā)展

能效：5 -> 4 pJ/Bit

前沿密度：1 -> 2 Terabits/mm
5 m9 v1 C; A* U7 I
; g: c& L7 n: E這些芯片級(jí)互連技術(shù)的進(jìn)步對(duì)實(shí)現(xiàn)未來AI系統(tǒng)所需的高帶寬極為重要。

8 P0 {4 R; Z3 H8 \* w9 l, FAI網(wǎng)絡(luò)帶寬和功耗
隨著XPU性能的提升，所需的AI網(wǎng)絡(luò)帶寬也必須相應(yīng)擴(kuò)展。然而，這種擴(kuò)展在功耗方面帶來了挑戰(zhàn)。

' O3 K) I- l5 ^( u5 o3 t圖2展示了從2022年到2028年預(yù)期的AI網(wǎng)絡(luò)帶寬增長(zhǎng)，顯示了1600G端口的數(shù)量和相關(guān)功耗。
3 q% A/ t. Q" b" i$ R  G6 p
/ Q: d1 t+ e6 m圖2的表格顯示，盡管帶寬需求顯著增加（從2022年的3200 Gbps增加到2028年的25600 Gbps），I/O的功耗仍然只占XPU總功耗的一小部分（約2.5%）。這表明SERDES I/O功耗在整體系統(tǒng)功耗中并不是一個(gè)顯著的瓶頸。

高速SERDES的優(yōu)勢(shì)
高速SERDES（串行器/解串器）技術(shù)仍然是AI系統(tǒng)互連最實(shí)用的解決方案。其優(yōu)勢(shì)包括：

通用電氣接口兼容性

支持銅纜、有源光纜（AOC）和各種類型的光學(xué)器件

從112G到224G再到448G的明確發(fā)展路線圖

改善系統(tǒng)級(jí)密度

與光學(xué)模塊路線圖一致（8通道光學(xué)從800G到1600G再到3200G）
- S) V6 |6 d3 g+ J" I
: @; z$ N2 X% W% e7 f0 ^機(jī)箱和機(jī)架級(jí)I/O擴(kuò)展
在機(jī)箱或機(jī)架內(nèi)，無源銅互連仍然是最具成本效益和能效的解決方案。液冷機(jī)架中XPU密度的增加（從64到128再到256個(gè)XPU）解決了大部分規(guī)模擴(kuò)展需求，可能占市場(chǎng)需求的50%或更多。

機(jī)架之外：光互連技術(shù)和功耗挑戰(zhàn)
" e: Z* `. J/ E; A! L1 z# [& x對(duì)于機(jī)架之外的連接，光互連成為必要。然而，與銅互連相比，光互連技術(shù)帶來了更高的成本和功耗。關(guān)鍵挑戰(zhàn)是如何最小化這種損失，特別是對(duì)于AI集群擴(kuò)展中常見的短距離鏈路（10到15米）。
+ ?5 s' E4 N+ s% Y! _
圖3比較了102.4T交換機(jī)中不同光互連技術(shù)的功耗：線性可插拔光學(xué)（LPO）、線性僅接收光學(xué)（LRO）和基于DSP的光學(xué)技術(shù)。

; s, D* n3 y3 r$ d6 ^圖表清楚地顯示，與基于DSP的光學(xué)技術(shù)相比，LPO提供了顯著的功耗節(jié)省，差異高達(dá)1600W或總功耗的50%。這凸顯了為大規(guī)模AI系統(tǒng)開發(fā)更高效光學(xué)互連技術(shù)的重要性。

線性可插拔光學(xué)（LPO）
線性可插拔光學(xué)（LPO）成為解決AI系統(tǒng)中光學(xué)互連功耗挑戰(zhàn)的有前景解決方案。LPO提供了幾個(gè)優(yōu)勢(shì)：
. X, k0 a* p2 d0 L. x

與基于DSP的光學(xué)技術(shù)相比，顯著節(jié)省功耗

保持可插拔模塊的可維護(hù)性和易用性

避免了與光電共封裝（CPO）相關(guān)的制造和可靠性挑戰(zhàn)

7 w& S% _" p8 s% o
; r2 |4 f/ a/ n/ u' G
  D) u' G! m4 i2 u圖4展示了線性可插拔光學(xué)（LPO）的概念，展示了其在不影響可維護(hù)性的情況下提供功耗優(yōu)勢(shì)的潛力。

LPO多源協(xié)議（MSA）匯集了12個(gè)行業(yè)領(lǐng)導(dǎo)者，旨在為線性可插拔光學(xué)定義規(guī)范，目標(biāo)是使這項(xiàng)技術(shù)標(biāo)準(zhǔn)化以便廣泛采用。

  X% M$ j, K1 W未來發(fā)展：224G和448G
5 v* m4 m. I/ z9 _# G; G3 a' j. d隨著行業(yè)向更高數(shù)據(jù)速率發(fā)展，224G-PAM4和448G-PAM4技術(shù)正在到來。這些進(jìn)步帶來了新的挑戰(zhàn)和機(jī)遇：

4 T- O( x0 j7 [% [. ra. 224G-PAM4：

需要干凈、低損耗的電氣通道（理想情況下，芯片到模塊的損耗

可能需要飛躍電纜以減少通道損耗和干擾

更高性能的TIA和線性驅(qū)動(dòng)器正在開發(fā)中
: Y: a6 a2 k$ J7 j& ?
2 ~) a7 a! @/ L$ t& Gb. 448G-PAM4：
/ t7 R( e+ |+ `) ], F

對(duì)電氣通道提出了重大挑戰(zhàn)

可能需要新的可插拔模塊連接器

100+ GHz的光學(xué)帶寬具有挑戰(zhàn)性，薄膜鋰鈮酸鹽（TFLN）是一個(gè)有前景的解決方案
* G2 m) _) E  j2 r( c2 h# r1 @! y1 h
- \5 t/ m, H9 N2 Z# j- R先有雞還是先有蛋的問題
在AI生態(tài)系統(tǒng)中引入新的I/O技術(shù)面臨著先有雞還是先有蛋的問題。雖然像較慢和更寬的光學(xué)技術(shù)（例如4G微型LED或32G-NRZ微環(huán)）提供了潛在的優(yōu)勢(shì)，但其采用面臨幾個(gè)障礙：
6 s0 U8 g1 Z) Q

開發(fā)和提升新光學(xué)技術(shù)產(chǎn)量的長(zhǎng)周期

高產(chǎn)量制造需要大量投資

沒有重大設(shè)計(jì)贏得的情況下，不愿意承諾使用未經(jīng)驗(yàn)證的技術(shù)



# m% Z5 H" z0 D2 n6 O圖5展示了使用4G微型LED的1600G-OSFP模塊的概念設(shè)計(jì)，說明了未來光學(xué)互連可能實(shí)現(xiàn)的低功耗。

  @, f; V, I- ^( k# U; T- }8 t為解決這些挑戰(zhàn)，行業(yè)必須專注于分散風(fēng)險(xiǎn)并保持采用新技術(shù)的靈活性。

5 h9 o) f5 O9 y$ }# @: v; \結(jié)論
7 ~. N. D. J1 z! F) v1 q4 A隨著AI系統(tǒng)不斷發(fā)展并要求更高的性能，互連技術(shù)的作用變得越來越關(guān)鍵。雖然高速SERDES技術(shù)在可預(yù)見的將來仍然是最實(shí)用的解決方案，但像線性可插拔光學(xué)這樣的新興技術(shù)為解決功耗挑戰(zhàn)提供了有前景的途徑。
7 e9 H4 _2 z; j6 _+ m  t  p4 F
在這個(gè)快速發(fā)展的領(lǐng)域中，成功的關(guān)鍵在于平衡創(chuàng)新和實(shí)用性。通過專注于上市時(shí)間、分散風(fēng)險(xiǎn)和保持采用新技術(shù)的靈活性，行業(yè)可以確保互連技術(shù)跟上AI系統(tǒng)的快速進(jìn)步。

- o# V% \) `/ H% t/ [2 ]參考文獻(xiàn)
& K/ Z! z' M. U6 m# ^[1] Bechtolsheim, "Can Interconnects Keep up with AI? A System-Level Perspective," presented at Hot Interconnects 2024.
  |/ M7 }! Z6 U+ G+ }
0 d1 K: J6 D* Q: A+ y, }2 ZEND
3 X; X7 H/ V! v
! l& o1 M, b" K7 Z) S
軟件申請(qǐng)我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請(qǐng)?bào)w驗(yàn)免費(fèi)版PIC Studio軟件。無論是研究還是商業(yè)應(yīng)用，PIC Studio都可提升您的工作效能。
點(diǎn)擊左下角"閱讀原文"馬上申請(qǐng)

1 {, b( ~& B2 U2 A. d' L6 d歡迎轉(zhuǎn)載
2 W0 c* F5 ]2 ~- t  M
+ |/ W. {+ u" t% R$ @轉(zhuǎn)載請(qǐng)注明出處，請(qǐng)勿修改內(nèi)容和刪除作者信息！

  V% k* p8 ]1 V! \


, k/ R1 S+ e  Q- v
  ^" d$ z( t: j5 Z- |3 S關(guān)注我們
5 H4 C- [% A5 {9 p7 t

3 H& W* Y& |: h! F& _9 C  p

6 h& [1 [+ y: L$ P; D( @: L2 m 7 _1 ~$ H4 J/ N5 N

                     
. w& ]9 W* B- t9 u. j3 Z


關(guān)于我們：
3 E/ J- n; P) Q( Y) b+ `深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導(dǎo)體芯片設(shè)計(jì)自動(dòng)化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計(jì)和仿真軟件，提供成熟的設(shè)計(jì)解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對(duì)光電芯片、微機(jī)電系統(tǒng)、超透鏡的設(shè)計(jì)與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù)，廣泛服務(wù)于光通訊、光計(jì)算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國(guó)內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動(dòng)特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務(wù)。
* c3 y: X' N8 X9 t" u* D4 w5 P
8 W( p3 M, @8 Z$ Q  t0 ~( f( W) O5 Zhttp://www.latitudeda.com/
（點(diǎn)擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）