人工智能時(shí)代的互連技術(shù)如何演進(jìn)以應(yīng)對指數(shù)級增長的挑戰(zhàn)

逍遙設(shè)計(jì)自動化

引言
8 [4 e7 v- L$ u7 L# e% `) c  N" ~人工智能（AI）正以驚人的速度革新科技領(lǐng)域。隨著AI模型規(guī)模和復(fù)雜度的增長，對計(jì)算基礎(chǔ)設(shè)施提出了極高的要求。本文探討互連技術(shù)如何演進(jìn)以應(yīng)對這些挑戰(zhàn)，確保AI系統(tǒng)的基礎(chǔ)架構(gòu)能夠跟上創(chuàng)新的步伐[1]。引用文獻(xiàn)來自LightCounting在7月30日舉辦的Special Requirements for Optical Connectivity in AI Clusters Webinar，特此感謝！
% W4 r( ?. L! ~& C+ R
) q* l& \- T6 T; Y% hAI模型的指數(shù)級增長
5 f' R1 W2 h. ^& R要理解互連技術(shù)面臨的挑戰(zhàn)規(guī)模，首先需要了解AI模型的爆炸性增長。
0 L3 I1 c/ A' b; k$ \2 t+ L3 C3 w4 i
" K  ]4 v1 s7 Y! G% j7 x' J圖1：AI模型參數(shù)數(shù)量隨時(shí)間的指數(shù)級增長，顯示每年大約增長10倍。
  X  H+ }) v8 P) }
如圖1所示，AI模型的規(guī)模（以參數(shù)數(shù)量衡量）每年增長約10倍。這一增長速度遠(yuǎn)遠(yuǎn)超過了硅技術(shù)性能的提升，后者通常遵循摩爾定律每兩年翻一番。結(jié)果導(dǎo)致對計(jì)算能力的需求不斷增加，因此需要更高效的互連技術(shù)來連接這些龐大的系統(tǒng)。
, S, g6 W" `; r$ p- x3 v+ d0 l
3 H9 X$ c/ j/ x+ O* Z4 m( }硅技術(shù)的進(jìn)步
* ]/ r4 o8 e) A為了應(yīng)對這一挑戰(zhàn)，芯片制造商正在推動硅技術(shù)的極限。臺積電（TSMC）作為領(lǐng)先的半導(dǎo)體代工廠，在這一領(lǐng)域處于前沿：
. ]2 @8 J8 q: d7 T+ k
圖2：臺積電從5納米到2納米工藝節(jié)點(diǎn)的改進(jìn)，突出了在功耗效率、性能和芯片密度方面的提升。

+ q: ?$ v' c, q5 N" Y從5納米到2納米工藝的過渡中，我們看到幾個關(guān)鍵指標(biāo)有顯著改善：

功耗效率：在相同速度下，從5納米到2納米，功耗降低了50%。

性能：在相同功耗下，從5納米到2納米，性能提升了33%。

芯片密度：從5納米到2納米，晶體管密度提高了50%。
$ p3 ^+ d9 i0 l' M# ?1 d) [6 Z[/ol]
! s0 V* ^8 @. X# E這些進(jìn)步對滿足AI系統(tǒng)的計(jì)算需求非常重要，使得生產(chǎn)更強(qiáng)大、更高效的芯片成為可能。然而，僅靠硅技術(shù)的改進(jìn)還不足以跟上AI的需求。

先進(jìn)封裝技術(shù)
為了充分利用這些硅技術(shù)進(jìn)步，業(yè)界正轉(zhuǎn)向先進(jìn)的封裝技術(shù)。臺積電的CoWoS（晶圓上芯片上基板）技術(shù)就是一個典型例子：

圖3：臺積電的CoWoS（晶圓上芯片上基板）2.5D/3D封裝技術(shù)，說明了如何將多個芯片和HBM內(nèi)存集成到單個封裝中。
5 ?- Q( c. T* L/ i
CoWoS技術(shù)允許將多個芯片和高帶寬內(nèi)存（HBM）集成到單個封裝中。這種方法可以實(shí)現(xiàn)組件之間更高的帶寬，并且與傳統(tǒng)封裝方法相比，可以有效地將可用硅面積翻倍。

高速互連：AI性能的關(guān)鍵
為了最大化AI性能，高速互連技術(shù)必不可少。封裝內(nèi)和封裝外接口都在快速發(fā)展以滿足這些需求：

封裝內(nèi)芯片間接口：速度達(dá)到32-64 Gbps NRZ，能量效率低于0.5 pJ/Bit。提供5到10 Terabits/mm的邊緣密度，允許同一封裝內(nèi)芯片之間實(shí)現(xiàn)極高帶寬的連接。

封裝外高速SERDES：當(dāng)前技術(shù)支持224G-PAM4，448G-PAM4正在研發(fā)中。這些接口實(shí)現(xiàn)了低于3 pJ/Bit的能量效率，提供1到2 Terabits/mm的邊緣密度，可在不同封裝或板之間實(shí)現(xiàn)高速連接。
[/ol]
; z, L9 R) O. O0 f這些高速SERDES的功耗效率也隨著每一代硅工藝技術(shù)的進(jìn)步而提高：
9 H( g' L& o  T  {5 G& w8 Q
圖4：高速SERDES功耗效率在不同工藝節(jié)點(diǎn)和數(shù)據(jù)速率下的演進(jìn)。
/ e) l$ u9 C' \& V& o9 ^' ~
+ ^6 e6 [2 h# k! [從圖4可以看出，高速SERDES的能量效率隨著每個新工藝節(jié)點(diǎn)的出現(xiàn)而顯著提高。例如，從5納米到2納米的過渡預(yù)計(jì)將使200G SERDES的每比特能耗減少近一半。

帶寬挑戰(zhàn)
) I; T3 G9 U8 L  S2 h隨著AI模型持續(xù)增長，互連技術(shù)的帶寬需求正在飆升。為了說明這一點(diǎn)，讓我們看看使用200G SERDES在不同基板尺寸上可能實(shí)現(xiàn)的帶寬：
7 N) Q) A+ {9 B
& k( j0 H5 @, M4 a/ W. ?; m' I. q圖5：使用200G SERDES在不同基板尺寸上可能實(shí)現(xiàn)的單向和雙向帶寬，從單個芯片到多芯片基板。
) R: P  ]. u# t
  M' |, g) p7 l如圖5所示，使用200G SERDES，一個25x25毫米的單個芯片可能支持高達(dá)100T/200T的單向/雙向帶寬。擴(kuò)展到100x100毫米的多芯片基板，這可能增加到驚人的400T/800T帶寬。
# A5 k  _+ s4 v4 i) I. ?, E
7 Y" ~" E7 \. N& F/ ~6 T向更高速互連的快速過渡
& `9 S/ `/ C; Z) e5 JAI網(wǎng)絡(luò)行業(yè)正在快速向更高速的互連技術(shù)過渡，以滿足這些帶寬需求：

圖6：AI網(wǎng)絡(luò)中高速互連的快速采用，2025年800G端口將占主導(dǎo)地位，2027年1600G端口將成為主流。

如圖6所示，AI網(wǎng)絡(luò)行業(yè)正在快速向更高速的互連技術(shù)過渡。到2025年，800G（8x100G）端口預(yù)計(jì)將主導(dǎo)市場。這一趨勢將繼續(xù)，1600G（8x200G）端口將在2026年開始增長，并在2027年成為主導(dǎo)技術(shù)。
9 ?/ V. B) e% t$ P* ]6 K" I
功耗挑戰(zhàn)與線性光學(xué)技術(shù)
隨著我們追求更高帶寬，功耗成為關(guān)鍵問題。對于大型AI集群，光學(xué)器件的功耗需求可能相當(dāng)可觀。為了說明這一點(diǎn)，讓我們考慮一下大規(guī)模AI集群的功耗影響：
& i5 z3 M  u& Y
& P  `3 u6 q2 S  ]' K' }7 |" o! V圖7：比較大型AI集群中不同光學(xué)技術(shù)的功耗，突顯了LPO提供的顯著功耗節(jié)省。
/ P# E& C' T0 j6 a0 `, y
如圖7所示，在一個擁有648個1600G端口的機(jī)架中，選擇不同的光學(xué)技術(shù)會對功耗產(chǎn)生顯著影響：
6 ^- u- X4 i- s  T3 h

銅互連（用于短距離）消耗最少的功率。

線性可插拔光學(xué)模塊（LPO）與銅相比，功耗增加5.4%。

線性只接收（LRO）光學(xué)技術(shù)功耗增加10.8%。

數(shù)字信號處理（DSP）光學(xué)技術(shù)功耗增加16.2%。
- a: z* m5 D0 U* [+ O4 s( Y
/ y- g+ g6 T3 ~) f7 Z6 g2 l8 b當(dāng)擴(kuò)展到100,000個XPU（AI加速器）的集群時(shí)，功耗影響變得更加顯著。這樣的集群可能需要640萬個1600G光學(xué)接口。使用LPO可以比DSP光學(xué)技術(shù)節(jié)省128 MW的功率 - 光學(xué)功耗降低32%。

這些數(shù)據(jù)突顯了為什么線性光學(xué)技術(shù)，特別是LPO，正成為解決AI互連功耗挑戰(zhàn)的重要解決方案。

光學(xué)互連的演進(jìn)
向更高效的光學(xué)互連技術(shù)的演進(jìn)已經(jīng)持續(xù)多年。讓我們簡要回顧一下光學(xué)集成的一些歷史嘗試：

圖8：2010年左右的IBM Power 775系統(tǒng)，這是最早使用光電共封裝的系統(tǒng)之一。
) i- u9 O! a- u) W' ]* S
圖8所示的IBM Power 775是一個創(chuàng)新性的系統(tǒng)，早在2010年就采用了光電共封裝技術(shù)。雖然它展示了集成光學(xué)互連的潛力，但這類技術(shù)的廣泛采用一直受到可制造性和可維護(hù)性挑戰(zhàn)的阻礙。
5 q( N/ ~' f! Q$ x8 W
線性可插拔光學(xué)模塊（LPO）的興起
鑒于這些挑戰(zhàn)，業(yè)界現(xiàn)在正轉(zhuǎn)向線性可插拔光學(xué)模塊（LPO）作為更實(shí)用的解決方案。與基于DSP的光學(xué)技術(shù)相比，LPO提供了顯著的功耗節(jié)省，同時(shí)保持了可插拔模塊的靈活性和可維護(hù)性。
0 h+ A( M  ^! D: C3 o5 ^" m" p1 [
為了加速LPO的開發(fā)和采用，十二家行業(yè)領(lǐng)導(dǎo)者組成了LPO多源協(xié)議（MSA）。這一合作旨在為線性可插拔光學(xué)模塊制定規(guī)范，112G LPO MSA規(guī)范即將完成，預(yù)計(jì)將在2024年ECOC大會之前發(fā)布。
3 w( V: c& g+ X* @. A" `
互連技術(shù)的未來：超越112G
雖然112G LPO即將面世，但業(yè)界已經(jīng)在展望224G-PAM4 LPO。這一下一代技術(shù)面臨一些挑戰(zhàn)：
0 v  c% X5 v( t9 M  N5 i" O6 X1. 通道要求：224G LPO需要干凈、低損耗的電氣通道，理想情況下從芯片到模塊的損耗應(yīng)小于15 dB。
2. Fly-over Cables：為了滿足這些嚴(yán)格的通道要求，F(xiàn)ly-over Cables可能會發(fā)揮關(guān)鍵作用。這些電纜可以顯著減少通道損耗和干擾。

圖9：Fly-over Cables的示例，包括NVLink交換機(jī)刀片到NVL72背板的連接，以及Luxshare 224 / 448G CPC互連。

3. 高性能組件：224G LPO將需要先進(jìn)的高性能跨阻放大器（TIA）和線性驅(qū)動器。許多這些組件已經(jīng)在開發(fā)中。

業(yè)界正在快速發(fā)展，預(yù)計(jì)在2025年的OFC大會上將有多家廠商展示224G-LPO。這項(xiàng)技術(shù)可能特別適用于網(wǎng)絡(luò)接口卡（NIC）和AI加速器（XPU），因?yàn)檫@些場景中較短的電氣通道使實(shí)施更為簡單。

對于交換機(jī)，較長的電氣通道帶來了更多挑戰(zhàn)，但模擬結(jié)果表明，使用飛越電纜可以實(shí)現(xiàn)224G-LPO。目前正在進(jìn)行大量測試，以驗(yàn)證這些模擬結(jié)果并為實(shí)際部署做準(zhǔn)備。

結(jié)論
展望AI互連技術(shù)的未來，很明顯線性接口光學(xué)技術(shù) - 包括LPO、近封裝光學(xué)（NPO）和光電共封裝（CPO） - 代表了前進(jìn)的方向。這些技術(shù)提供了支持下一代AI系統(tǒng)所需的高帶寬和低功耗。
, ^9 J( j9 v% d# h4 m
+ O( U% _2 }  G2 w# e在這些選項(xiàng)中，LPO因其性能、功耗效率和實(shí)用性的結(jié)合而脫穎而出。LPO提供了幾乎所有更集成解決方案（如CPO）的功耗優(yōu)勢，同時(shí)避免了這些技術(shù)在制造和可維護(hù)性方面的挑戰(zhàn)，這些挑戰(zhàn)在過去阻礙了其廣泛采用。
/ c8 W& f4 \1 z" O+ i* a
AI的快速創(chuàng)新步伐正在推動互連技術(shù)的同步快速進(jìn)步。隨著我們向更快、更高效的系統(tǒng)邁進(jìn)，硅工藝、高速接口和光學(xué)技術(shù)的創(chuàng)新將在塑造AI基礎(chǔ)設(shè)施的未來中發(fā)揮關(guān)鍵作用。
& F8 z$ ]$ q/ Z9 N% n
讓互連技術(shù)跟上AI指數(shù)級增長的挑戰(zhàn)是巨大的，但業(yè)界正在迎接這一挑戰(zhàn)。通過像LPO MSA這樣的協(xié)作努力以及持續(xù)的研發(fā)，我們正在看到新一代互連技術(shù)的出現(xiàn)，這些技術(shù)有望釋放AI系統(tǒng)的全部潛力。
$ e& e9 L  n7 b! W9 @
' x( E: K; C7 h) j% Q% A/ C1 u' I8 O隨著我們向前發(fā)展，很明顯AI的未來不僅將由算法和計(jì)算能力的進(jìn)步塑造，還將由將這些系統(tǒng)連接在一起的關(guān)鍵互連技術(shù)塑造。通過繼續(xù)推動高速、低功耗互連的可能性邊界，可以確保基礎(chǔ)設(shè)施能夠支持下一代AI突破。

未來展望
5 V+ ^# p1 F8 N) K5 Z$ C: q0 n進(jìn)一步的工藝改進(jìn)：隨著半導(dǎo)體工藝?yán)^續(xù)向更小的節(jié)點(diǎn)發(fā)展，我們可以期待看到更高的能效和更高的集成度。這將為AI系統(tǒng)提供更強(qiáng)大的計(jì)算能力，同時(shí)保持或降低功耗。

3D集成：三維集成技術(shù)可能成為未來互連技術(shù)的一個重要方向。通過垂直堆疊芯片，可以顯著減少信號傳輸距離，提高帶寬，降低延遲。

新材料的應(yīng)用：除了硅，其他材料如氮化鎵（GaN）或碳納米管可能在未來的互連技術(shù)中發(fā)揮重要作用，提供更高的性能和能效。

光學(xué)技術(shù)的進(jìn)一步集成：雖然LPO目前看來是最實(shí)用的解決方案，但長期來看，我們可能會看到更深度集成的光學(xué)解決方案，如硅基光電子技術(shù)的廣泛應(yīng)用。

AI輔助設(shè)計(jì)：AI不僅是這些互連技術(shù)的最終用戶，還可能成為設(shè)計(jì)和優(yōu)化這些技術(shù)的工具。AI輔助的電子設(shè)計(jì)自動化（EDA）工具可能會加速新一代互連技術(shù)的開發(fā)。

量子互連：隨著量子計(jì)算的發(fā)展，量子互連技術(shù)可能成為一個新的研究方向，為未來的量子AI系統(tǒng)提供必要的通信基礎(chǔ)。
" M) r7 h6 f2 U[/ol]
* v$ W; D  w$ t% Y7 x$ q, M2 U參考文獻(xiàn)
/ i- F; C( O3 b4 \[1] Bechtolsheim, "Can Interconnects Keep up with AI?," Arista Networks, Jul. 2024.
3 c, \/ s$ |1 R2 e6 T1 f: ^
' {. s1 j/ }0 z1 c- END -

5 P0 a, u1 ^/ P: x% t, c7 t軟件申請我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請?bào)w驗(yàn)免費(fèi)版PIC Studio軟件。無論是研究還是商業(yè)應(yīng)用，PIC Studio都可提升您的工作效能。
點(diǎn)擊左下角"閱讀原文"馬上申請

歡迎轉(zhuǎn)載

4 _$ l0 m0 H( v; H$ R* @6 Y轉(zhuǎn)載請注明出處，請勿修改內(nèi)容和刪除作者信息！


. l3 n" y' v$ y
. f* V% i2 ?* X6 \

關(guān)注我們
% ^( R) K% \) \$ k( Q6 h

, [% C( D: ]% c. W# J) B. Z" ]4 H" {

                     

' m) U  a; w+ _& j- `- A

6 W  e) C- o4 m3 c關(guān)于我們：
深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導(dǎo)體芯片設(shè)計(jì)自動化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計(jì)和仿真軟件，提供成熟的設(shè)計(jì)解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對光電芯片、微機(jī)電系統(tǒng)、超透鏡的設(shè)計(jì)與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù)，廣泛服務(wù)于光通訊、光計(jì)算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務(wù)。
8 j" y) {) E" z8 c
& c4 [" H7 B" dhttp://www.latitudeda.com/
（點(diǎn)擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）