人工智能時代的互連技術如何演進以應對指數級增長的挑戰(zhàn)

逍遙設計自動化

引言
人工智能（AI）正以驚人的速度革新科技領域。隨著AI模型規(guī)模和復雜度的增長，對計算基礎設施提出了極高的要求。本文探討互連技術如何演進以應對這些挑戰(zhàn)，確保AI系統(tǒng)的基礎架構能夠跟上創(chuàng)新的步伐[1]。引用文獻來自LightCounting在7月30日舉辦的Special Requirements for Optical Connectivity in AI Clusters Webinar，特此感謝！

* A0 R* R: A2 D& M6 g$ x1 a* j, r* eAI模型的指數級增長
9 ]  W& E' ]2 T8 j要理解互連技術面臨的挑戰(zhàn)規(guī)模，首先需要了解AI模型的爆炸性增長。

圖1：AI模型參數數量隨時間的指數級增長，顯示每年大約增長10倍。

$ ]& f/ G- k1 B8 F: \$ i7 W$ _如圖1所示，AI模型的規(guī)模（以參數數量衡量）每年增長約10倍。這一增長速度遠遠超過了硅技術性能的提升，后者通常遵循摩爾定律每兩年翻一番。結果導致對計算能力的需求不斷增加，因此需要更高效的互連技術來連接這些龐大的系統(tǒng)。
, s4 ~& b6 g/ ^- Q1 u/ f
9 P4 d7 m- V" c. @, X! }硅技術的進步
為了應對這一挑戰(zhàn)，芯片制造商正在推動硅技術的極限。臺積電（TSMC）作為領先的半導體代工廠，在這一領域處于前沿：

/ ~  Z& e, f$ {. {; n圖2：臺積電從5納米到2納米工藝節(jié)點的改進，突出了在功耗效率、性能和芯片密度方面的提升。
1 Q- H- p& N9 R3 I4 z- E
從5納米到2納米工藝的過渡中，我們看到幾個關鍵指標有顯著改善：

功耗效率：在相同速度下，從5納米到2納米，功耗降低了50%。

性能：在相同功耗下，從5納米到2納米，性能提升了33%。

芯片密度：從5納米到2納米，晶體管密度提高了50%。
[/ol]
這些進步對滿足AI系統(tǒng)的計算需求非常重要，使得生產更強大、更高效的芯片成為可能。然而，僅靠硅技術的改進還不足以跟上AI的需求。
' i3 f* Y" o) E, R  M' D. m
先進封裝技術
" O/ P6 {* t# h0 U# F3 f為了充分利用這些硅技術進步，業(yè)界正轉向先進的封裝技術。臺積電的CoWoS（晶圓上芯片上基板）技術就是一個典型例子：

: r3 n" _/ v$ j圖3：臺積電的CoWoS（晶圓上芯片上基板）2.5D/3D封裝技術，說明了如何將多個芯片和HBM內存集成到單個封裝中。
( {5 b7 R# m3 b* L* x
+ O8 {2 X, M! C! H( PCoWoS技術允許將多個芯片和高帶寬內存（HBM）集成到單個封裝中。這種方法可以實現組件之間更高的帶寬，并且與傳統(tǒng)封裝方法相比，可以有效地將可用硅面積翻倍。
) M) }) Z& _0 D/ C* m
高速互連：AI性能的關鍵
6 j+ b) h" R! X' ?' v- A; {為了最大化AI性能，高速互連技術必不可少。封裝內和封裝外接口都在快速發(fā)展以滿足這些需求：

封裝內芯片間接口：速度達到32-64 Gbps NRZ，能量效率低于0.5 pJ/Bit。提供5到10 Terabits/mm的邊緣密度，允許同一封裝內芯片之間實現極高帶寬的連接。

封裝外高速SERDES：當前技術支持224G-PAM4，448G-PAM4正在研發(fā)中。這些接口實現了低于3 pJ/Bit的能量效率，提供1到2 Terabits/mm的邊緣密度，可在不同封裝或板之間實現高速連接。
0 d  _( V/ H: \* a# S' `3 `5 x[/ol]
這些高速SERDES的功耗效率也隨著每一代硅工藝技術的進步而提高：

7 c( q% \! E- b2 ^" A圖4：高速SERDES功耗效率在不同工藝節(jié)點和數據速率下的演進。

6 O# |2 f( \8 O; J4 N從圖4可以看出，高速SERDES的能量效率隨著每個新工藝節(jié)點的出現而顯著提高。例如，從5納米到2納米的過渡預計將使200G SERDES的每比特能耗減少近一半。
4 u1 H! j& M2 X
! h8 x5 @* N' H5 G, ^9 p帶寬挑戰(zhàn)
( R2 W$ ]1 [& Z隨著AI模型持續(xù)增長，互連技術的帶寬需求正在飆升。為了說明這一點，讓我們看看使用200G SERDES在不同基板尺寸上可能實現的帶寬：
, O5 Q' a% D2 E: D3 H/ J
( U+ |) W$ h8 p. V" S圖5：使用200G SERDES在不同基板尺寸上可能實現的單向和雙向帶寬，從單個芯片到多芯片基板。

如圖5所示，使用200G SERDES，一個25x25毫米的單個芯片可能支持高達100T/200T的單向/雙向帶寬。擴展到100x100毫米的多芯片基板，這可能增加到驚人的400T/800T帶寬。

向更高速互連的快速過渡
AI網絡行業(yè)正在快速向更高速的互連技術過渡，以滿足這些帶寬需求：
8 ?( Q7 o8 U4 `8 @* y1 Z2 A. c
圖6：AI網絡中高速互連的快速采用，2025年800G端口將占主導地位，2027年1600G端口將成為主流。

如圖6所示，AI網絡行業(yè)正在快速向更高速的互連技術過渡。到2025年，800G（8x100G）端口預計將主導市場。這一趨勢將繼續(xù)，1600G（8x200G）端口將在2026年開始增長，并在2027年成為主導技術。

功耗挑戰(zhàn)與線性光學技術
/ c- @% c' d" O隨著我們追求更高帶寬，功耗成為關鍵問題。對于大型AI集群，光學器件的功耗需求可能相當可觀。為了說明這一點，讓我們考慮一下大規(guī)模AI集群的功耗影響：

圖7：比較大型AI集群中不同光學技術的功耗，突顯了LPO提供的顯著功耗節(jié)省。
4 j$ F1 N6 G1 k6 r+ q
如圖7所示，在一個擁有648個1600G端口的機架中，選擇不同的光學技術會對功耗產生顯著影響：

銅互連（用于短距離）消耗最少的功率。

線性可插拔光學模塊（LPO）與銅相比，功耗增加5.4%。

線性只接收（LRO）光學技術功耗增加10.8%。

數字信號處理（DSP）光學技術功耗增加16.2%。
6 `; Y; h) P  v! S
當擴展到100,000個XPU（AI加速器）的集群時，功耗影響變得更加顯著。這樣的集群可能需要640萬個1600G光學接口。使用LPO可以比DSP光學技術節(jié)省128 MW的功率 - 光學功耗降低32%。
& H4 n# m% o  ~) q* x
6 i; n5 h5 |! K" ~這些數據突顯了為什么線性光學技術，特別是LPO，正成為解決AI互連功耗挑戰(zhàn)的重要解決方案。
2 T! Z7 P8 P# g/ C8 D# [
光學互連的演進
& Q  X5 T1 [# O; I向更高效的光學互連技術的演進已經持續(xù)多年。讓我們簡要回顧一下光學集成的一些歷史嘗試：
/ k8 I5 \% w" v$ w$ }/ i
圖8：2010年左右的IBM Power 775系統(tǒng)，這是最早使用光電共封裝的系統(tǒng)之一。
- m& v" v. f" V/ k4 i* m! D
  o0 b- l! a! Q$ s+ d& l$ c圖8所示的IBM Power 775是一個創(chuàng)新性的系統(tǒng)，早在2010年就采用了光電共封裝技術。雖然它展示了集成光學互連的潛力，但這類技術的廣泛采用一直受到可制造性和可維護性挑戰(zhàn)的阻礙。
& r0 e( E# i* {9 Y8 O) b8 j4 H- D$ B
0 H6 W2 i" t4 t  c4 R線性可插拔光學模塊（LPO）的興起
鑒于這些挑戰(zhàn)，業(yè)界現在正轉向線性可插拔光學模塊（LPO）作為更實用的解決方案。與基于DSP的光學技術相比，LPO提供了顯著的功耗節(jié)省，同時保持了可插拔模塊的靈活性和可維護性。
+ ^7 @  F8 z( j7 ?! K
為了加速LPO的開發(fā)和采用，十二家行業(yè)領導者組成了LPO多源協(xié)議（MSA）。這一合作旨在為線性可插拔光學模塊制定規(guī)范，112G LPO MSA規(guī)范即將完成，預計將在2024年ECOC大會之前發(fā)布。
) y4 |; Q  u  a% L' L: d+ ?; v
互連技術的未來：超越112G
雖然112G LPO即將面世，但業(yè)界已經在展望224G-PAM4 LPO。這一下一代技術面臨一些挑戰(zhàn)：
1. 通道要求：224G LPO需要干凈、低損耗的電氣通道，理想情況下從芯片到模塊的損耗應小于15 dB。
6 q' g9 H0 w. o& h" S2. Fly-over Cables：為了滿足這些嚴格的通道要求，Fly-over Cables可能會發(fā)揮關鍵作用。這些電纜可以顯著減少通道損耗和干擾。
. ~" ]4 \; @. p7 T. j. y3 s9 R* o
圖9：Fly-over Cables的示例，包括NVLink交換機刀片到NVL72背板的連接，以及Luxshare 224 / 448G CPC互連。
/ p7 {! _7 W; T, m; V. \
* f7 V6 D+ |6 E/ R1 t. }3. 高性能組件：224G LPO將需要先進的高性能跨阻放大器（TIA）和線性驅動器。許多這些組件已經在開發(fā)中。

業(yè)界正在快速發(fā)展，預計在2025年的OFC大會上將有多家廠商展示224G-LPO。這項技術可能特別適用于網絡接口卡（NIC）和AI加速器（XPU），因為這些場景中較短的電氣通道使實施更為簡單。

! d5 _6 G4 z9 B5 ~* l( z& o4 ^對于交換機，較長的電氣通道帶來了更多挑戰(zhàn)，但模擬結果表明，使用飛越電纜可以實現224G-LPO。目前正在進行大量測試，以驗證這些模擬結果并為實際部署做準備。

結論
展望AI互連技術的未來，很明顯線性接口光學技術 - 包括LPO、近封裝光學（NPO）和光電共封裝（CPO） - 代表了前進的方向。這些技術提供了支持下一代AI系統(tǒng)所需的高帶寬和低功耗。
! d2 n( @+ L5 E. z
在這些選項中，LPO因其性能、功耗效率和實用性的結合而脫穎而出。LPO提供了幾乎所有更集成解決方案（如CPO）的功耗優(yōu)勢，同時避免了這些技術在制造和可維護性方面的挑戰(zhàn)，這些挑戰(zhàn)在過去阻礙了其廣泛采用。

AI的快速創(chuàng)新步伐正在推動互連技術的同步快速進步。隨著我們向更快、更高效的系統(tǒng)邁進，硅工藝、高速接口和光學技術的創(chuàng)新將在塑造AI基礎設施的未來中發(fā)揮關鍵作用。
8 M# y2 x( M3 ?  j
" o' u  C; _2 t* {4 u讓互連技術跟上AI指數級增長的挑戰(zhàn)是巨大的，但業(yè)界正在迎接這一挑戰(zhàn)。通過像LPO MSA這樣的協(xié)作努力以及持續(xù)的研發(fā)，我們正在看到新一代互連技術的出現，這些技術有望釋放AI系統(tǒng)的全部潛力。
7 W2 a7 Q) y, b8 ^
隨著我們向前發(fā)展，很明顯AI的未來不僅將由算法和計算能力的進步塑造，還將由將這些系統(tǒng)連接在一起的關鍵互連技術塑造。通過繼續(xù)推動高速、低功耗互連的可能性邊界，可以確�；�礎設施能夠支持下一代AI突破。
* O0 l+ D3 h0 U  d- V$ }7 h
未來展望
+ b4 @& Z  k. ^. u6 i  Y" o進一步的工藝改進：隨著半導體工藝繼續(xù)向更小的節(jié)點發(fā)展，我們可以期待看到更高的能效和更高的集成度。這將為AI系統(tǒng)提供更強大的計算能力，同時保持或降低功耗。

3D集成：三維集成技術可能成為未來互連技術的一個重要方向。通過垂直堆疊芯片，可以顯著減少信號傳輸距離，提高帶寬，降低延遲。

新材料的應用：除了硅，其他材料如氮化鎵（GaN）或碳納米管可能在未來的互連技術中發(fā)揮重要作用，提供更高的性能和能效。

光學技術的進一步集成：雖然LPO目前看來是最實用的解決方案，但長期來看，我們可能會看到更深度集成的光學解決方案，如硅基光電子技術的廣泛應用。

AI輔助設計：AI不僅是這些互連技術的最終用戶，還可能成為設計和優(yōu)化這些技術的工具。AI輔助的電子設計自動化（EDA）工具可能會加速新一代互連技術的開發(fā)。

量子互連：隨著量子計算的發(fā)展，量子互連技術可能成為一個新的研究方向，為未來的量子AI系統(tǒng)提供必要的通信基礎。
* g3 V+ i# g: S: b: s, m[/ol]
參考文獻
[1] Bechtolsheim, "Can Interconnects Keep up with AI?," Arista Networks, Jul. 2024.
% J. V) Z; Y3 a" V- z
! Y: b- F' t$ W; o8 q- END -

軟件申請我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請體驗免費版PIC Studio軟件。無論是研究還是商業(yè)應用，PIC Studio都可提升您的工作效能。
點擊左下角"閱讀原文"馬上申請
: \( c; D- {- d$ u
0 N2 G/ m$ X& g& |3 r歡迎轉載

轉載請注明出處，請勿修改內容和刪除作者信息！

* k5 l! ~* O! k6 r) ~# _
- l) d$ U; `# F" }' i+ J' A/ @* n


% S+ o- d5 B3 J關注我們

  m* D5 q& s1 _: c8 f( [2 E

* o; c4 Y3 |; E% X3 I" n 7 c+ a% r/ l) x, P# i  e

/ Q  |, x$ k4 y# N

                     
7 D, z$ O7 J0 O2 {2 J

$ \7 r! r7 m$ l% I
$ g9 S. {+ h  u, `( g; x( W關于我們：
深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導體芯片設計自動化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設計和仿真軟件，提供成熟的設計解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對光電芯片、微機電系統(tǒng)、超透鏡的設計與仿真。我們提供特色工藝的半導體芯片集成電路版圖、IP和PDK工程服務，廣泛服務于光通訊、光計算、光量子通信和微納光子器件領域的頭部客戶。逍遙科技與國內外晶圓代工廠及硅光/MEMS中試線合作，推動特色工藝半導體產業(yè)鏈發(fā)展，致力于為客戶提供前沿技術與服務。
# i1 y: [+ p9 [3 |% C. N% r3 x
http://www.latitudeda.com/
（點擊上方名片關注我們，發(fā)現更多精彩內容）