人工智能應用中的異構(gòu)集成技術(shù)

逍遙設計自動化

引言
' D. n! C  r$ l: V1 J( Q2022年ChatGPT的推出推動了人工智能應用的快速發(fā)展，促使高性能計算系統(tǒng)需求不斷增長。隨著傳統(tǒng)晶體管縮放速度放緩，半導體行業(yè)已轉(zhuǎn)向通過異構(gòu)集成實現(xiàn)系統(tǒng)級縮放。異構(gòu)集成技術(shù)可將不同類型的芯片（chiplet）組合到統(tǒng)一封裝中，提供更好的性能、更低的互連延遲和更高的能源效率，這些對于數(shù)據(jù)密集型人工智能工作負載都非常重要[1]。
; F2 |0 `. c0 D) b2 C

1 k8 \% k5 W; w6 {- O現(xiàn)有異構(gòu)集成技術(shù)
' R7 d5 S! N# x% h
圖1展示了異構(gòu)集成技術(shù)的全面發(fā)展概況，從2D到3D架構(gòu)的演進，包括MCM、中介層和先進的3D集成方法。

多種異構(gòu)集成技術(shù)已經(jīng)出現(xiàn)，以滿足不同的系統(tǒng)要求：
/ E; x( r0 y8 k# M多芯片模塊(MCM)：作為最早的2D集成方法之一，MCM將chiplet橫向放置在有機基板上以減少線長。雖然實施簡單，但由于使用傳統(tǒng)有機基板和粗糙的焊料基連接技術(shù)，MCM在互連密度方面存在限制。
中介層架構(gòu)：為克服MCM的局限性，采用玻璃或硅中介層的2.5D架構(gòu)可實現(xiàn)更高的互連密度。通過硅通孔(TSV)技術(shù)和細間距微凸點，可以在堆疊芯片之間實現(xiàn)更高的連接密度。但是，為大型人工智能系統(tǒng)擴展中介層的成本較高。
& |) S. C3 b) z& P" [, f橋接基解決方案：英特爾的嵌入式多芯片互連橋(EMIB)等技術(shù)在封裝基板中使用局部硅橋?qū)崿F(xiàn)細間距布線。這種方法無需TSV，同時能實現(xiàn)芯片間的高密度連接。
晶圓級封裝：晶圓級封裝技術(shù)通過扇出芯片I/O信號提供高互連密度和減少延遲。但在熱管理和熱膨脹系數(shù)(CTE)失配方面存在挑戰(zhàn)。

三維集成

圖2說明了不同的3D集成方法，展示了從傳統(tǒng)2D SoC到結(jié)合邏輯和存儲器集成的各種3D架構(gòu)的演進。
& }" @" V" {3 o$ \# W
! N& I/ K( W1 v9 F3D集成是下一代人工智能系統(tǒng)的重要發(fā)展方向。使用TSV技術(shù)和混合鍵合等先進鍵合技術(shù)，3D堆疊實現(xiàn)了超高的集成密度和帶寬。臺積電等公司通過系統(tǒng)級集成芯片(SoIC)技術(shù)已經(jīng)展示了支持超過20 Tbps帶寬的系統(tǒng)。

3D集成的主要優(yōu)勢：
與傳統(tǒng)方法相比，鍵合密度顯著提高
降低電氣寄生效應和功耗
更高的金屬布線密度
通過更薄的鍵合層改善熱性能
0 q$ }- D; R* y' y/ k& p
但仍面臨一些挑戰(zhàn)：
更多堆疊管芯增加了assembly復雜性
# k/ S: O1 M: {" L熱管理更加困難
5 R% _  F/ w. P2 z3 N4 o! g混合鍵合對表面處理要求嚴格
制造成本較高

/ z9 |1 V% R' B人工智能硬件的工業(yè)應用
. U  x9 V! t- U9 M
圖3演示了3D-ICE技術(shù)工藝流程，展示了使用二氧化硅封裝和晶圓鍵合集成多個chiplet的步驟。

9 |9 B  r( |9 _2 \主要半導體公司已在人工智能加速器產(chǎn)品中采用異構(gòu)集成：
Cerebras：WSE-3晶圓級引擎使用臺積電5nm技術(shù)，在單個晶圓上集成4萬億晶體管。
系統(tǒng)可訓練具有24萬億參數(shù)的模型。
NVIDIA：GB200 Grace Blackwell使用臺積電的CoWoS-L封裝技術(shù)組合兩個GPU和一個CPU。
8 o- D. O. X1 S9 T/ S' M目標是處理超過十萬億參數(shù)的大型語言模型，具有384GB內(nèi)存。
AMD：MI300X封裝同時使用中介層技術(shù)和3D堆疊，結(jié)合GPU chiplet、I/O管芯和192GB HBM內(nèi)存。
5 g' W" G  f3 K英特爾：Gaudi-3加速器采用EMIB技術(shù)集成計算管芯和128GB HBM內(nèi)存。

. k* P( Q. S% `1 Z新興玻璃封裝技術(shù)
玻璃封裝由于以下優(yōu)勢，在人工智能應用中備受關(guān)注：
3 `! W* W6 \7 p, T2 U通過低介電常數(shù)實現(xiàn)優(yōu)異的信號完整性
! N" G1 h; f( r/ D6 D: l支持高密度互連
2 d3 y5 k& K* d出色的尺寸穩(wěn)定性
, O& q( A$ r; z" @+ z8 j) |$ g靈活的基板格式選項
與光電集成的兼容性
  M- q! U0 U' }
玻璃的光滑表面使其能夠?qū)崿F(xiàn)非常精細的線條和間距，而其Si-O表面結(jié)構(gòu)促進了與各種材料的良好粘附。玻璃核心封裝還可以通過銅結(jié)構(gòu)和先進的熱界面材料整合熱管理解決方案。
7 H& }+ a3 X( g
結(jié)論
( r+ o" z9 J$ E' ?異構(gòu)集成技術(shù)已超越傳統(tǒng)縮放限制，推進人工智能硬件能力的發(fā)展。從2.5D中介層到先進的3D堆疊和新興的玻璃封裝解決方案，這些方法實現(xiàn)了下一代人工智能系統(tǒng)所需的高帶寬、低延遲和能源效率。在熱管理和制造成本等方面仍存在挑戰(zhàn)，但異構(gòu)集成技術(shù)的持續(xù)創(chuàng)新將滿足人工智能應用不斷增長的需求。

" K* n7 A. Q$ y參考文獻
* r5 T! [" j; d[1] M. Manley et al., "Heterogeneous Integration Technologies for Artificial Intelligence Applications," IEEE Journal on Exploratory Solid-State Computational Devices and Circuits, vol. 10, pp. 89-97, 2024, doi: 10.1109/JXCDC.2024.3484958.
( S; J7 P4 f9 K# j% \8 P
1 X6 ?2 a) o6 z7 K2 U" iEND
/ _2 r; [, _5 D6 i# s5 p$ _8 a

軟件申請我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請體驗免費版PIC Studio軟件。無論是研究還是商業(yè)應用，PIC Studio都可提升您的工作效能。
點擊左下角"閱讀原文"馬上申請

6 S( l8 Y  i* E2 a: E( A歡迎轉(zhuǎn)載

轉(zhuǎn)載請注明出處，請勿修改內(nèi)容和刪除作者信息！
4 D  T% c1 }. C9 [7 F, z
" X2 X# F- t  V; Q. C% ~

0 N6 S8 g$ }3 K1 Y8 Q

6 f4 Z' G7 V) |7 k關(guān)注我們
* V% I: P- ~& b; s& Z' {
1 C  d0 d, y# n6 a3 s  X

3 E1 ~7 H, C2 p; l" {0 A1 \  P% U

' g; {2 K  }& w+ w& j! p

# G6 F/ H) J1 N9 |" B7 q: p

                     


- }* y/ s- y  K) H1 u1 R
$ M) i+ _- |/ i: \8 d關(guān)于我們：
( v4 [7 r! M3 y" J深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導體芯片設計自動化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設計和仿真軟件，提供成熟的設計解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對光電芯片、微機電系統(tǒng)、超透鏡的設計與仿真。我們提供特色工藝的半導體芯片集成電路版圖、IP和PDK工程服務，廣泛服務于光通訊、光計算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動特色工藝半導體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務。
6 [, W. `) z+ }$ I
' w0 o1 m* }, `, e; ahttp://www.latitudeda.com/
（點擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）