人工智能應(yīng)用中的異構(gòu)集成技術(shù)

逍遙設(shè)計(jì)自動(dòng)化

引言
  i- ]1 _  Z/ D) p! X2022年ChatGPT的推出推動(dòng)了人工智能應(yīng)用的快速發(fā)展，促使高性能計(jì)算系統(tǒng)需求不斷增長(zhǎng)。隨著傳統(tǒng)晶體管縮放速度放緩，半導(dǎo)體行業(yè)已轉(zhuǎn)向通過(guò)異構(gòu)集成實(shí)現(xiàn)系統(tǒng)級(jí)縮放。異構(gòu)集成技術(shù)可將不同類(lèi)型的芯片（chiplet）組合到統(tǒng)一封裝中，提供更好的性能、更低的互連延遲和更高的能源效率，這些對(duì)于數(shù)據(jù)密集型人工智能工作負(fù)載都非常重要[1]。
! g8 B% o, H0 r+ ~* f/ z

現(xiàn)有異構(gòu)集成技術(shù)

8 D2 r' Y6 ~- r0 Y+ D" O圖1展示了異構(gòu)集成技術(shù)的全面發(fā)展概況，從2D到3D架構(gòu)的演進(jìn)，包括MCM、中介層和先進(jìn)的3D集成方法。
, {* l* Y, u% {' u+ [
多種異構(gòu)集成技術(shù)已經(jīng)出現(xiàn)，以滿(mǎn)足不同的系統(tǒng)要求：
6 N  W+ K4 z" u多芯片模塊(MCM)：作為最早的2D集成方法之一，MCM將chiplet橫向放置在有機(jī)基板上以減少線(xiàn)長(zhǎng)。雖然實(shí)施簡(jiǎn)單，但由于使用傳統(tǒng)有機(jī)基板和粗糙的焊料基連接技術(shù)，MCM在互連密度方面存在限制。
中介層架構(gòu)：為克服MCM的局限性，采用玻璃或硅中介層的2.5D架構(gòu)可實(shí)現(xiàn)更高的互連密度。通過(guò)硅通孔(TSV)技術(shù)和細(xì)間距微凸點(diǎn)，可以在堆疊芯片之間實(shí)現(xiàn)更高的連接密度。但是，為大型人工智能系統(tǒng)擴(kuò)展中介層的成本較高。
橋接基解決方案：英特爾的嵌入式多芯片互連橋(EMIB)等技術(shù)在封裝基板中使用局部硅橋?qū)崿F(xiàn)細(xì)間距布線(xiàn)。這種方法無(wú)需TSV，同時(shí)能實(shí)現(xiàn)芯片間的高密度連接。
1 i7 ?* y; V: o5 I8 M晶圓級(jí)封裝：晶圓級(jí)封裝技術(shù)通過(guò)扇出芯片I/O信號(hào)提供高互連密度和減少延遲。但在熱管理和熱膨脹系數(shù)(CTE)失配方面存在挑戰(zhàn)。
. n. @; A6 q) A, y1 M
. @! T; |$ r, l$ ?三維集成
# f% M7 k0 S$ t- O' [
圖2說(shuō)明了不同的3D集成方法，展示了從傳統(tǒng)2D SoC到結(jié)合邏輯和存儲(chǔ)器集成的各種3D架構(gòu)的演進(jìn)。

3D集成是下一代人工智能系統(tǒng)的重要發(fā)展方向。使用TSV技術(shù)和混合鍵合等先進(jìn)鍵合技術(shù)，3D堆疊實(shí)現(xiàn)了超高的集成密度和帶寬。臺(tái)積電等公司通過(guò)系統(tǒng)級(jí)集成芯片(SoIC)技術(shù)已經(jīng)展示了支持超過(guò)20 Tbps帶寬的系統(tǒng)。

# z: J, h" v9 d' P9 W7 \( v3D集成的主要優(yōu)勢(shì)：
2 F7 D. T. x& C: F! m與傳統(tǒng)方法相比，鍵合密度顯著提高
& h% m5 U. n) I降低電氣寄生效應(yīng)和功耗
$ H! M5 V7 I1 s; n  N' C4 g0 `+ s更高的金屬布線(xiàn)密度
通過(guò)更薄的鍵合層改善熱性能
! T1 x0 G9 i2 ~9 o( j* F1 q
# {* e. i4 u8 ]' a2 k% e% P但仍面臨一些挑戰(zhàn)：
更多堆疊管芯增加了assembly復(fù)雜性
, L: g0 ]+ _% Z5 S熱管理更加困難
混合鍵合對(duì)表面處理要求嚴(yán)格
制造成本較高
) K  [, @% a+ W1 \+ q4 K+ }
人工智能硬件的工業(yè)應(yīng)用

! `  {4 F6 p7 @6 [& M* G6 d! ^圖3演示了3D-ICE技術(shù)工藝流程，展示了使用二氧化硅封裝和晶圓鍵合集成多個(gè)chiplet的步驟。
" S2 ]$ S8 G' V8 X
3 q  x! L) b7 x1 C主要半導(dǎo)體公司已在人工智能加速器產(chǎn)品中采用異構(gòu)集成：
8 D6 o  N; e+ lCerebras：WSE-3晶圓級(jí)引擎使用臺(tái)積電5nm技術(shù)，在單個(gè)晶圓上集成4萬(wàn)億晶體管。
5 R- V) Q2 X& b8 B系統(tǒng)可訓(xùn)練具有24萬(wàn)億參數(shù)的模型。
4 q8 M# F' C8 s$ l4 O3 xNVIDIA：GB200 Grace Blackwell使用臺(tái)積電的CoWoS-L封裝技術(shù)組合兩個(gè)GPU和一個(gè)CPU。
$ V! C# {7 ?2 J: K3 D: p# [2 Q7 b" ~目標(biāo)是處理超過(guò)十萬(wàn)億參數(shù)的大型語(yǔ)言模型，具有384GB內(nèi)存。
/ m% {1 j9 f6 P8 t: p$ o5 P: t. GAMD：MI300X封裝同時(shí)使用中介層技術(shù)和3D堆疊，結(jié)合GPU chiplet、I/O管芯和192GB HBM內(nèi)存。
英特爾：Gaudi-3加速器采用EMIB技術(shù)集成計(jì)算管芯和128GB HBM內(nèi)存。

新興玻璃封裝技術(shù)
9 o; \! \! Q8 @1 X# y( l" W玻璃封裝由于以下優(yōu)勢(shì)，在人工智能應(yīng)用中備受關(guān)注：
5 h7 s4 |& ]- w* Z通過(guò)低介電常數(shù)實(shí)現(xiàn)優(yōu)異的信號(hào)完整性
' B9 ~* H9 i+ b支持高密度互連
出色的尺寸穩(wěn)定性
靈活的基板格式選項(xiàng)
與光電集成的兼容性

玻璃的光滑表面使其能夠?qū)崿F(xiàn)非常精細(xì)的線(xiàn)條和間距，而其Si-O表面結(jié)構(gòu)促進(jìn)了與各種材料的良好粘附。玻璃核心封裝還可以通過(guò)銅結(jié)構(gòu)和先進(jìn)的熱界面材料整合熱管理解決方案。
; n* i  m" T+ V9 m  s
8 ~5 W% e. ]8 `" x結(jié)論
異構(gòu)集成技術(shù)已超越傳統(tǒng)縮放限制，推進(jìn)人工智能硬件能力的發(fā)展。從2.5D中介層到先進(jìn)的3D堆疊和新興的玻璃封裝解決方案，這些方法實(shí)現(xiàn)了下一代人工智能系統(tǒng)所需的高帶寬、低延遲和能源效率。在熱管理和制造成本等方面仍存在挑戰(zhàn)，但異構(gòu)集成技術(shù)的持續(xù)創(chuàng)新將滿(mǎn)足人工智能應(yīng)用不斷增長(zhǎng)的需求。

6 Z) T0 g8 L3 Q參考文獻(xiàn)
[1] M. Manley et al., "Heterogeneous Integration Technologies for Artificial Intelligence Applications," IEEE Journal on Exploratory Solid-State Computational Devices and Circuits, vol. 10, pp. 89-97, 2024, doi: 10.1109/JXCDC.2024.3484958.
2 T5 V* _& z3 o7 G2 O: Z% }3 G
END

; B7 r2 y2 @3 d, B4 l- n
軟件申請(qǐng)我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請(qǐng)?bào)w驗(yàn)免費(fèi)版PIC Studio軟件。無(wú)論是研究還是商業(yè)應(yīng)用，PIC Studio都可提升您的工作效能。
點(diǎn)擊左下角"閱讀原文"馬上申請(qǐng)
- I( b& b& {6 L: ]
0 ^! k' `: H% |1 Q, J, z1 A. D歡迎轉(zhuǎn)載

轉(zhuǎn)載請(qǐng)注明出處，請(qǐng)勿修改內(nèi)容和刪除作者信息！




) j% g5 t# q9 K
; y$ P; c" G2 }& P8 [+ ]關(guān)注我們
  ^' ~6 R- ]+ K; m2 {
6 [4 i7 z0 d" o. @0 U$ K+ G

1 v( l; e- ]* a4 M1 L

( C6 f5 d7 _/ u% p

* F  j9 L/ i4 {; G( W

                     



關(guān)于我們：
深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專(zhuān)注于半導(dǎo)體芯片設(shè)計(jì)自動(dòng)化（EDA）的高科技軟件公司。我們自主開(kāi)發(fā)特色工藝芯片設(shè)計(jì)和仿真軟件，提供成熟的設(shè)計(jì)解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對(duì)光電芯片、微機(jī)電系統(tǒng)、超透鏡的設(shè)計(jì)與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù)，廣泛服務(wù)于光通訊、光計(jì)算、光量子通信和微納光子器件領(lǐng)域的頭部客戶(hù)。逍遙科技與國(guó)內(nèi)外晶圓代工廠(chǎng)及硅光/MEMS中試線(xiàn)合作，推動(dòng)特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶(hù)提供前沿技術(shù)與服務(wù)。
+ E1 `) s2 T% @5 ]. |2 o: t
http://www.latitudeda.com/
（點(diǎn)擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）