HBM：大型語(yǔ)言模型計(jì)算芯片的最佳拍檔

逍遙設(shè)計(jì)自動(dòng)化

引言隨著生成式 AI 的爆炸性增長(zhǎng)，HBM（高帶寬內(nèi)存）這個(gè)詞也逐漸為人所熟知。如今絕大多數(shù)的生成式 AI，參數(shù)量動(dòng)輒數(shù)百、數(shù)千億個(gè)，其計(jì)算架構(gòu)普遍采用馮·諾伊曼架構(gòu)——即數(shù)據(jù)的存儲(chǔ)位置與運(yùn)算核心分開(kāi)，需要時(shí)再做數(shù)據(jù)的遷移。然而，隨著搬運(yùn)億級(jí)參數(shù)量來(lái)往運(yùn)算核心與存儲(chǔ)位置的代價(jià)遠(yuǎn)遠(yuǎn)超過(guò)數(shù)據(jù)運(yùn)算本身的耗能及時(shí)間，導(dǎo)致整個(gè)模型的運(yùn)算效率被嚴(yán)重拖累，這就是“馮·諾伊曼瓶頸”或“內(nèi)存墻”[1]。因此，擁有高帶寬、能夠在單位時(shí)間內(nèi)存取大量數(shù)據(jù)的 HBM 成為了大型語(yǔ)言模型計(jì)算芯片的絕佳解決方案。


+ x5 ?' O0 ?/ Y% x* d: G
$ `0 |5 I0 P" D5 A  B( MHBM，突破傳統(tǒng) DRAM 的瓶頸HBM 并沒(méi)有突破馮·諾伊曼架構(gòu)，但它一定程度解決了傳統(tǒng) DRAM（DDR、GDDR、LPDDR）帶寬、容量、功耗不能兼?zhèn)涞膯?wèn)題 [2]。

' ~7 S  s8 B+ X2 x; i5 w6 ^# w1. 內(nèi)存帶寬 = I/O 速率（數(shù)據(jù)速率）x 總通道寬度（channel width）。傳統(tǒng) DRAM 如 DDR4、GDDR 著力于提升內(nèi)存頻率以提升內(nèi)存帶寬，例如 array 微縮、prefetch 技術(shù)等等；HBM 則是更著重于提升通道寬度來(lái)達(dá)到更高的內(nèi)存帶寬。雖然 GDDR 相比于 DDR 在通道寬度上也是有所提升，但由于 GDDR 本質(zhì)上還是通過(guò) PCB 載板上的布線與 GPU 做數(shù)據(jù)交換，通道寬度的提升受到一定程度限制，再者，GDDR 高帶寬下的犧牲是有限的容量。
3 _/ Q2 G5 q! N7 F2.  HBM 則采用 TSV 技術(shù)堆疊 DRAM die 以大幅提升 I/O 數(shù)，再配合 2.5D 先進(jìn)封裝制程。在維持較低內(nèi)存頻率的同時(shí)達(dá)到更加顯著的總通道寬度提升，魚(yú)與熊掌兼得地具備高帶寬、高容量、低功耗：TSV：直接在內(nèi)存芯片上面鉆孔并制成導(dǎo)線通道，并利用 bump 將一片一片的 die 堆疊起來(lái)，此法大幅增加 I/O 數(shù)量同時(shí)實(shí)現(xiàn)更高的容量。例如 HBM3E 之前的世代均具 1024 位元寬，是傳統(tǒng)內(nèi)存 32/64 位元的數(shù)十倍之多。2.5D 封裝（CoWoS）：HBM 的 DRAM die 與 GPU 利用 2.5D 封裝在一片硅中介板上，大幅縮短數(shù)據(jù)傳遞路徑并消耗更少的能源。
! b/ m6 r9 ~' |; W$ n0 uHBM的挑戰(zhàn)HBM 就像所有名牌奢侈品一樣，貴、稀少又難照顧。

價(jià)格高昂：根據(jù)調(diào)研機(jī)構(gòu) Yole，HBM 芯片的平均售價(jià)比傳統(tǒng) DRAM 芯片高出五倍之多 [3]。

產(chǎn)能不足：時(shí)下產(chǎn)能嚴(yán)重不足，截至 2024 年底所有的產(chǎn)能皆已滿載。

散熱難題：由于 HBM 中內(nèi)存 die 的堆疊結(jié)構(gòu)，隨著高帶寬高容量而來(lái)的就是散熱的難題。若有更好的方法處理 HBM 產(chǎn)生的熱量，說(shuō)不定能在 HBM 上用上更高的內(nèi)存頻率，藉此再將其帶寬推升一步。
) Z5 U; {$ @, ^7 h* Y3 E8 [
% c$ h# q' L3 H$ H3 k( Y  N9 T1 tHBM 市場(chǎng)概況及發(fā)展市場(chǎng)份額：HBM 的市場(chǎng)份額主要由內(nèi)存的三大巨頭 SK Hynix （SKH）、Samsung、Micron 占據(jù)。技術(shù)演進(jìn)：在 JEDEC 規(guī)范下 HBM1 到 HBM3E 的匯流排寬度一直都維持在 1024 bit，主要規(guī)格演進(jìn)還是在 I/O 速率的增加及堆疊層數(shù)增加上。未來(lái)發(fā)展：未來(lái)的 HBM 還是會(huì)繼續(xù)追加更高的 I/O 速率及更高層數(shù)的堆疊以達(dá)到更高帶寬及容量。在 HBM 是以堆疊 DRAM die 為結(jié)構(gòu)的基礎(chǔ)下，三大廠間的角力從 DRAM 的制程微縮拓展到 TSV 技術(shù)與先進(jìn)封裝技術(shù)的競(jìng)賽 [4]。
9 `: S; g- m% c8 T4 e3 k' m+ [
7 s+ ]8 n& j9 \; F
; K% i" P& M4 O( W! H# I
7 Q. I2 ~0 j+ L8 Q2 w, g

" z# n+ y0 l$ Q" U3 nHBM4 的未來(lái)展望更大的通道寬度：時(shí)下的 HBM 效能顯然還不夠用。未來(lái) HBM4 可能會(huì)應(yīng)用上 2048 位元的通道。技術(shù)挑戰(zhàn)：在有限的芯片面積下增加硅通孔數(shù)量與鍵結(jié)凸塊數(shù)目并縮小鍵結(jié)凸塊間距/大小將是一個(gè)不小的挑戰(zhàn)。更多可能性：未來(lái) HBM 的競(jìng)爭(zhēng)格局已不再局限于單純的制程微縮，還有更多的可能性值得去探索，例如發(fā)展更先進(jìn)的 die 堆疊技術(shù)以及芯片硬件架構(gòu)上根本的進(jìn)化。

" V5 b1 {* i/ v/ ?

結(jié)語(yǔ)接下來(lái)的十年，AI 相關(guān)芯片的發(fā)展將會(huì)是半導(dǎo)體產(chǎn)業(yè)最大的驅(qū)動(dòng)力，而 HBM 在馮·諾伊曼架構(gòu)下始終是目前的最優(yōu)解，勢(shì)必也會(huì)隨著 logic 的腳步趨于客制化。盡管現(xiàn)在 SKH 領(lǐng)導(dǎo) HBM 市場(chǎng)，但未必不會(huì)出現(xiàn)后來(lái)居上的黑馬。讓我們拭目以待！
參考來(lái)源[1]https://www.techtarget.com/whatis/definition/von-Neumann-bottleneck[2]https://news.skhynix.com/semiconductor-back-end-process-episode-4-packages-part-2/[3]https://www.techpowerup.com/322151/hbm-prices-to-increase-by-5-10-in-2025-accounting-for-over-30-of-total-dram-value[4]https://seekingalpha.com/article/4701346-micron-benefiting-from-strong-ai-based-hbm-packaging-growth
- END -

軟件申請(qǐng)我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請(qǐng)?bào)w驗(yàn)免費(fèi)版PIC Studio軟件。無(wú)論是研究還是商業(yè)應(yīng)用，PIC Studio都可提升您的工作效能。
6 p  C! A( d7 C# C點(diǎn)擊左下角"閱讀原文"馬上申請(qǐng)
/ g5 E% T' g, K
歡迎轉(zhuǎn)載
7 F! ?( t( ~; M7 d
轉(zhuǎn)載請(qǐng)注明出處，請(qǐng)勿修改內(nèi)容和刪除作者信息！
/ x9 m  ]2 b+ L  d* |* |5 m( S; h




關(guān)注我們
5 z& ~9 x3 d) V: [6 q7 n
1 @5 v" @; L* i

: G, Z+ ^8 T2 s4 G/ j * n; V$ Q. Y1 ]6 ~0 L: ?

                     
& ?7 `1 U' o( G3 j2 I


+ U. Q) P0 R0 y' \" n9 o5 ?. }/ f


, l1 y2 F5 L9 }關(guān)于我們：
8 ?5 n8 y$ k1 _% |6 ^5 O- [深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導(dǎo)體芯片設(shè)計(jì)自動(dòng)化（EDA）的高科技軟件公司。我們自主開(kāi)發(fā)特色工藝芯片設(shè)計(jì)和仿真軟件，提供成熟的設(shè)計(jì)解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對(duì)光電芯片、微機(jī)電系統(tǒng)、超透鏡的設(shè)計(jì)與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù)，廣泛服務(wù)于光通訊、光計(jì)算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國(guó)內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動(dòng)特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務(wù)。
( N% _! Y- ]8 O7 e0 A8 l
0 \' l! u3 c  X7 P/ g9 d5 dhttp://www.latitudeda.com/
（點(diǎn)擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）