HBM：大型語言模型計算芯片的最佳拍檔

逍遙設計自動化

引言隨著生成式 AI 的爆炸性增長，HBM（高帶寬內(nèi)存）這個詞也逐漸為人所熟知。如今絕大多數(shù)的生成式 AI，參數(shù)量動輒數(shù)百、數(shù)千億個，其計算架構普遍采用馮·諾伊曼架構——即數(shù)據(jù)的存儲位置與運算核心分開，需要時再做數(shù)據(jù)的遷移。然而，隨著搬運億級參數(shù)量來往運算核心與存儲位置的代價遠遠超過數(shù)據(jù)運算本身的耗能及時間，導致整個模型的運算效率被嚴重拖累，這就是“馮·諾伊曼瓶頸”或“內(nèi)存墻”[1]。因此，擁有高帶寬、能夠在單位時間內(nèi)存取大量數(shù)據(jù)的 HBM 成為了大型語言模型計算芯片的絕佳解決方案。



HBM，突破傳統(tǒng) DRAM 的瓶頸HBM 并沒有突破馮·諾伊曼架構，但它一定程度解決了傳統(tǒng) DRAM（DDR、GDDR、LPDDR）帶寬、容量、功耗不能兼?zhèn)涞膯栴} [2]。

1. 內(nèi)存帶寬 = I/O 速率（數(shù)據(jù)速率）x 總通道寬度（channel width）。傳統(tǒng) DRAM 如 DDR4、GDDR 著力于提升內(nèi)存頻率以提升內(nèi)存帶寬，例如 array 微縮、prefetch 技術等等；HBM 則是更著重于提升通道寬度來達到更高的內(nèi)存帶寬。雖然 GDDR 相比于 DDR 在通道寬度上也是有所提升，但由于 GDDR 本質(zhì)上還是通過 PCB 載板上的布線與 GPU 做數(shù)據(jù)交換，通道寬度的提升受到一定程度限制，再者，GDDR 高帶寬下的犧牲是有限的容量。
" r* {; ?8 c8 I2.  HBM 則采用 TSV 技術堆疊 DRAM die 以大幅提升 I/O 數(shù)，再配合 2.5D 先進封裝制程。在維持較低內(nèi)存頻率的同時達到更加顯著的總通道寬度提升，魚與熊掌兼得地具備高帶寬、高容量、低功耗：TSV：直接在內(nèi)存芯片上面鉆孔并制成導線通道，并利用 bump 將一片一片的 die 堆疊起來，此法大幅增加 I/O 數(shù)量同時實現(xiàn)更高的容量。例如 HBM3E 之前的世代均具 1024 位元寬，是傳統(tǒng)內(nèi)存 32/64 位元的數(shù)十倍之多。2.5D 封裝（CoWoS）：HBM 的 DRAM die 與 GPU 利用 2.5D 封裝在一片硅中介板上，大幅縮短數(shù)據(jù)傳遞路徑并消耗更少的能源。
HBM的挑戰(zhàn)HBM 就像所有名牌奢侈品一樣，貴、稀少又難照顧。

價格高昂：根據(jù)調(diào)研機構 Yole，HBM 芯片的平均售價比傳統(tǒng) DRAM 芯片高出五倍之多 [3]。

產(chǎn)能不足：時下產(chǎn)能嚴重不足，截至 2024 年底所有的產(chǎn)能皆已滿載。

散熱難題：由于 HBM 中內(nèi)存 die 的堆疊結構，隨著高帶寬高容量而來的就是散熱的難題。若有更好的方法處理 HBM 產(chǎn)生的熱量，說不定能在 HBM 上用上更高的內(nèi)存頻率，藉此再將其帶寬推升一步。
- U: W$ h) ?; s
HBM 市場概況及發(fā)展市場份額：HBM 的市場份額主要由內(nèi)存的三大巨頭 SK Hynix （SKH）、Samsung、Micron 占據(jù)。技術演進：在 JEDEC 規(guī)范下 HBM1 到 HBM3E 的匯流排寬度一直都維持在 1024 bit，主要規(guī)格演進還是在 I/O 速率的增加及堆疊層數(shù)增加上。未來發(fā)展：未來的 HBM 還是會繼續(xù)追加更高的 I/O 速率及更高層數(shù)的堆疊以達到更高帶寬及容量。在 HBM 是以堆疊 DRAM die 為結構的基礎下，三大廠間的角力從 DRAM 的制程微縮拓展到 TSV 技術與先進封裝技術的競賽 [4]。



% B- I" j& y4 A: W8 Y0 {

" r, i/ v* O8 s, vHBM4 的未來展望更大的通道寬度：時下的 HBM 效能顯然還不夠用。未來 HBM4 可能會應用上 2048 位元的通道。技術挑戰(zhàn)：在有限的芯片面積下增加硅通孔數(shù)量與鍵結凸塊數(shù)目并縮小鍵結凸塊間距/大小將是一個不小的挑戰(zhàn)。更多可能性：未來 HBM 的競爭格局已不再局限于單純的制程微縮，還有更多的可能性值得去探索，例如發(fā)展更先進的 die 堆疊技術以及芯片硬件架構上根本的進化。
7 P8 n/ a! @% x' x  Q: v
1 a0 ~# t' J/ d7 l

結語接下來的十年，AI 相關芯片的發(fā)展將會是半導體產(chǎn)業(yè)最大的驅動力，而 HBM 在馮·諾伊曼架構下始終是目前的最優(yōu)解，勢必也會隨著 logic 的腳步趨于客制化。盡管現(xiàn)在 SKH 領導 HBM 市場，但未必不會出現(xiàn)后來居上的黑馬。讓我們拭目以待！
參考來源[1]https://www.techtarget.com/whatis/definition/von-Neumann-bottleneck[2]https://news.skhynix.com/semiconductor-back-end-process-episode-4-packages-part-2/[3]https://www.techpowerup.com/322151/hbm-prices-to-increase-by-5-10-in-2025-accounting-for-over-30-of-total-dram-value[4]https://seekingalpha.com/article/4701346-micron-benefiting-from-strong-ai-based-hbm-packaging-growth
0 d+ ], D8 _# X/ s& B4 M# j9 {- END -
7 S7 T/ D$ R2 m
軟件申請我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請體驗免費版PIC Studio軟件。無論是研究還是商業(yè)應用，PIC Studio都可提升您的工作效能。
9 J; _" m$ @4 I! w0 U% |點擊左下角"閱讀原文"馬上申請

歡迎轉載

. Q& J8 m( w8 z' l! N! f% X轉載請注明出處，請勿修改內(nèi)容和刪除作者信息！
$ B) H# {& u* U- X6 ^
" i/ C# F( W. e# _( u. E
: R  o, k1 a9 g  H4 \
  G7 q+ U* {' W+ w
7 X8 g7 z& d" S* h% \. }
關注我們
" Y( h) D" P5 _/ [1 E  `# p  d3 B
& ~  l$ a7 a8 E/ e  ?) ~0 |

( n2 m  K, Y# v3 `

; k5 R% a) ]3 k

                     


' a; y. m+ J: l

- h" h. f; w& B: w6 b! S

' b  ^% `$ x& f關于我們：
深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導體芯片設計自動化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設計和仿真軟件，提供成熟的設計解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對光電芯片、微機電系統(tǒng)、超透鏡的設計與仿真。我們提供特色工藝的半導體芯片集成電路版圖、IP和PDK工程服務，廣泛服務于光通訊、光計算、光量子通信和微納光子器件領域的頭部客戶。逍遙科技與國內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動特色工藝半導體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術與服務。
+ ?! N3 D# O/ e  O1 j
6 N! C* ^) X; V& Y/ `http://www.latitudeda.com/
' N4 B- K) F; y! l" r; D+ l（點擊上方名片關注我們，發(fā)現(xiàn)更多精彩內(nèi)容）