Hot Chips 2024 | IBM Telum II 處理器和 Spyre 加速器推動(dòng)企業(yè)計(jì)算中的人工智能發(fā)展

逍遙設(shè)計(jì)自動(dòng)化

引言
在企業(yè)計(jì)算領(lǐng)域不斷演進(jìn)的背景下，IBM 通過其最新產(chǎn)品——IBM Telum II 處理器和 IBM Spyre 加速器芯片繼續(xù)推動(dòng)創(chuàng)新的邊界。這些尖端技術(shù)旨在滿足商業(yè)應(yīng)用中人工智能（AI）日益增長(zhǎng)的需求，提供性能、效率和安全性。本文將幫助了解這些新技術(shù)的細(xì)節(jié)及其潛在影響，探討這些創(chuàng)新如何改變企業(yè)計(jì)算格局。
$ O; K9 F+ j* u$ F4 O: d
+ \, n' k* n* k* r; c; H- D* t7 p
IBM 大型機(jī)的力量
: @, n. q, j6 G3 S, z# @在深入探討新硬件的具體細(xì)節(jié)之前，了解 IBM 大型機(jī)在當(dāng)今金融生態(tài)系統(tǒng)中的關(guān)鍵作用非常必要。根據(jù)最新研究，估計(jì) 70% 的全球交易（按價(jià)值計(jì)算）通過 IBM 大型機(jī)進(jìn)行處理。這一驚人的統(tǒng)計(jì)數(shù)據(jù)凸顯了大型機(jī)技術(shù)持續(xù)創(chuàng)新對(duì)支持全球經(jīng)濟(jì)的重要性。
3 V9 j+ Z( m" z% m
此外，IBM 大型機(jī)以可靠性著稱，可用率高達(dá) 99.999999%。這種可靠性對(duì)于需要持續(xù)運(yùn)行且無(wú)法承受系統(tǒng)故障的企業(yè)來(lái)說極為關(guān)鍵。


' {# {; J8 Y1 \* @IBM Telum II 處理器簡(jiǎn)介
" h0 h; D( K* o$ \IBM Telum II 處理器代表了大型機(jī)計(jì)算技術(shù)的重大飛躍。設(shè)計(jì)用于支持每秒數(shù)百萬(wàn)次交易的 AI 處理，這一能力在當(dāng)今數(shù)據(jù)驅(qū)動(dòng)的商業(yè)環(huán)境中變得越來(lái)越重要。
8 Y2 D. U" Y" K; y2 z  l: l2 W. n/ U, _: q
6 ~6 X/ t4 ]" o0 \* TTelum II 的主要特點(diǎn)
, O4 Q0 ~3 d' l1. 增強(qiáng)的中央計(jì)算復(fù)合體：Telum II 比前代產(chǎn)品有多項(xiàng)改進(jìn)，包括：

分支預(yù)測(cè)增強(qiáng)

重命名寄存器容量增加（從 128 增至 160）

改進(jìn)的存儲(chǔ)回寫和地址轉(zhuǎn)換

面積減少 20%

功耗降低 15%

5 E8 @& n6 p+ ~: ~1 M  ?3 j2. 擴(kuò)展的緩存系統(tǒng)：處理器具有：
/ F( b- N8 ?# F  W9 Z

10 個(gè) L2 緩存，每個(gè) 36MB，訪問時(shí)間 3.6ns

360MB 虛擬 L3 緩存，訪問時(shí)間 11.5ns

2.8GB 虛擬 L4 緩存，訪問時(shí)間 48.5ns

片外帶寬提高 30%

Drawer 到 Drawer 的加密，增強(qiáng)安全性



圖 1：說明 Telum II 中央計(jì)算復(fù)合體和 L2 緩存系統(tǒng)的改進(jìn)，突出了處理能力和內(nèi)存訪問的顯著增強(qiáng)。

3. 先進(jìn)的制造工藝：Telum II 采用 5nm 技術(shù)制造，實(shí)現(xiàn)：
. z" t" `" D+ f+ ]0 i

每核心最高 5.5 GHz 時(shí)鐘速度

插槽性能提升 20%

處理器功耗降低 18%

4. 創(chuàng)新的電壓控制：處理器incorporates一個(gè)復(fù)雜的電壓控制回路系統(tǒng)，包括：

細(xì)粒度電壓測(cè)量線路

工作負(fù)載監(jiān)控功能

與電源轉(zhuǎn)換子系統(tǒng)緊密耦合
! \" R% j0 H; A; f- y/ F$ c' T* y6 Z


圖 2：展示Telum II 電壓控制回路實(shí)現(xiàn)的效率提升，說明在各種工作負(fù)載利用率下的較低功耗。
9 g& |& L; O3 Y( d1 R( K
5. 片上數(shù)據(jù)處理單元（DPU）：Telum II 具有專用 DPU 用于 I/O 加速，包括：
2 {  I; N3 U+ W  x

4 個(gè)處理集群

每個(gè)集群 8 個(gè)定制微控制器

與整體緩存系統(tǒng)的連貫連接

專用 I/O 加速邏輯

隊(duì)列管理器，用于高效的工作調(diào)度和傳輸
! Z' _% Q5 K( j% \$ a4 r9 {$ y
4 x! m) z* w; k5 k! L


6 F9 K! y: Y3 S" N* n0 t9 G; Y圖 3：概述片上數(shù)據(jù)處理單元（DPU）的結(jié)構(gòu)，突出其組件和互連，用于高效的 I/O 處理。
! F) |2 w  z  b9 s
1 m: T4 C4 p! r( v) J' J# c6 T6. 大規(guī)模擴(kuò)展 I/O 子系統(tǒng)：Telum II 支持：
' X( s  s: L3 j3 f9 k

在一個(gè)連貫的 SMP 系統(tǒng)中最多 32 個(gè)處理器

12 個(gè) I/O 擴(kuò)展 Drawer，每個(gè)有 16 個(gè) PCIe 插槽

單個(gè)系統(tǒng)中總共最多 192 個(gè) PCIe 卡
# x: J/ f- I% B5 G+ `, B! [
, }: {) {/ [0 i6 U; Z: h/ W0 hTelum II 中的 AI 加速
3 `4 Q  Z( K+ d. nTelum II 最顯著的進(jìn)步之一是其增強(qiáng)的 AI 能力。處理器包含針對(duì)傳統(tǒng) AI 模型優(yōu)化的片上 AI 加速器，能夠支持各種企業(yè)用例：
% A4 P9 Z- B! n2 @% i6 X

清算結(jié)算

合規(guī)檢查

保險(xiǎn)理賠處理

欺詐檢測(cè)
( D0 u! {: A* E& f" q( c  Z. \
6 J. m$ Q( m+ q1 a+ F9 @& BTelum II 中的 AI 加速器提供：

每芯片 24 TOPS（每秒萬(wàn)億次運(yùn)算）

每 Drawer 192 TOPS

每系統(tǒng) 768 TOPS

作為 CISC 指令集成，實(shí)現(xiàn)無(wú)縫操作

支持 INT8 和 FP16 數(shù)據(jù)類型
, F% }% x$ ?0 p& v' E
; b$ X7 p8 `5 A' b0 {) g) }
- C  _6 e9 `( m7 c2 |7 k, D  R; }. Q
圖 4：展示Telum II 處理器的 AI 加速能力，突出其 TOPS 性能和系統(tǒng)集成。
IBM Spyre 加速器簡(jiǎn)介
* Q9 V% C7 F* |4 \' z6 }* C6 n% {6 xTelum II 的片上 AI 加速器令人印象深刻，但 IBM 通過引入 IBM Spyre 加速器進(jìn)一步推進(jìn)了 AI 加速。這種專用芯片旨在處理更復(fù)雜的 AI 模型和工作負(fù)載，補(bǔ)充了 Telum II 的能力。
1 a, V8 j6 b6 A  L3 k8 Q5 ~3 Y
& y- K  ~. j, g" g6 O1 qIBM Spyre 加速器的主要特點(diǎn)
: a0 W# u" J7 P* a1. 強(qiáng)大的性能：Spyre 加速器提供：

超過 300 TOPS 的計(jì)算能力

75W 功耗，采用 PCIe gen5 x16 適配器

128GB LPDDR5 內(nèi)存
: H7 C0 `, R$ i5 J+ D
8 u$ v4 v* E# L8 H2 P2. 創(chuàng)新的核心設(shè)計(jì)：加速器具有：

32 個(gè)核心，每個(gè)配備 2MB 暫存器

55%+ 有效 TOPS 利用率

獨(dú)特的 "corelet" 結(jié)構(gòu)，用于高效數(shù)據(jù)移動(dòng)
# {# S! `, V1 v+ b& i& x# b' D% ~
7 E% R! O4 O" {) ]+ Z


1 S, H) b  L8 B, E圖 5：說明 IBM Spyre 加速器的核心和 corelet 結(jié)構(gòu)，展示其創(chuàng)新設(shè)計(jì)，實(shí)現(xiàn)高效 AI 計(jì)算。
6 n6 G0 {9 v. Y0 X+ o
) t3 ]9 _4 u8 C- o7 K. D3. 高速互連：Spyre 加速器利用：
$ d% d4 ?* r+ e* I4 x( t' S

32B 雙向環(huán)連接核心

200GB/s LPDDR5 連接到暫存器環(huán)

128B 雙向環(huán)連接暫存器

# @1 H1 M! f% Q4. 可擴(kuò)展性：Spyre 加速器設(shè)計(jì)用于集群部署：

I/O Drawer 中的 8 張卡形成一個(gè)邏輯集群

每個(gè)集群總共 1TB 內(nèi)存

1.6TB/s 聚合內(nèi)存帶寬

5. 先進(jìn)制造：采用三星 5LPE 技術(shù)制造，Spyre 加速器擁有：
5 `* X( e8 }3 g' X2 _

260 億晶體管

330 平方毫米芯片面積

14 英里線路
% h3 r1 B% _9 h& v  U
5 ?4 l% b, J, w9 J6 U
$ y+ Z0 l% }0 I
圖 6：比較 Telum II 處理器和 Spyre 加速器的制造細(xì)節(jié)，突出兩種芯片使用的先進(jìn)技術(shù)。

3 Y, ]- ]2 O! f  [4 RAI 用例和應(yīng)用
4 ?3 |+ u7 j- }% P" H; s" h5 W5 tTelum II 處理器和 Spyre 加速器的結(jié)合為企業(yè)環(huán)境中的各種 AI 應(yīng)用提供了支持。這些技術(shù)支持 AI 的整體方法，允許企業(yè)利用傳統(tǒng)和更復(fù)雜的 AI 模型用于各種用例：

增強(qiáng)欺詐檢測(cè)：通過結(jié)合 Telum II 的片上 AI 加速器和更強(qiáng)大的 Spyre 加速器，金融機(jī)構(gòu)可以實(shí)施復(fù)雜的欺詐檢測(cè)系統(tǒng)，實(shí)時(shí)分析交易。

生成式 AI：Spyre 加速器的高性能使其適合運(yùn)行大型語(yǔ)言模型和其他生成式 AI 應(yīng)用，為內(nèi)容創(chuàng)建和數(shù)據(jù)分析開創(chuàng)了新的可能性。

代碼轉(zhuǎn)換和輔助：開發(fā)人員可以受益于 AI 驅(qū)動(dòng)的代碼建議、解釋和轉(zhuǎn)換工具，提高生產(chǎn)力和代碼質(zhì)量。

系統(tǒng)管理：AI 助手可以通過提供智能建議來(lái)簡(jiǎn)化 IT 操作，包括系統(tǒng)配置、故障排除和優(yōu)化。

合規(guī)和風(fēng)險(xiǎn)管理：先進(jìn)的 AI 功能可以應(yīng)用于自動(dòng)化合規(guī)檢查，并增強(qiáng)各行業(yè)的風(fēng)險(xiǎn)評(píng)估流程。
[/ol]
' X4 f" o8 @2 {$ U
" D: ~$ c- P, C4 l2 n" N, Z結(jié)論
, @$ o3 U. S+ n( x! p; xIBM Telum II 處理器和 IBM Spyre 加速器代表了企業(yè)計(jì)算和 AI 加速的重大進(jìn)步。通過將高性能傳統(tǒng)計(jì)算與專用 AI 硬件相結(jié)合，IBM 使企業(yè)能夠?qū)崟r(shí)應(yīng)對(duì)日益復(fù)雜的挑戰(zhàn)。
( Z- p! m/ T! C. w0 S
這些創(chuàng)新將改變金融、保險(xiǎn)、軟件開發(fā)和 IT 運(yùn)營(yíng)等多個(gè)行業(yè)。隨著 AI 在商業(yè)運(yùn)營(yíng)中繼續(xù)發(fā)揮關(guān)鍵作用，以前所未有的速度處理海量數(shù)據(jù)并做出智能決策的能力將成為關(guān)鍵的競(jìng)爭(zhēng)優(yōu)勢(shì)。

IBM Spyre 加速器目前處于技術(shù)預(yù)覽階段，但對(duì)企業(yè) AI 格局的潛在影響巨大。隨著這些技術(shù)的成熟和廣泛應(yīng)用，可以期待看到一波新的 AI 驅(qū)動(dòng)的應(yīng)用和服務(wù)，重塑企業(yè)在數(shù)字時(shí)代的運(yùn)營(yíng)方式。

企業(yè)計(jì)算中 AI 的發(fā)展才剛剛開始，IBM 通過 Telum II 處理器和 Spyre 加速器為未來(lái)創(chuàng)造了新的可能性，在這個(gè)未來(lái)中，AI 將深度集成到業(yè)務(wù)運(yùn)營(yíng)的每個(gè)方面，推動(dòng)效率、創(chuàng)新和增長(zhǎng)。
1 {& ^/ e: a( `0 u; O- c  E
0 q1 ]5 a, ~/ u參考文獻(xiàn)
[1] C. Berry, "IBM Telum? II processor and IBM Spyre Accelerator chip for AI," presented at Hot Chips 2024, 2024.

' d; q# o" V* h" ~5 v- END -
+ ^) O8 J6 m' p; L( D2 H
( N$ g; \2 p8 R8 |& G; n軟件申請(qǐng)我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請(qǐng)?bào)w驗(yàn)免費(fèi)版PIC Studio軟件。無(wú)論是研究還是商業(yè)應(yīng)用，PIC Studio都可提升您的工作效能。
* M4 o$ r0 S+ B點(diǎn)擊左下角"閱讀原文"馬上申請(qǐng)

2 p: j* \' B5 B; r) H" P% [歡迎轉(zhuǎn)載
  l3 s! ^3 L( F& ?* V
3 Y+ b# F% ^# B轉(zhuǎn)載請(qǐng)注明出處，請(qǐng)勿修改內(nèi)容和刪除作者信息！

, d% K' X5 L# t. m* _5 _1 o
1 Z3 S! H2 A# o0 q5 i/ f

1 |/ A, z9 k- Q' m. X& b- ?' g
" T# }2 `  q5 A% G6 ]" b+ I" C關(guān)注我們
1 B  T- N$ g, y& A' G, {
5 V8 _# W2 t8 m/ _* c4 Y

0 v; U/ V) ~1 X! d. b

* {$ l+ b. U4 H1 j - o& S( h% }# s" D

                     

- i: y- }. g$ j* |; m% _

) l; O# R0 s7 Q6 B* }關(guān)于我們：
9 M3 c& s9 |! d7 @. c, j6 Q+ |3 _深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導(dǎo)體芯片設(shè)計(jì)自動(dòng)化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計(jì)和仿真軟件，提供成熟的設(shè)計(jì)解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對(duì)光電芯片、微機(jī)電系統(tǒng)、超透鏡的設(shè)計(jì)與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù)，廣泛服務(wù)于光通訊、光計(jì)算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國(guó)內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動(dòng)特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務(wù)。

3 r# t* O5 W) W4 z5 Lhttp://www.latitudeda.com/
" t; h, E# y4 ]$ O) f0 p（點(diǎn)擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）