Hot Chips 2024 | IBM Telum II 處理器和 Spyre 加速器推動企業(yè)計算中的人工智能發(fā)展

逍遙設(shè)計自動化

引言
& }2 U: ^* Z6 m" z, H4 b- ~在企業(yè)計算領(lǐng)域不斷演進的背景下，IBM 通過其最新產(chǎn)品——IBM Telum II 處理器和 IBM Spyre 加速器芯片繼續(xù)推動創(chuàng)新的邊界。這些尖端技術(shù)旨在滿足商業(yè)應(yīng)用中人工智能（AI）日益增長的需求，提供性能、效率和安全性。本文將幫助了解這些新技術(shù)的細節(jié)及其潛在影響，探討這些創(chuàng)新如何改變企業(yè)計算格局。
* l6 y% k5 T2 m+ \
  X# j2 l* T' d
0 h5 X0 e5 u" w2 nIBM 大型機的力量
7 T7 f4 I* r4 _+ t0 {在深入探討新硬件的具體細節(jié)之前，了解 IBM 大型機在當(dāng)今金融生態(tài)系統(tǒng)中的關(guān)鍵作用非常必要。根據(jù)最新研究，估計 70% 的全球交易（按價值計算）通過 IBM 大型機進行處理。這一驚人的統(tǒng)計數(shù)據(jù)凸顯了大型機技術(shù)持續(xù)創(chuàng)新對支持全球經(jīng)濟的重要性。
( T5 ], }0 Q7 N* o
此外，IBM 大型機以可靠性著稱，可用率高達 99.999999%。這種可靠性對于需要持續(xù)運行且無法承受系統(tǒng)故障的企業(yè)來說極為關(guān)鍵。

4 J' g) M% M; Y0 l0 y2 M4 Y
IBM Telum II 處理器簡介
8 Y& ^$ K" g" E" N, sIBM Telum II 處理器代表了大型機計算技術(shù)的重大飛躍。設(shè)計用于支持每秒數(shù)百萬次交易的 AI 處理，這一能力在當(dāng)今數(shù)據(jù)驅(qū)動的商業(yè)環(huán)境中變得越來越重要。

Telum II 的主要特點
8 R% V' t9 U3 B' n2 ~6 w1. 增強的中央計算復(fù)合體：Telum II 比前代產(chǎn)品有多項改進，包括：

分支預(yù)測增強

重命名寄存器容量增加（從 128 增至 160）

改進的存儲回寫和地址轉(zhuǎn)換

面積減少 20%

功耗降低 15%

( v8 d0 l+ l$ c; ]. q2. 擴展的緩存系統(tǒng)：處理器具有：
8 r/ x- q4 ]1 \: |3 j# a6 t

10 個 L2 緩存，每個 36MB，訪問時間 3.6ns

360MB 虛擬 L3 緩存，訪問時間 11.5ns

2.8GB 虛擬 L4 緩存，訪問時間 48.5ns

片外帶寬提高 30%

Drawer 到 Drawer 的加密，增強安全性

# m2 |, c. O' }- R
- u# E% V; g# y- r9 V$ N6 ^
圖 1：說明 Telum II 中央計算復(fù)合體和 L2 緩存系統(tǒng)的改進，突出了處理能力和內(nèi)存訪問的顯著增強。
/ ~5 L$ o$ S8 n8 D/ b
- K  r% `3 N& V5 U  y1 D3. 先進的制造工藝：Telum II 采用 5nm 技術(shù)制造，實現(xiàn)：

每核心最高 5.5 GHz 時鐘速度

插槽性能提升 20%

處理器功耗降低 18%
" p0 d6 U/ C2 x" y" y
4. 創(chuàng)新的電壓控制：處理器incorporates一個復(fù)雜的電壓控制回路系統(tǒng)，包括：

細粒度電壓測量線路

工作負載監(jiān)控功能

與電源轉(zhuǎn)換子系統(tǒng)緊密耦合
. c- Q$ m! P1 W& I3 d4 E" V& d
  z) }; I9 M5 @- R

  u) {. V. ~. F+ v% s1 o圖 2：展示Telum II 電壓控制回路實現(xiàn)的效率提升，說明在各種工作負載利用率下的較低功耗。

2 L: O% G3 \- Z( [7 N/ _5. 片上數(shù)據(jù)處理單元（DPU）：Telum II 具有專用 DPU 用于 I/O 加速，包括：
9 D7 l5 x. }$ j0 T

4 個處理集群

每個集群 8 個定制微控制器

與整體緩存系統(tǒng)的連貫連接

專用 I/O 加速邏輯

隊列管理器，用于高效的工作調(diào)度和傳輸
: q" F* o' L: T. C* A- }

: j3 K5 Z$ R4 w2 X6 e7 ]1 `
# Z$ ^- Q6 H" |2 m0 t& Z& [
! m6 _0 ^) K# G; H, L0 V圖 3：概述片上數(shù)據(jù)處理單元（DPU）的結(jié)構(gòu)，突出其組件和互連，用于高效的 I/O 處理。

2 @/ Y/ x/ g: H: `8 j) i6 Y2 B6. 大規(guī)模擴展 I/O 子系統(tǒng)：Telum II 支持：

在一個連貫的 SMP 系統(tǒng)中最多 32 個處理器

12 個 I/O 擴展 Drawer，每個有 16 個 PCIe 插槽

單個系統(tǒng)中總共最多 192 個 PCIe 卡

0 G. M& ~" A' `7 U- i# |( ^Telum II 中的 AI 加速
- T: g7 t( G. a6 U" l+ pTelum II 最顯著的進步之一是其增強的 AI 能力。處理器包含針對傳統(tǒng) AI 模型優(yōu)化的片上 AI 加速器，能夠支持各種企業(yè)用例：

清算結(jié)算

合規(guī)檢查

保險理賠處理

欺詐檢測

  y- h; e4 Z) P  H6 ]Telum II 中的 AI 加速器提供：
; n  P' o- H* H$ U1 S

每芯片 24 TOPS（每秒萬億次運算）

每 Drawer 192 TOPS

每系統(tǒng) 768 TOPS

作為 CISC 指令集成，實現(xiàn)無縫操作

支持 INT8 和 FP16 數(shù)據(jù)類型


; }& W3 ?! w2 R2 e4 e6 U( K
8 r( R, c$ c2 J8 p$ P& I圖 4：展示Telum II 處理器的 AI 加速能力，突出其 TOPS 性能和系統(tǒng)集成。
: z) `, m+ ?9 L. F: E7 uIBM Spyre 加速器簡介
5 K7 ^7 X; E0 ]5 ]9 BTelum II 的片上 AI 加速器令人印象深刻，但 IBM 通過引入 IBM Spyre 加速器進一步推進了 AI 加速。這種專用芯片旨在處理更復(fù)雜的 AI 模型和工作負載，補充了 Telum II 的能力。
& L9 _8 G( ^) S$ v9 V+ F$ R
5 h8 T$ k  }8 m9 W! ?/ E5 {IBM Spyre 加速器的主要特點
1. 強大的性能：Spyre 加速器提供：

超過 300 TOPS 的計算能力

75W 功耗，采用 PCIe gen5 x16 適配器

128GB LPDDR5 內(nèi)存
2 G; V7 U. Y: i# r
) j& S# ^& l  ~$ T( c2. 創(chuàng)新的核心設(shè)計：加速器具有：
. ~7 A' j# E: Z+ ?* t2 E0 n6 y

32 個核心，每個配備 2MB 暫存器

55%+ 有效 TOPS 利用率

獨特的 "corelet" 結(jié)構(gòu)，用于高效數(shù)據(jù)移動

7 i8 }+ y( v) t. O
4 t+ D5 D9 g' H/ T2 u8 V  G
9 R/ ]2 z- O1 H7 ~2 r/ C4 g
圖 5：說明 IBM Spyre 加速器的核心和 corelet 結(jié)構(gòu)，展示其創(chuàng)新設(shè)計，實現(xiàn)高效 AI 計算。
& d  w9 j/ f4 R( k/ h5 T, o
3. 高速互連：Spyre 加速器利用：
0 K1 ]& s% P2 ]: y3 g; \

32B 雙向環(huán)連接核心

200GB/s LPDDR5 連接到暫存器環(huán)

128B 雙向環(huán)連接暫存器

+ J3 w) Q- s) ^$ @4. 可擴展性：Spyre 加速器設(shè)計用于集群部署：

I/O Drawer 中的 8 張卡形成一個邏輯集群

每個集群總共 1TB 內(nèi)存

1.6TB/s 聚合內(nèi)存帶寬

5. 先進制造：采用三星 5LPE 技術(shù)制造，Spyre 加速器擁有：
4 v5 A  h3 r: c( [2 j

260 億晶體管

330 平方毫米芯片面積

14 英里線路


* U8 Y5 O' K! a1 A* c
0 q$ t' n( L8 Q& T3 E3 Y, x6 e' R圖 6：比較 Telum II 處理器和 Spyre 加速器的制造細節(jié)，突出兩種芯片使用的先進技術(shù)。

AI 用例和應(yīng)用
Telum II 處理器和 Spyre 加速器的結(jié)合為企業(yè)環(huán)境中的各種 AI 應(yīng)用提供了支持。這些技術(shù)支持 AI 的整體方法，允許企業(yè)利用傳統(tǒng)和更復(fù)雜的 AI 模型用于各種用例：

增強欺詐檢測：通過結(jié)合 Telum II 的片上 AI 加速器和更強大的 Spyre 加速器，金融機構(gòu)可以實施復(fù)雜的欺詐檢測系統(tǒng)，實時分析交易。

生成式 AI：Spyre 加速器的高性能使其適合運行大型語言模型和其他生成式 AI 應(yīng)用，為內(nèi)容創(chuàng)建和數(shù)據(jù)分析開創(chuàng)了新的可能性。

代碼轉(zhuǎn)換和輔助：開發(fā)人員可以受益于 AI 驅(qū)動的代碼建議、解釋和轉(zhuǎn)換工具，提高生產(chǎn)力和代碼質(zhì)量。

系統(tǒng)管理：AI 助手可以通過提供智能建議來簡化 IT 操作，包括系統(tǒng)配置、故障排除和優(yōu)化。

合規(guī)和風(fēng)險管理：先進的 AI 功能可以應(yīng)用于自動化合規(guī)檢查，并增強各行業(yè)的風(fēng)險評估流程。
" G. w7 c# i8 r+ {[/ol]

結(jié)論
8 l6 D+ l. G9 X6 I5 t, gIBM Telum II 處理器和 IBM Spyre 加速器代表了企業(yè)計算和 AI 加速的重大進步。通過將高性能傳統(tǒng)計算與專用 AI 硬件相結(jié)合，IBM 使企業(yè)能夠?qū)崟r應(yīng)對日益復(fù)雜的挑戰(zhàn)。

& Q9 O' y" z2 B8 @0 y這些創(chuàng)新將改變金融、保險、軟件開發(fā)和 IT 運營等多個行業(yè)。隨著 AI 在商業(yè)運營中繼續(xù)發(fā)揮關(guān)鍵作用，以前所未有的速度處理海量數(shù)據(jù)并做出智能決策的能力將成為關(guān)鍵的競爭優(yōu)勢。
; w8 d! W! F- Y6 ?: m% P
IBM Spyre 加速器目前處于技術(shù)預(yù)覽階段，但對企業(yè) AI 格局的潛在影響巨大。隨著這些技術(shù)的成熟和廣泛應(yīng)用，可以期待看到一波新的 AI 驅(qū)動的應(yīng)用和服務(wù)，重塑企業(yè)在數(shù)字時代的運營方式。
( \) X: {" V) `8 o% J
企業(yè)計算中 AI 的發(fā)展才剛剛開始，IBM 通過 Telum II 處理器和 Spyre 加速器為未來創(chuàng)造了新的可能性，在這個未來中，AI 將深度集成到業(yè)務(wù)運營的每個方面，推動效率、創(chuàng)新和增長。

' i' C' o- U' Q; n: o8 l參考文獻
[1] C. Berry, "IBM Telum? II processor and IBM Spyre Accelerator chip for AI," presented at Hot Chips 2024, 2024.

, B% s" R& [: ]) S0 J- END -
% p/ J0 u% n' T- l2 _
軟件申請我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請體驗免費版PIC Studio軟件。無論是研究還是商業(yè)應(yīng)用，PIC Studio都可提升您的工作效能。
點擊左下角"閱讀原文"馬上申請

歡迎轉(zhuǎn)載

轉(zhuǎn)載請注明出處，請勿修改內(nèi)容和刪除作者信息！


: N& W# S4 B" o1 x5 d: c


2 @4 K$ L7 J+ M5 N3 h+ q關(guān)注我們

# ^3 H: m  j; `3 u% G  c9 b) c

0 K! j# n; c  E, E0 E" t" N( N

1 s7 x6 F) ?8 [

                     
& e# u1 y) P/ C1 Z* q1 i

1 A# l. _: N* \) U- m; A
6 W' w! p" ]; a- }關(guān)于我們：
, b  k) K! `/ q0 _0 Q8 E深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導(dǎo)體芯片設(shè)計自動化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計和仿真軟件，提供成熟的設(shè)計解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對光電芯片、微機電系統(tǒng)、超透鏡的設(shè)計與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù)，廣泛服務(wù)于光通訊、光計算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務(wù)。

http://www.latitudeda.com/
（點擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）