|
引言
; z3 [9 O0 G7 q: p7 e: K, ~8 E( }隨著硅晶體管縮放接近極限,研究人員正在探索新技術(shù)以繼續(xù)提高處理器性能和效率。有前途的方向是使用片上光學網(wǎng)絡(luò)(也稱為光學片上網(wǎng)絡(luò)或光學NoC)來替代傳統(tǒng)的電氣互連。與電氣網(wǎng)絡(luò)相比,光學NoC在帶寬、延遲和功耗方面具有潛在優(yōu)勢。然而,有效管理光學NoC的功耗帶來了新的挑戰(zhàn)[1]。
5 @" a3 m/ E2 [5 n/ C7 c1 v+ S) ?# ~5 c4 G" m$ e/ A
本文將探討用于最小化光學NoC靜態(tài)功耗的激光調(diào)制方案。我們將介紹基于網(wǎng)絡(luò)活動動態(tài)調(diào)制激光功率的關(guān)鍵概念、架構(gòu)和預(yù)測技術(shù)。4 j% s! p; W+ ~2 ?
& X5 u* d, S8 W9 `; L' e
3 i4 A j2 H8 f6 d1 q, \9 O
背景
$ z. @3 Q' g' z光學NoC使用光來傳輸芯片上組件之間的數(shù)據(jù)。基本構(gòu)建模塊包括:
* z, n0 }! X4 Z [- D激光器:光源,可以是片外或片上調(diào)制器:將電信號轉(zhuǎn)換為光信號波導(dǎo):在芯片上引導(dǎo)光光電探測器:將光信號轉(zhuǎn)換回電信號
7 K. j y3 b( u" u' n# Y/ o4 E2 T$ v6 n
光傳輸本身非常高效,但產(chǎn)生光的激光器消耗大量功率。一個關(guān)鍵挑戰(zhàn)是光子不能像電荷那樣容易存儲。這意味著激光器通常需要持續(xù)供電,即使不主動傳輸數(shù)據(jù)時也是如此。這種靜態(tài)功耗可能占光學NoC總功耗的80-90%。
1 i) }& D7 c R1 C) q8 @
, p% g: }+ P; A- @1 p6 h為解決這個問題,研究人員開發(fā)了激光調(diào)制方案,旨在根據(jù)預(yù)測的網(wǎng)絡(luò)活動動態(tài)調(diào)整激光功率。一般方法包括:0 C5 B7 K1 D( h; W, ~ C% z" C. X
監(jiān)控網(wǎng)絡(luò)活動指標預(yù)測未來活動相應(yīng)調(diào)整激光功率重新配置網(wǎng)絡(luò)# I! n) N; O# f' |, w' e
' Z1 x- ]6 b& ^% i
讓我們看看為不同類型處理器提出的一些具體方案。3 q* {# C' u1 j, G! q& T
! }( e+ a0 M$ n! [: @
多核CPU設(shè)計中的激光調(diào)制方案
9 w- M1 O* f4 i/ b7 }7 E o7 V" B. ^Probe4 q: {: |) W O1 U K0 B
最早提出的激光調(diào)制方案之一是Probe。使用64核架構(gòu),核心分組為4x4塊。每個塊都有專用的片外激光器,可以使用單寫多讀(SWMR)總線廣播消息。$ i/ y8 A/ k2 g; a) _4 ]7 w8 a$ g
% i* s( G; i. i* N, G
Probe根據(jù)鏈路利用率和緩沖區(qū)利用率指標預(yù)測未來活動。使用兩種類型的預(yù)測器:用于低流量變化:過去和當前利用率的加權(quán)平均用于高變化:由利用率水平索引的模式歷史表
1 L( ]8 Z$ E( f1 _+ @9 h7 S9 u1 J[/ol]/ h! O' [5 Z- [- Y
錦標賽預(yù)測器根據(jù)最近的準確性在兩者之間選擇。3 z( O% K1 J7 v; O& R" _5 ]
/ W# g5 l" h" k- n8 }
ColdBus5 @7 |/ ?2 _# q" s6 j
ColdBus采用不同的方法,基于L1緩存未命中預(yù)測活動。關(guān)鍵洞察是在共享內(nèi)存系統(tǒng)中,大部分網(wǎng)絡(luò)流量來自L1未命中。
% w) @, H7 O2 c4 ^ V
! E! a# D0 Z& w1 u5 `使用類似于分支預(yù)測器的基于PC的預(yù)測器來識別可能導(dǎo)致未命中的指令。然后,一個時期預(yù)測器估計這些未命中何時發(fā)生。
2 x+ d/ o" O' A/ t$ D! h/ q& ^5 s( O+ x8 z, b
ColdBus還引入了一個"額外波導(dǎo)",為需要的站點提供應(yīng)急功率。
, u9 {/ E; T: `6 q2 |& y' |
+ M- ~; h3 V+ N# pPShaRe
- j5 [2 i+ h5 CPShaRe在之前工作的基礎(chǔ)上有幾個關(guān)鍵創(chuàng)新:一致性和非一致性流量的獨立網(wǎng)絡(luò)基于神經(jīng)網(wǎng)絡(luò)的非線性預(yù)測器站點之間的功率共享重用浪費的光功率進行熱調(diào)諧
0 ]! H( G5 {, A- p[/ol]' m1 l$ \) D! @& l; Q+ |- O
圖1顯示了整體架構(gòu):
! M3 y. p: c7 [9 ~1 z' g+ V7 d5 u* ]# {1 H# G8 F3 P' \
v0i132opydn64034878813.png (157.24 KB, 下載次數(shù): 0)
下載附件
保存到相冊
v0i132opydn64034878813.png
2024-9-22 01:17 上傳
# U" i' d0 a: b- i9 w圖1:PShaRe架構(gòu),顯示連接光學站點的功率和數(shù)據(jù)波導(dǎo)。
0 d* D7 f/ T F$ J% L" N% I% S' T @' `1 x
神經(jīng)網(wǎng)絡(luò)預(yù)測器使用14個性能計數(shù)器輸入,對每個站點在下一個時期的活動進行二元預(yù)測。% }5 F" L/ s" q# c# h5 W
) A' i! L+ m# g; h: E
BigBus
8 i% K6 @9 [6 l1 J: D( S2 U" P對于非常大的核心數(shù)(500+),需要像BigBus這樣的設(shè)計。BigBus使用分層架構(gòu),將塊簇組成更大的單元。( o# b* T9 \+ u3 }# a/ W! ^/ i8 J/ W
! }5 g0 E& _5 u: {5 ]7 T4 C- ^2 F
圖2說明了BigBus設(shè)計:8 a' P3 V; I% ?2 G) J- o2 Q- U
3 y" t8 h5 ^3 b) x; @ b/ Q
2lsssyofp4g64034878913.png (216.89 KB, 下載次數(shù): 0)
下載附件
保存到相冊
2lsssyofp4g64034878913.png
2024-9-22 01:17 上傳
1 u$ b. |% E& a: q圖2:BigBus架構(gòu),顯示由蛇形光鏈路連接的核心和緩存庫的分層組織。
1 p" E4 b5 F2 M( E* i& B8 v0 R4 K- q( f6 r# x: K# e
BigBus使用兩階段預(yù)測過程:每個站點根據(jù)等待時間和待處理事件決定是否增加/減少令牌激光控制器將當前預(yù)測與歷史數(shù)據(jù)結(jié)合& j& H( Z' M3 |! s: [; c
[/ol]7 J' G; }0 U$ J4 ~7 k! K
這允許在當前條件的響應(yīng)性和穩(wěn)定性之間取得平衡。9 j8 C i# i- J& J/ k
8 {0 P% k, ^8 i8 {$ o6 B
) {$ C, d' x, r多插槽系統(tǒng)(MULTI-SOCKET SYSTEMS)中的激光調(diào)制方案& y" \- R$ u4 [( E4 Z! s: X
對于像服務(wù)器這樣的多芯片系統(tǒng),像Nuplet這樣的設(shè)計將光網(wǎng)絡(luò)擴展到插槽之間。Nuplet同時使用片內(nèi)和片間光網(wǎng)絡(luò)。2 K" ?; `1 V- i+ M- m; t
2 n9 O z' ~* p9 @8 `; b8 x3 D
片間預(yù)測機制旨在確定要流通的仲裁令牌數(shù)量。它考慮:發(fā)送到片間光學站(ICOS)的消息ICOS隊列中的待處理事件
/ P# }6 Z L. W' Z$ i: X2 N& h[/ol]
# ~2 \2 k1 M% J4 [; P( z功率請求表(PRT)存儲歷史令牌計數(shù)。預(yù)測將PRT值與當前流量趨勢和隊列狀態(tài)結(jié)合。& |. c; X) g8 f5 N) G% }9 G5 r8 O! A3 B
) d* q: }5 v ^" E( O6 q A+ p& z+ V- kGPU設(shè)計中的激光調(diào)制方案) w- |3 ]- k/ ]6 p/ k0 U
由于GPU側(cè)重于內(nèi)存帶寬而非延遲,因此帶來了獨特的挑戰(zhàn)。GPUOpt設(shè)計將光學NoC適配于GPU架構(gòu)。9 ^7 X& f, L2 G# e
, l& d) D/ u( @8 A3 O圖3顯示了GPUOpt的整體架構(gòu):
: k2 k6 O0 b+ W* c* h) c* T+ ^7 Z% R, ~! B1 y0 l0 A- v* S
m5tbfrm3byw64034879013.png (198.05 KB, 下載次數(shù): 0)
下載附件
保存到相冊
m5tbfrm3byw64034879013.png
2024-9-22 01:17 上傳
2 F# `5 T$ a( F# l, Z# s7 `) h
圖3:GPU光學NoC的架構(gòu),顯示由光網(wǎng)絡(luò)連接的SM和LLC集群。
/ [2 S$ V- K- o3 x* F: S( r W7 U0 d! s
GPUOpt對流式多處理器(SM)站點和最后級緩存(LLC)站點使用不同的預(yù)測機制:3 r- y; [: l% g8 l, S4 q8 g
1. SM站點使用基于以下因素的受限預(yù)測器(Restr_Pred):
% d' E# j+ L) C6 @, l8 Y接收的消息發(fā)送的消息等待時間% A0 R. ^- a& G
" x) N3 A. J- [0 o! Y
2. LLC站點使用考慮以下因素的靈活預(yù)測器(Flex_Pred):) L, r# c M( j& T' Q1 [7 S
接收的消息發(fā)送的消息待處理事件( X" V) g, u1 ]) u4 i: u" y
2 T% Q/ O5 h3 ~6 [$ A+ q7 Q' q# K
激光控制器將這些預(yù)測結(jié)合起來,確定整體功率需求。# s& i: L! l3 L2 Q) k( ]
9 ~2 W2 J; J0 y2 P v
/ \0 W. j+ x/ r$ k# J關(guān)鍵概念和趨勢/ v8 C. n0 D" h- y
雖然具體方案各不相同,但一些共同主題和最佳實踐浮現(xiàn)出來:, ~6 K5 ?( i( z
9 Q8 _0 ^' K5 `8 q. t i9 S
1.將時間劃分為固定時期進行預(yù)測和重新配置+ U4 ~& t+ t Y# C8 A7 [
2. 使用多個輸入指標:. \$ f- @3 i/ S* A* k7 f0 E: m
網(wǎng)絡(luò)利用率緩沖區(qū)占用率緩存未命中率指令類型待處理事件
" V7 ]1 N0 f( b W( C+ \3. 將當前指標與歷史數(shù)據(jù)結(jié)合
( [- K& k1 l9 |- }4 R# g/ M4. 使用非線性預(yù)測函數(shù)(如神經(jīng)網(wǎng)絡(luò))捕捉復(fù)雜關(guān)系
0 R" s9 v( }& J9 z& \5 H+ K5. 對不同流量類型進行單獨預(yù)測(如一致性與非一致性)
+ {: c: A. }9 ?0 d A, r# }6. 分層設(shè)計以實現(xiàn)可擴展性
; a9 C# Q" D, z" D0 k7. 盡可能重用未使用的光功率5 J1 V) `. n+ G/ ^* C* f
8. 為特定架構(gòu)經(jīng)驗性地調(diào)整預(yù)測參數(shù): L2 g9 @* R, D: ]
1 D0 m3 Y2 l/ n F5 F5 {
圖4說明了有效激光調(diào)制可能帶來的功率節(jié)省:" M" K+ x5 D4 V& s6 z9 ]! f
" x+ P6 u: R/ `7 g% a1 A* h- u7 d
om02xkr3dhc64034879113.png (100.12 KB, 下載次數(shù): 0)
下載附件
保存到相冊
om02xkr3dhc64034879113.png
2024-9-22 01:17 上傳
/ u1 Y k5 G3 t' K' `, e# z3 L$ u
圖4:ideal、Probe和ColdBus方案在各種基準測試中的相對激光功耗。0 R1 _0 \% k% ~
, ?8 i/ n5 J- k- u" N2 O& [8 H
0 a4 i* V3 q$ d7 H3 D! q9 ?5 g
未來方向
- w' u" b7 V- @0 h隨著光學NoC從研究轉(zhuǎn)向?qū)嶋H實施,可以期待這些技術(shù)的進一步完善。方向包括:
5 c8 ^8 p2 L. h' E$ x7 T用于更準確預(yù)測的機器學習技術(shù)與應(yīng)用層知識的集成在運行時調(diào)整參數(shù)的自適應(yīng)方案考慮電氣和光網(wǎng)絡(luò)的整體優(yōu)化針對新興工作負載(如AI加速)的專門化. H6 n1 ]( _$ O3 @* C
8 J7 G' X" [% I' C" w1 k! r$ {5 G/ Z
結(jié)論1 [5 |5 R) F" U
有效的激光調(diào)制對實現(xiàn)光學片上網(wǎng)絡(luò)的潛在優(yōu)勢非常重要。通過準確預(yù)測網(wǎng)絡(luò)活動并相應(yīng)調(diào)整激光功率,可以在保持性能的同時最小化靜態(tài)功耗。隨著處理器架構(gòu)繼續(xù)發(fā)展,激光調(diào)制方案需要適應(yīng)新的設(shè)計約束和流量模式。該領(lǐng)域的持續(xù)研究有望為未來計算系統(tǒng)解鎖新的能效水平。$ Y( m `( H$ j J0 }* X
$ b/ N/ t" `- _& W
+ y/ ] E5 y4 ^' v參考文獻
% ?5 A; O, J- I) r* q, ]4 |' G3 p0 x[1] M. Nikdast, S. Pasricha, G. Nicolescu, and A. Seyedi, Eds., Silicon Photonics for High-Performance Computing and Beyond, 1st ed. Boca Raton, FL, USA: CRC Press, 2021.
: ?& q! i+ e& w$ r" o5 E& c& L) b! R& `3 [ j
- END -% m D; d/ q" d- r" V: {' T
% Y! s. k4 G9 G2 @/ d
軟件申請我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請體驗免費版PIC Studio軟件。無論是研究還是商業(yè)應(yīng)用,PIC Studio都可提升您的工作效能。
; }2 o. L0 e6 K' U點擊左下角"閱讀原文"馬上申請
2 r4 h3 p/ k Z# @' R4 R
4 E0 r0 n Q+ Q- v1 q歡迎轉(zhuǎn)載
, w8 K M8 V, ~ U7 \3 N2 u4 G& ^9 @
轉(zhuǎn)載請注明出處,請勿修改內(nèi)容和刪除作者信息!1 V* _; A' C* @$ ]
3 p* _. s8 a' C) U, f
5 [8 |+ I F, s2 l! ?" _
* I; m8 B( W! F7 V5 }1 c9 O
tlesfwadvw464034879213.gif (16.04 KB, 下載次數(shù): 1)
下載附件
保存到相冊
tlesfwadvw464034879213.gif
2024-9-22 01:17 上傳
% |! G7 ]% ^& r! `1 @8 ~- e! r
/ {+ }: S" ?, J; F* y( y, Z: d
關(guān)注我們- G6 Y: w7 l8 N- Z+ Z: `0 w! X
6 Y% Q/ ^1 i( Y
0 q$ g8 V1 f0 |* W9 u0 \& o
0rzxntnecf364034879313.png (31.33 KB, 下載次數(shù): 0)
下載附件
保存到相冊
0rzxntnecf364034879313.png
2024-9-22 01:17 上傳
- \& g& v9 w2 R# h5 M5 j3 j4 q W | ' O* k( [7 l0 d! A- n0 d
wklhaednp3g64034879413.png (82.79 KB, 下載次數(shù): 0)
下載附件
保存到相冊
wklhaednp3g64034879413.png
2024-9-22 01:17 上傳
# O& ~& P S' t6 b |
& s: }, d% ?3 r
v05awecejyj64034879513.png (21.52 KB, 下載次數(shù): 1)
下載附件
保存到相冊
v05awecejyj64034879513.png
2024-9-22 01:17 上傳
" d6 ?' m4 t5 ~. O
|
. m4 V# Y! ^0 d4 S' d: S0 X+ J0 s0 t$ x: U
% {/ F# z. {3 ^3 F2 l
$ C/ F9 r( G2 f' r; w關(guān)于我們:3 Y- O+ z* J0 z+ i, u
深圳逍遙科技有限公司(Latitude Design Automation Inc.)是一家專注于半導(dǎo)體芯片設(shè)計自動化(EDA)的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計和仿真軟件,提供成熟的設(shè)計解決方案如PIC Studio、MEMS Studio和Meta Studio,分別針對光電芯片、微機電系統(tǒng)、超透鏡的設(shè)計與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù),廣泛服務(wù)于光通訊、光計算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國內(nèi)外晶圓代工廠及硅光/MEMS中試線合作,推動特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展,致力于為客戶提供前沿技術(shù)與服務(wù)。3 _( `# B' M/ T( B1 ^( P, L2 ^3 F) b
; m( B" M" X" u6 S* i" [
http://www.latitudeda.com/
( x) o1 F( ]- H. Q* p0 a(點擊上方名片關(guān)注我們,發(fā)現(xiàn)更多精彩內(nèi)容) |
|