|
引言隨著深度神經(jīng)網(wǎng)絡(luò)(DNNs)在各種應(yīng)用中變得越來越復(fù)雜和普遍,對(duì)高效硬件加速器的需求比以往任何時(shí)候都更為迫切。在后摩爾定律時(shí)代,傳統(tǒng)電子加速器面臨著基本限制,在帶寬和能效方面造成瓶頸。硅基光電子技術(shù)應(yīng)運(yùn)而生,可為深度學(xué)習(xí)加速提供節(jié)能、超高帶寬和低延遲的解決方案。
- i& B1 F% X) ~- L" a5 B本文介紹CrossLight,新型硅基光電子神經(jīng)網(wǎng)絡(luò)加速器,通過跨層設(shè)計(jì)方法解決光計(jì)算中的關(guān)鍵挑戰(zhàn)。將探討光計(jì)算的基礎(chǔ)知識(shí)、CrossLight的架構(gòu)以及與最先進(jìn)加速器的性能比較。* j4 K6 r4 T; `. y( M
* ?# j3 u; s. a$ C2 V光計(jì)算基礎(chǔ)0 q1 v! R, T' ~
在深入了解CrossLight之前,讓我們先了解深度學(xué)習(xí)光計(jì)算的基礎(chǔ)知識(shí)。光加速器通常使用廣播和權(quán)重(B&W)配置來執(zhí)行矩陣-矢量乘法,這對(duì)DNN中的卷積(CONV)和全連接(FC)層都是必不可少的。
; x, O- T/ m2 U# ?7 F2 @
u5t5b2alz3y6401283547.png (266.63 KB, 下載次數(shù): 0)
下載附件
保存到相冊(cè)
u5t5b2alz3y6401283547.png
2024-9-6 13:32 上傳
0 o: ?/ {' E! v ?; h圖1顯示了基于非相干廣播和權(quán)重(B&W)的光電子神經(jīng)元配置。
/ m' T, l6 x3 u. L在此配置中,輸入值通過調(diào)制器印刻在不同波長(zhǎng)的光上。然后,這些波長(zhǎng)被合并并分成多個(gè)分支,每個(gè)分支由微環(huán)諧振器(MRs)加權(quán)。加權(quán)信號(hào)通過光電探測(cè)器求和,完成矩陣-矢量乘法運(yùn)算。
* |9 n5 t, }! W" e這種設(shè)置中的關(guān)鍵組件是微環(huán)諧振器(MR)。MR可以調(diào)諧以改變特定波長(zhǎng)的能量,有效地在光域中實(shí)現(xiàn)乘法運(yùn)算。# O' z5 a2 J O+ g
CrossLight架構(gòu)6 O* X' q4 q2 W
CrossLight采用跨層方法優(yōu)化光加速,解決設(shè)備、線路和架構(gòu)層面的挑戰(zhàn)。) K* f4 _2 ]5 p7 s; O! }/ ~% Q
r440eh0t2ow6401283647.png (471 KB, 下載次數(shù): 0)
下載附件
保存到相冊(cè)
r440eh0t2ow6401283647.png
2024-9-6 13:32 上傳
' r( h/ \ }4 _) i& g8 }' Q
圖2展示了CrossLight非相干硅基光電子神經(jīng)網(wǎng)絡(luò)加速器的高級(jí)概述。
^1 O e* u0 C/ N1 A# w設(shè)備級(jí)優(yōu)化在設(shè)備級(jí)別,CrossLight引入了優(yōu)化的MR設(shè)計(jì),對(duì)制造工藝變化(FPVs)更具彈性。通過全面的設(shè)計(jì)空間探索,研究人員發(fā)現(xiàn),使用400納米的輸入波導(dǎo)寬度和800納米的環(huán)形波導(dǎo)寬度可以將由FPV引起的不期望的諧振波長(zhǎng)偏移減少70%。: [; j/ k9 b7 e
線路級(jí)優(yōu)化為解決緊密排列的MR之間的熱串?dāng)_問題,CrossLight采用了結(jié)合熱光(TO)和電光(EO)調(diào)諧的混合調(diào)諧方法。與傳統(tǒng)的僅TO調(diào)諧方法相比,這種方法可以實(shí)現(xiàn)更快的操作速度和更低的功耗。: c1 O8 ~0 ~3 \! f5 v4 K
此外,CrossLight采用了稱為熱特征分解(TED)的方法,可以集體調(diào)諧MR組中的所有MR,有效地以較低的功耗消除熱串?dāng)_效應(yīng)。+ q" ?* n0 e } \& h) \
gosr1kbepbz6401283747.png (237.02 KB, 下載次數(shù): 0)
下載附件
保存到相冊(cè)
gosr1kbepbz6401283747.png
2024-9-6 13:32 上傳
! c4 e( }# s9 Z+ h1 Q& @
圖3顯示了10個(gè)制造的MR塊中相鄰MR對(duì)之間距離可變時(shí)的相位串?dāng)_比和調(diào)諧功耗。5 {4 I9 V) k. n6 H: e
架構(gòu)級(jí)優(yōu)化CrossLight為CONV和FC層加速引入了單獨(dú)的矢量點(diǎn)積(VDP)單元,認(rèn)識(shí)到這些層的不同計(jì)算需求。這種分離允許更高效地處理這兩種類型的層。1 z" \3 ~0 J- m3 ~
該架構(gòu)還在VDP單元內(nèi)實(shí)現(xiàn)了波長(zhǎng)重用策略,減少了所需的激光器總數(shù),從而降低了功耗。通過將較大的矢量分解為較小的矢量,并在VDP單元內(nèi)的多個(gè)分支上執(zhí)行并行計(jì)算,CrossLight在并行性和激光器功率需求之間實(shí)現(xiàn)了平衡。* E+ L% R2 ~; ]8 A8 L
性能分析為評(píng)估CrossLight的性能,研究人員使用四個(gè)不同復(fù)雜度的DNN模型進(jìn)行了廣泛的模擬。
, g0 }. r% w& K0 \/ z" x& a& ~分辨率分析CrossLight的一個(gè)主要優(yōu)勢(shì)是能夠?qū)崿F(xiàn)高分辨率計(jì)算。雖然一些光加速器限制在2-4位分辨率,但CrossLight可以為其MR組實(shí)現(xiàn)高達(dá)16位的分辨率。9 ~' h# U9 P& I0 E! U* ~5 f. A
wcmaphexdg16401283847.png (222.75 KB, 下載次數(shù): 0)
下載附件
保存到相冊(cè)
wcmaphexdg16401283847.png
2024-9-6 13:32 上傳
9 |9 V) X* y3 z; `' K( ?
圖4演示了四個(gè)DNN模型在權(quán)重和激活的量化(分辨率)范圍從1位到16位時(shí)的推理準(zhǔn)確性。
' e; R, k. I7 R7 \/ V3 f8 `) S$ y這種高分辨率對(duì)于維持模型準(zhǔn)確性很重要,特別是對(duì)于在具有挑戰(zhàn)性的數(shù)據(jù)集上訓(xùn)練的復(fù)雜模型。% i- h2 A* W. z
敏感性分析研究人員進(jìn)行了敏感性分析,以確定CrossLight的最佳配置,改變CONV和FC層加速器的VDP單元的數(shù)量和復(fù)雜度。
4 q) D. L+ x4 z" f8 d
povttnqyf1r6401283947.png (255.44 KB, 下載次數(shù): 0)
下載附件
保存到相冊(cè)
povttnqyf1r6401283947.png
2024-9-6 13:32 上傳
$ ~( k% z" m/ {: v圖5是散點(diǎn)圖,顯示了各種CrossLight配置的平均每秒幀數(shù)(FPS)與平均每比特能耗(EPB)與面積的關(guān)系。( q: G V, R0 o( t/ u8 Z2 x h
最佳配置是基于最高的FPS/EPB比率選擇的,平衡了性能和能效。( V5 d4 R+ s& R2 A
與最先進(jìn)加速器的比較CrossLight與兩個(gè)著名的光加速器(DEAP-CNN和Holylight)以及幾個(gè)電子加速器(包括GPU和CPU)進(jìn)行了比較。. i' |* H( T; x$ e. S9 |7 k
o1mo3m44ri06401284047.png (125.24 KB, 下載次數(shù): 0)
下載附件
保存到相冊(cè)
o1mo3m44ri06401284047.png
2024-9-6 13:32 上傳
$ f/ ~# `2 `& o圖6比較了CrossLight各變體與光電子和電子加速器平臺(tái)的功耗。
7 T7 C& g" v; Q4 R$ {結(jié)果顯示,CrossLight,特別是在優(yōu)化配置(Cross_opt_TED)中,實(shí)現(xiàn)了比其他光加速器和傳統(tǒng)CPU/GPU平臺(tái)更低的功耗,盡管功耗仍高于一些專用電子加速器。
! J# v: _, d1 Y7 V
0 j3 R$ p7 s9 I+ a5 {- p
s5pbjcfws456401284147.png (120.52 KB, 下載次數(shù): 0)
下載附件
保存到相冊(cè)
s5pbjcfws456401284147.png
2024-9-6 13:32 上傳
* z z q; o( p9 ^4 f! W圖7比較了光電子DNN加速器的每比特能耗(EPB)值。! I' ?1 `0 Y+ ~% J1 t5 o: y
在能效方面,CrossLight顯著優(yōu)于其他光加速器,平均比DEAP-CNN和Holylight分別低1544倍和9.5倍的EPB。$ F0 w. k& f9 l4 f$ G1 f: \
CrossLight的性能優(yōu)勢(shì)源于全面考慮了光系統(tǒng)中的各種損耗和串?dāng)_,以及在設(shè)備、線路和架構(gòu)層面采用新方法來減輕影響。
; Z3 k s Z4 ]+ N$ j2 ~結(jié)論CrossLight展示了光電子神經(jīng)網(wǎng)絡(luò)加速器中跨層優(yōu)化的潛力。通過解決硬件棧多個(gè)層面的挑戰(zhàn),與最先進(jìn)的光電子和電子加速器相比,在能效和每瓦性能方面實(shí)現(xiàn)了顯著改進(jìn)。 N0 U" _) O3 f) N# E* O+ H
隨著硅基光電子制造工藝的不斷成熟,我們可以期待設(shè)備調(diào)諧成本、損耗和激光器功率開銷進(jìn)一步降低。這一趨勢(shì)可能會(huì)加強(qiáng)光域加速器在深度學(xué)習(xí)推理任務(wù)中的地位。, x {0 b) W4 p: q
CrossLight的成功突出了在設(shè)計(jì)下一代硬件加速器時(shí)采用全面、跨層方法的重要性。隨著我們推動(dòng)人工智能和機(jī)器學(xué)習(xí)的邊界,這種創(chuàng)新架構(gòu)將在實(shí)現(xiàn)更高效和強(qiáng)大的計(jì)算系統(tǒng)方面發(fā)揮關(guān)鍵作用。2 a7 B6 x$ Y) ~1 A. ?& J
參考文獻(xiàn)[1]M. Nikdast, S. Pasricha, G. Nicolescu, and A. Seyedi, Eds., Silicon Photonics for High-Performance Computing and Beyond, 1st ed. Boca Raton, FL, USA: CRC Press, 2021.* f u6 i& W% N8 X0 N9 b6 V
- END -
6 Q. L1 A6 M" B$ a' ^3 L8 y( d. {( k- y3 d8 B* m" z# ~2 x
軟件申請(qǐng)我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請(qǐng)?bào)w驗(yàn)免費(fèi)版PIC Studio軟件。無論是研究還是商業(yè)應(yīng)用,PIC Studio都可提升您的工作效能。/ H8 {: C& r' K b n C) }0 X
點(diǎn)擊左下角"閱讀原文"馬上申請(qǐng)
, y3 \8 a& A8 I
* w4 J7 p/ Q$ _, Y, M8 h5 X歡迎轉(zhuǎn)載
% j8 p0 P; {& T! i2 b$ I+ C+ z8 p4 L
轉(zhuǎn)載請(qǐng)注明出處,請(qǐng)勿修改內(nèi)容和刪除作者信息!
5 \8 m) g$ Q9 f5 N6 i
z ~9 j0 @' O
* m* _2 W% D" C, _$ G5 `- P$ _- j# ], G; {) \0 R! ~& z3 V3 ^6 k% K
t4fh1omw4bj6401284247.gif (16.04 KB, 下載次數(shù): 0)
下載附件
保存到相冊(cè)
t4fh1omw4bj6401284247.gif
2024-9-6 13:32 上傳
* }: E" h% z- ~; f* |; ]7 E2 b
5 k. |2 B- W% `1 F* Y- z關(guān)注我們
5 o+ E& ?/ ^2 e7 X# ?6 X0 C3 X) C
! i1 }8 T$ U4 m8 E8 j, T3 E8 W5 |. D$ K1 s5 ] X: t' Z" a
4fflkvqbpgm6401284347.png (31.33 KB, 下載次數(shù): 0)
下載附件
保存到相冊(cè)
4fflkvqbpgm6401284347.png
2024-9-6 13:32 上傳
& B N- E; U4 ?* @. V2 g& h
| / j4 P2 l. \) J
rnhb2dzvtyy6401284447.png (82.79 KB, 下載次數(shù): 1)
下載附件
保存到相冊(cè)
rnhb2dzvtyy6401284447.png
2024-9-6 13:32 上傳
, |. i3 S: `; i
| * R7 V2 N V d9 J8 a+ l
2fgii0sxz4i6401284547.png (21.52 KB, 下載次數(shù): 0)
下載附件
保存到相冊(cè)
2fgii0sxz4i6401284547.png
2024-9-6 13:32 上傳
9 Y( s1 c) e5 d9 I, g; @5 [! B | ' s, H; U# s2 R F8 Y
1 f# C* G) o6 W x
, }2 F0 R; |% M9 b$ m# W( p+ g
* \$ e' B3 H- V7 p關(guān)于我們:
, s" a U! Q) D# J) l2 v深圳逍遙科技有限公司(Latitude Design Automation Inc.)是一家專注于半導(dǎo)體芯片設(shè)計(jì)自動(dòng)化(EDA)的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計(jì)和仿真軟件,提供成熟的設(shè)計(jì)解決方案如PIC Studio、MEMS Studio和Meta Studio,分別針對(duì)光電芯片、微機(jī)電系統(tǒng)、超透鏡的設(shè)計(jì)與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù),廣泛服務(wù)于光通訊、光計(jì)算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國(guó)內(nèi)外晶圓代工廠及硅光/MEMS中試線合作,推動(dòng)特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展,致力于為客戶提供前沿技術(shù)與服務(wù)。+ r& C* ~' _- X$ W
; P$ ]2 Y* S) a Ghttp://www.latitudeda.com/
8 |- N- T; W: ^3 P e7 k0 k(點(diǎn)擊上方名片關(guān)注我們,發(fā)現(xiàn)更多精彩內(nèi)容) |
|