IEEE J. Quantum Electron更新 | 基于相位到振幅轉換的全光學神經(jīng)激活函數(shù)

逍遙設計自動化

引言
人工神經(jīng)網(wǎng)絡（ANNs）在人工智能領域引發(fā)了革命，在圖像識別、音頻處理和自然語言處理等多種任務中展現(xiàn)出卓越的性能。然而，現(xiàn)代ANNs日益增長的計算需求促使研究人員探索受人腦啟發(fā)的非常規(guī)硬件平臺。硅基光電子技術作為神經(jīng)形態(tài)計算的有前途的候選者脫穎而出，具有波長輔助并行性、固有線性處理能力和低功耗等優(yōu)勢。

ANNs的關鍵方面是激活函數(shù)，為網(wǎng)絡引入非線性，使復雜的模式識別成為可能。在本文中探討創(chuàng)新方法，利用無源光學諧振器中的相位到振幅（PTA）轉換來實現(xiàn)全光學、可重構和功率無關的神經(jīng)激活函數(shù)。

" ?$ z+ s2 ^9 m7 X4 ^9 K" Y

# X5 [  l5 N8 K- |6 y2 A9 _相位到振幅轉換
9 Z  D8 a1 M3 ]7 X: b' i: d這種方法的核心概念是在無源光學濾波器（如微環(huán)諧振器，MRRs）中發(fā)生的非線性相位到振幅轉換。在這種方案中，信息被編碼在光載波包絡的相位中：


其中P是輸入功率，m是調制指數(shù)，n(t)是范圍從-1到1的歸一化信號。

+ E& h* ^+ h6 \, v
) X0 C+ n7 E5 Q; D圖1展示了相位梯度對基于微環(huán)諧振器漏端口的IIR光學濾波器透射率的影響。
* _3 x. a, [5 m# l& c3 S% o
: M3 K( S3 Q0 e2 [, i光信號的頻率由相位編碼信息調制：
& C3 V6 d- A' \' i6 W
隨著光信號頻率因相位調制而變化，光學濾波器的透射率也隨之改變。這個過程產(chǎn)生了非線性PTA響應，該響應與輸入功率無關，使其非常適合低功耗應用。

. c+ ?% D( B: k! ~8 @2 l作為可重構光子神經(jīng)元的微環(huán)諧振器
; y% Y6 Q. x2 \* ]6 d! }# Z+ y6 ]為了演示PTA轉換機制，我們將使用微環(huán)諧振器（MRR）作為光學濾波器。MRR漏端口的傳遞函數(shù)為：
0 }  @% W" D' m9 b7 ]


其中s = √k，c = √(1-k)，k是耦合系數(shù)，ζ = γ exp(-j(2π(f + df)Tring))。

' N. H% f( h2 }! x9 q( g3 z
1 R# M  W6 Z* k$ C" e圖2
) ~6 t% V0 t1 P7 x2 C4 w$ Y- @
圖2顯示了通過PTA轉換從單個MRR節(jié)點的漏端口獲得的不同激活函數(shù)：
& `. n4 Q) m5 R# G(a) Soft-plus函數(shù)
7 \7 @' S% u* X% C2 `- o(b) Sigmoid函數(shù)
(c) 高斯函數(shù)
* n& G! `4 c  q' T" T
4 D& S! i4 a  l, U4 \: L通過調整兩個關鍵超參數(shù) - 調制指數(shù)m和頻率失諧df - 可以控制激活函數(shù)的形狀。這使我們能夠重現(xiàn)多種獨立于輸入功率且對相位不確定性具有容忍度的激活函數(shù)。

& i  N" ^! N+ V' \時延儲備計算
# ?$ G! s- O6 g3 J為了展示PTA轉換機制的實際應用，將實現(xiàn)一個時延儲備計算（TDRC）方案，用于Santa Fe混沌時間序列的一步預測。
  K" q* S. F) U% N% H
+ |! Y) m' `# k8 v
1 }" G1 A# H; k, i! z圖3展示了用于Santa Fe混沌序列一步預測的TDRC設置。
+ Q# \& H5 d& n+ i) r; W5 o
TDRC設置包括以下組件：
1.輸入處理：時間序列被歸一化并與掩碼矩陣相乘以進行維度擴展。
9 H! U+ h* y6 N2.數(shù)模轉換：處理后的輸入轉換為模擬信號用于光學調制。
3.光學調制：信號使用幅度調制（AM）或相位調制（PM）調制光載波。
5 k: l2 W, F/ z( [4.光子儲備：帶有外部反饋環(huán)的MRR為儲備提供物理存儲。
2 k/ m* V- V0 k2 T' Q5.光電檢測和模數(shù)轉換：光子儲備的輸出被檢測并數(shù)字化。
  v  l3 e# T3 ]6 S* @& A6.線性回歸：處理后的數(shù)據(jù)用于進行一步預測。
) w/ P2 G: @7 s( \' n9 x7 X
性能評估
6 j  o7 V& w" a  o# J! A( A4 N0 z使用幅度調制（AM）和相位調制（PM）方案評估TDRC系統(tǒng)的性能。使用的性能指標是歸一化均方誤差（NMSE）。
% ]$ c0 O& U; x2 r, q6 P) j
圖4顯示了(a) AM的反饋強度和頻率失諧，以及(b) PM的調制指數(shù)和頻率失諧的NMSE函數(shù)。

/ E4 w9 `% y% G, F+ U" u  X' @2 I7 ?對于AM方案，在-4 GHz的負失諧和反饋強度η = 1時觀察到最佳性能，NMSE為0.12 ± 0.019。
0 X- P% e9 W* x! C/ S* u4 S
利用PTA轉換的PM方案展現(xiàn)出更優(yōu)越的性能。在4 GHz的失諧和1.1的調制指數(shù)下，達到了0.024 ± 0.004的最佳NMSE。
& p$ h( ]  X7 l: h

7 F! ?! s! K/ V* j0 n圖5顯示了AM（SR = 10 Gsa/s）和PM（SR = 10, 100 Gsa/s）的NMSE作為輸入功率的函數(shù)。

3 y" J$ u0 {; D1 |- Y. xPM方案在廣泛的輸入功率范圍內(nèi)優(yōu)于AM方案，展現(xiàn)出更高的性能和更好的功率效率。即使在低輸入功率（-10 dBm）下，PM方案也達到了0.041的NMSE，展示了PTA機制的功率獨立性。
4 i* q5 g; W6 i& c; f
優(yōu)勢和應用
& X% G7 }+ ^, Y. W9 C提出的基于PTA的激活函數(shù)具有幾個優(yōu)勢：
1.功率獨立性：即使在低輸入功率下也能保持非線性效應，適合低功率應用。
2.可重構性：通過調整調制指數(shù)和頻率失諧，可以使用單個MRR實現(xiàn)各種激活函數(shù)。
3.高速操作：系統(tǒng)可以以高達2 Gsa/s的速率進行處理（對于100 Gsa/s的采樣率），適合高速應用。
4.集成：MRR的無源性質使其與硅基光電子集成兼容，這對大規(guī)模神經(jīng)形態(tài)系統(tǒng)至為重要。

這項技術的潛在應用包括：
3 I- x, \5 r0 m8 b8 i1.光學神經(jīng)網(wǎng)絡：基于PTA的激活函數(shù)可用于卷積神經(jīng)網(wǎng)絡和前饋網(wǎng)絡，提供額外的可訓練元素。
2.復值神經(jīng)網(wǎng)絡：PTA機制可用于實現(xiàn)復值ANNs的復雜激活函數(shù)。
3.全光信號處理：PTA非線性可用于諸如全光ASK到PSK轉換等任務。
4.穩(wěn)健光子結構：基于PTA的激活函數(shù)的功率獨立性可以為硅基光電子結構中的高光學損耗提供穩(wěn)健性。

結論
. ^5 s) O9 ?% Y! L本文介紹了創(chuàng)新方法，利用無源光學諧振器中的相位到振幅轉換來實現(xiàn)全光學、可重構和功率無關的神經(jīng)激活函數(shù)。通過利用微環(huán)諧振器的非線性響應，我們可以創(chuàng)建對人工神經(jīng)網(wǎng)絡非常重要的各種激活函數(shù)。

+ L1 ^4 A0 A) N" B, B6 z& c與傳統(tǒng)的幅度調制方案相比，該系統(tǒng)在時延儲備計算方面表現(xiàn)出更優(yōu)越的性能。其功率獨立性、可重構性和與硅基光電子技術的兼容性使其成為未來神經(jīng)形態(tài)計算系統(tǒng)的有力候選者。

隨著該領域研究的進展，有望看到全光學神經(jīng)網(wǎng)絡的進一步發(fā)展，可能會產(chǎn)生更高效、更強大的人工智能系統(tǒng)，克服傳統(tǒng)電子實現(xiàn)的局限性。
& Q  w' z. `+ n- f! L
: n+ c# f9 G# e+ C9 c/ W參考文獻
[1] G. Sarantoglou, A. Bogris and C. Mesaritakis, "All-Optical, Reconfigurable, and Power Independent Neural Activation Function by Means of Phase Modulation," IEEE Journal of Quantum Electronics, vol. 60, no. 5, pp. 1-10, Oct. 2024, Art no. 8700206, doi: 10.1109/JQE.2024.3437353.
6 ~! X8 a- j5 a
2 e' f5 m" \# R1 A

. a! D1 w4 j: Z# {0 i# x9 |: b- END -

4 Q( N/ s. Q- S軟件申請我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請體驗免費版PIC Studio軟件。無論是研究還是商業(yè)應用，PIC Studio都可提升您的工作效能。
1 I) X+ ~2 W( c' i點擊左下角"閱讀原文"馬上申請
' t1 C/ c: I) [% g9 t! I0 t
歡迎轉載

' w/ }. U  c. |, J* _5 h轉載請注明出處，請勿修改內(nèi)容和刪除作者信息！
' n0 s6 J; \+ a0 V/ L若需原文鏈接，可留言或私信溝通~
$ ]& J/ z: Y8 R+ ^! J. `4 B8 ?4 R, C
# B4 X7 ]$ U0 S, e5 A* |" a1 W2 U
; H: {# f' u( T1 T* ]. X9 D
% l7 A- ^2 t/ `: H' A
8 h4 }. m) {# K' j) L2 t& \4 M
9 W6 Y$ I5 N/ g4 w
; c  z1 W  b! C/ Q( j( q! P' _# c關注我們
2 i& Q0 S( r# F' ^

# [" C$ X/ f& z

                     
) J* t4 `) ~3 F. B' A8 I/ F


, b) H0 \+ h0 }- Y
* w0 ^- ^  h; f( K% L& f

關于我們：
深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導體芯片設計自動化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設計和仿真軟件，提供成熟的設計解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對光電芯片、微機電系統(tǒng)、超透鏡的設計與仿真。我們提供特色工藝的半導體芯片集成電路版圖、IP和PDK工程服務，廣泛服務于光通訊、光計算、光量子通信和微納光子器件領域的頭部客戶。逍遙科技與國內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動特色工藝半導體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術與服務。
% x& [# I6 ]% |; g- ~7 J
( d, Z) R' M) ghttp://www.latitudeda.com/
（點擊上方名片關注我們，發(fā)現(xiàn)更多精彩內(nèi)容）