?領(lǐng)域自適應(yīng)大語言模型在芯片設(shè)計中的應(yīng)用

逍遙設(shè)計自動化

引言
7 {' W: k" j8 v0 h; J0 X- {大語言模型(LLMs)已經(jīng)改變了許多領(lǐng)域,現(xiàn)在正在芯片設(shè)計領(lǐng)域取得進展。本文探討了領(lǐng)域自適應(yīng)大語言模型如何被用來增強和可能改變芯片設(shè)計過程[1]。
" z$ L1 y& M" L. |7 F8 p' O
2 b1 l) P1 l4 W2 k為什么需要領(lǐng)域自適應(yīng)大語言模型?
; S- r" `  I+ ]5 N# g4 z2 P9 z; x9 |7 Y( N大語言模型的強大之處在于廣泛的知識和能力。這些模型擅長自然語言理解、推理、問題解決,甚至代碼生成。然而,要在芯片設(shè)計等專業(yè)領(lǐng)域真正發(fā)揮作用,需要融入特定領(lǐng)域的知識。
7 w$ l# U4 [0 l: y3 M$ {2 k
圖1: 展示了預(yù)訓(xùn)練模型廣泛的知識和能力,包括自然語言理解、推理、問題解決和代碼生成。
) m2 D) M& W9 e6 l
領(lǐng)域自適應(yīng)大語言模型彌合了通用語言模型與芯片設(shè)計專業(yè)需求之間的差距。這些模型能夠理解和生成硬件描述語言、協(xié)助驗證過程,甚至幫助優(yōu)化芯片布局。
; q" t5 X6 n5 v3 R& t9 i' I
+ @: U& ]2 _9 v* g4 p7 g圖2: 描述了領(lǐng)域自適應(yīng)大語言模型如何為電子設(shè)計自動化任務(wù)融入專業(yè)知識。
2 c* V+ w5 w* C, {) b- g+ K
% _1 r8 J5 p! o$ S9 S! Z1 A- g領(lǐng)域自適應(yīng)大語言模型技術(shù)
創(chuàng)建芯片設(shè)計領(lǐng)域自適應(yīng)大語言模型主要有三種方法:

模型訓(xùn)練階段: 在模型初始訓(xùn)練期間深度融入領(lǐng)域特定知識。

模型微調(diào)階段: 在初始訓(xùn)練后,針對特定任務(wù)增強模型性能。

模型推理階段: 這種方法在實時動態(tài)調(diào)整模型,無需改變其基本參數(shù)。
[/ol]
4 ?8 z# u% ^; j

6 ^* z! a+ j/ {圖3: 比較了不同的領(lǐng)域自適應(yīng)大語言模型技術(shù),展示了成本、資源需求、領(lǐng)域數(shù)據(jù)量和對模型參數(shù)影響之間的權(quán)衡。

每種方法都有優(yōu)點和權(quán)衡。選擇取決于可用的計算資源、領(lǐng)域特定數(shù)據(jù)量和具體任務(wù)。
+ Z/ `4 [# A: x- `( l
) u+ U4 Z4 ?; o' x3 h( \9 C領(lǐng)域自適應(yīng)預(yù)訓(xùn)練(DAPT)
6 W7 z* |5 \) T% ^' s1 ODAPT涉及在大量領(lǐng)域特定數(shù)據(jù)上訓(xùn)練模型。對于芯片設(shè)計,這可能包括硬件相關(guān)代碼、RTL(寄存器傳輸級)描述、驗證測試平臺和硬件規(guī)格。
" t% V, J! B3 p2 W, n
圖4: 圖解說明了芯片設(shè)計任務(wù)的領(lǐng)域自適應(yīng)預(yù)訓(xùn)練過程。
) r; M! Q9 ~& @0 J7 ~
ChipNeMo是DAPT在實踐中的例子,這是一個針對芯片設(shè)計的領(lǐng)域自適應(yīng)大語言模型。準備DAPT需要:

可用的基礎(chǔ)模型(如Llama)

大型領(lǐng)域數(shù)據(jù)集

足夠的訓(xùn)練資源
; F) i* i5 C) q* b
+ l0 s# W( u3 v' cDAPT過程通常包括:
$ ?& l, h( {. z: P- W; J( L8 W/ }

調(diào)整領(lǐng)域自適應(yīng)分詞器

使用自回歸語言建模目標

在通用和領(lǐng)域內(nèi)語料庫的組合上進行訓(xùn)練
2 l: o! @* Z3 C" e. o# G
DAPT的結(jié)果是一個領(lǐng)域自適應(yīng)基礎(chǔ)模型,可以進一步針對各種芯片設(shè)計任務(wù)進行微調(diào)。
3 b: n" M' x+ D9 [# o! V% P3 G/ K
5 L1 {( C& Q5 E任務(wù)特定微調(diào)(TSFT)
% Y. G" u8 i" T" B; ]. vTSFT涉及對預(yù)訓(xùn)練模型(通用大語言模型或領(lǐng)域自適應(yīng)模型)進行針對特定芯片設(shè)計任務(wù)的微調(diào)。這個過程需要:

基礎(chǔ)模型

特定任務(wù)(如Verilog生成、錯誤檢測)

領(lǐng)域任務(wù)數(shù)據(jù)集

評估基準和指標

- g7 n0 H" x) v' X% V) }" r4 E+ L' M
/ Q7 N1 u4 U* x. V6 R! ~9 ^' ]
6 G: d: K' c& A& H% f* E8 u圖5: 概述了任務(wù)特定微調(diào)過程,顯示了芯片設(shè)計任務(wù)有效微調(diào)所需的組件。

對于基礎(chǔ)模型,研究人員可以使用開源通用模型如CodeGen、Mistral或Llama,或領(lǐng)域自適應(yīng)模型如ChipNemo。選擇取決于任務(wù)的具體要求和可用資源。
8 Z' S# m5 T' G) K
- z/ ~- P) P4 l+ ?% }; O+ X領(lǐng)域任務(wù)數(shù)據(jù)集可以來自多個來源:

教科書

開源代碼庫

合成數(shù)據(jù)(由人或機器生成)

專有數(shù)據(jù)

競賽數(shù)據(jù)集

' l: X8 M. u! q  U6 m6 h) q5 }

7 |8 B/ Y" ^/ L5 i9 l( y- Q圖6: 用于訓(xùn)練芯片設(shè)計任務(wù)領(lǐng)域自適應(yīng)大語言模型的問題描述和參考代碼對的示例。

基準在評估這些模型的性能中起著關(guān)鍵作用。該領(lǐng)域的兩個著名基準是:

RTLLM: 一個包含30個HDL設(shè)計任務(wù)的基準,配有測試平臺和語法、語義和性能指標。

VerilogEval: 該基準包括機器生成和人工策劃的Verilog代碼生成任務(wù)問題描述。



圖7: RTLLM基準任務(wù)示例,顯示了實現(xiàn)4位無符號數(shù)流水線乘法器的詳細問題描述。

$ L1 `: ^  W/ V# w0 P! O
5 H$ x/ j5 \8 t$ ^提示工程和推理時技術(shù)
! w( l9 Z" t" \8 S8 O4 g雖然預(yù)訓(xùn)練和微調(diào)專注于修改模型本身,提示工程和其他推理時技術(shù)允許我們利用大語言模型進行芯片設(shè)計,而無需更改底層模型參數(shù)。
8 s% z# x0 G- r& n& ~0 {! n9 H5 F
. a3 C: I/ e: h) j' x提示工程的一個強大應(yīng)用是創(chuàng)建芯片設(shè)計助手聊天機器人。這些聊天機器人可以理解自然語言查詢、解決問題,并與用戶互動,在整個設(shè)計過程中提供指導(dǎo)。


圖8: 流程圖描述了使用大語言模型驅(qū)動的Verilog RTL助手的過程,包括自我驗證和自我糾正步驟。

要有效地使用大語言模型作為芯片設(shè)計助手,請考慮以下提示工程技術(shù):

角色扮演: 要求模型扮演硬件專家的角色。

少樣本學(xué)習(xí): 提供正面和負面例子來指導(dǎo)模型的輸出。

任務(wù)分解: 將復(fù)雜問題分解成更小、可管理的步驟。

約束規(guī)范: 使用[BEGIN]和[END]等標簽來控制輸出格式。

思維鏈提示: 要求模型逐步解決問題。

多輪交互: 進行來回對話以細化輸出。
[/ol]
+ l, Q' Q4 }; M4 X5 ^

圖9: 圖表顯示了大語言模型驅(qū)動的Verilog RTL助手中的反饋循環(huán)和自我糾正過程。

( g, Z- M8 r- R% A另一個強大的技術(shù)是將大語言模型與外部工具和模擬器結(jié)合。這創(chuàng)建了一個反饋循環(huán),允許模型驗證其輸出并根據(jù)現(xiàn)實世界結(jié)果進行糾正。該過程通常包括:

初始提示創(chuàng)建

接收來自大語言模型的輸出

將輸出饋送到模擬器或編譯器

提取反饋

根據(jù)反饋創(chuàng)建新提示

重復(fù)交互以進行多輪提示
[/ol]
& j, V# c$ Q, `3 `# V

圖10: 說明了使用大型語言模型自動修復(fù)RTL語法錯誤的檢索增強生成過程。
$ f0 _) J; P7 ^- O& y
& X1 l+ D8 t7 w檢索增強生成(RAG)是另一種有前景的方法。例如,在RTL語法錯誤糾正中,RAG可用于:

對各種語法錯誤進行分類

收集人類專家對編譯器日志的指導(dǎo)和解釋

建立編譯器日志、錯誤代碼段和人類指導(dǎo)的數(shù)據(jù)庫

使用該數(shù)據(jù)庫為大語言模型對語法錯誤的響應(yīng)提供信息
[/ol]
未來方向
隨著芯片設(shè)計領(lǐng)域自適應(yīng)大語言模型領(lǐng)域的不斷發(fā)展,幾個方向浮現(xiàn)出來:

與相鄰領(lǐng)域交叉: 借鑒軟件開發(fā)和形式驗證中大語言模型的想法。

開發(fā)更多開源數(shù)據(jù)集和基準。

探索人機協(xié)作方法,結(jié)合大語言模型和人類專家的優(yōu)勢。

將PPA(功耗、性能、面積)指標納入大語言模型評估。

利用多模態(tài)數(shù)據(jù),包括文本、代碼、圖表和規(guī)格。

促進學(xué)術(shù)界和產(chǎn)業(yè)界之間的合作,推進理論基礎(chǔ)和實際應(yīng)用。
  L. s$ J$ Y8 p/ `8 L" Z1 m" G[/ol]
+ }* m) I4 D4 _隨著繼續(xù)推動芯片設(shè)計中領(lǐng)域自適應(yīng)大語言模型的可能性邊界,可以期待看到自動化程度的提高、設(shè)計質(zhì)量的改善,以及可能徹底改變硬件開發(fā)方法的變革。芯片設(shè)計的未來無疑與這些強大的AI模型的進步息息相關(guān)。

參考文獻
) Z5 I# u! Y# N( [6 d  z) N: G[1] H. Huang, "Domain-adaptive LLMs for Chip Design," University of California San Diego, 2024.

6 d! T* Y: P' Z: n$ }3 S, f% B- END -
, V: o& H- }5 G. A+ Q
% y! f( C/ Q9 v# w2 h; _5 o2 P6 c! Z軟件申請我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請體驗免費版PIC Studio軟件。無論是研究還是商業(yè)應(yīng)用，PIC Studio都可提升您的工作效能。
6 N! K3 i0 a( \  b點擊左下角"閱讀原文"馬上申請
# j4 ]6 q* T  P6 `, t
歡迎轉(zhuǎn)載

; W$ [2 F" o6 O* H轉(zhuǎn)載請注明出處，請勿修改內(nèi)容和刪除作者信息！
7 ~2 ?3 x0 [! ~2 A4 j! T9 Y
7 Y, O9 n# Y7 @- t, U& \. ~1 V* ^/ ?
. E! m5 ]1 w, f4 M, W

! T: m; f- ?4 [7 `( p' I* |: |
關(guān)注我們
6 b' f% M$ B# ?
0 q; B% H  B' e1 C7 @

$ ~. L. j. G& F% @8 ^' |5 m

6 S$ U& N" n) \* h& C3 F0 |

! U7 q2 L9 H" ^

                     
7 v; Y8 T4 g% ?# n" ~0 c

7 l2 Z# t( }' F1 s) W4 a
' r' Z5 [+ f( U- P# W6 u7 E7 H: |7 r關(guān)于我們：
+ @" b. L, A0 \& @深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導(dǎo)體芯片設(shè)計自動化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計和仿真軟件，提供成熟的設(shè)計解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對光電芯片、微機電系統(tǒng)、超透鏡的設(shè)計與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù)，廣泛服務(wù)于光通訊、光計算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務(wù)。

2 e5 j& e' b& s: s7 i3 Shttp://www.latitudeda.com/
) _  S3 p/ [. M0 B5 l: X3 B（點擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）