?領(lǐng)域自適應(yīng)大語(yǔ)言模型在芯片設(shè)計(jì)中的應(yīng)用

逍遙設(shè)計(jì)自動(dòng)化 · 發(fā)表于 4 天前

引言
大語(yǔ)言模型(LLMs)已經(jīng)改變了許多領(lǐng)域,現(xiàn)在正在芯片設(shè)計(jì)領(lǐng)域取得進(jìn)展。本文探討了領(lǐng)域自適應(yīng)大語(yǔ)言模型如何被用來(lái)增強(qiáng)和可能改變芯片設(shè)計(jì)過(guò)程[1]。

為什么需要領(lǐng)域自適應(yīng)大語(yǔ)言模型?
大語(yǔ)言模型的強(qiáng)大之處在于廣泛的知識(shí)和能力。這些模型擅長(zhǎng)自然語(yǔ)言理解、推理、問(wèn)題解決,甚至代碼生成。然而,要在芯片設(shè)計(jì)等專業(yè)領(lǐng)域真正發(fā)揮作用,需要融入特定領(lǐng)域的知識(shí)。

圖1: 展示了預(yù)訓(xùn)練模型廣泛的知識(shí)和能力,包括自然語(yǔ)言理解、推理、問(wèn)題解決和代碼生成。

領(lǐng)域自適應(yīng)大語(yǔ)言模型彌合了通用語(yǔ)言模型與芯片設(shè)計(jì)專業(yè)需求之間的差距。這些模型能夠理解和生成硬件描述語(yǔ)言、協(xié)助驗(yàn)證過(guò)程,甚至幫助優(yōu)化芯片布局。

圖2: 描述了領(lǐng)域自適應(yīng)大語(yǔ)言模型如何為電子設(shè)計(jì)自動(dòng)化任務(wù)融入專業(yè)知識(shí)。

領(lǐng)域自適應(yīng)大語(yǔ)言模型技術(shù)
創(chuàng)建芯片設(shè)計(jì)領(lǐng)域自適應(yīng)大語(yǔ)言模型主要有三種方法:

模型訓(xùn)練階段: 在模型初始訓(xùn)練期間深度融入領(lǐng)域特定知識(shí)。

模型微調(diào)階段: 在初始訓(xùn)練后,針對(duì)特定任務(wù)增強(qiáng)模型性能。

模型推理階段: 這種方法在實(shí)時(shí)動(dòng)態(tài)調(diào)整模型,無(wú)需改變其基本參數(shù)。
[/ol]

圖3: 比較了不同的領(lǐng)域自適應(yīng)大語(yǔ)言模型技術(shù),展示了成本、資源需求、領(lǐng)域數(shù)據(jù)量和對(duì)模型參數(shù)影響之間的權(quán)衡。

每種方法都有優(yōu)點(diǎn)和權(quán)衡。選擇取決于可用的計(jì)算資源、領(lǐng)域特定數(shù)據(jù)量和具體任務(wù)。

領(lǐng)域自適應(yīng)預(yù)訓(xùn)練(DAPT)
DAPT涉及在大量領(lǐng)域特定數(shù)據(jù)上訓(xùn)練模型。對(duì)于芯片設(shè)計(jì),這可能包括硬件相關(guān)代碼、RTL(寄存器傳輸級(jí))描述、驗(yàn)證測(cè)試平臺(tái)和硬件規(guī)格。

圖4: 圖解說(shuō)明了芯片設(shè)計(jì)任務(wù)的領(lǐng)域自適應(yīng)預(yù)訓(xùn)練過(guò)程。

ChipNeMo是DAPT在實(shí)踐中的例子,這是一個(gè)針對(duì)芯片設(shè)計(jì)的領(lǐng)域自適應(yīng)大語(yǔ)言模型。準(zhǔn)備DAPT需要:

可用的基礎(chǔ)模型(如Llama)

大型領(lǐng)域數(shù)據(jù)集

足夠的訓(xùn)練資源

DAPT過(guò)程通常包括:

調(diào)整領(lǐng)域自適應(yīng)分詞器

使用自回歸語(yǔ)言建模目標(biāo)

在通用和領(lǐng)域內(nèi)語(yǔ)料庫(kù)的組合上進(jìn)行訓(xùn)練

DAPT的結(jié)果是一個(gè)領(lǐng)域自適應(yīng)基礎(chǔ)模型,可以進(jìn)一步針對(duì)各種芯片設(shè)計(jì)任務(wù)進(jìn)行微調(diào)。

任務(wù)特定微調(diào)(TSFT)
TSFT涉及對(duì)預(yù)訓(xùn)練模型(通用大語(yǔ)言模型或領(lǐng)域自適應(yīng)模型)進(jìn)行針對(duì)特定芯片設(shè)計(jì)任務(wù)的微調(diào)。這個(gè)過(guò)程需要:

基礎(chǔ)模型

特定任務(wù)(如Verilog生成、錯(cuò)誤檢測(cè))

領(lǐng)域任務(wù)數(shù)據(jù)集

評(píng)估基準(zhǔn)和指標(biāo)

圖5: 概述了任務(wù)特定微調(diào)過(guò)程,顯示了芯片設(shè)計(jì)任務(wù)有效微調(diào)所需的組件。

對(duì)于基礎(chǔ)模型,研究人員可以使用開(kāi)源通用模型如CodeGen、Mistral或Llama,或領(lǐng)域自適應(yīng)模型如ChipNemo。選擇取決于任務(wù)的具體要求和可用資源。

領(lǐng)域任務(wù)數(shù)據(jù)集可以來(lái)自多個(gè)來(lái)源:

教科書(shū)

開(kāi)源代碼庫(kù)

合成數(shù)據(jù)(由人或機(jī)器生成)

專有數(shù)據(jù)

競(jìng)賽數(shù)據(jù)集

圖6: 用于訓(xùn)練芯片設(shè)計(jì)任務(wù)領(lǐng)域自適應(yīng)大語(yǔ)言模型的問(wèn)題描述和參考代碼對(duì)的示例。

基準(zhǔn)在評(píng)估這些模型的性能中起著關(guān)鍵作用。該領(lǐng)域的兩個(gè)著名基準(zhǔn)是:

RTLLM: 一個(gè)包含30個(gè)HDL設(shè)計(jì)任務(wù)的基準(zhǔn),配有測(cè)試平臺(tái)和語(yǔ)法、語(yǔ)義和性能指標(biāo)。

VerilogEval: 該基準(zhǔn)包括機(jī)器生成和人工策劃的Verilog代碼生成任務(wù)問(wèn)題描述。

圖7: RTLLM基準(zhǔn)任務(wù)示例,顯示了實(shí)現(xiàn)4位無(wú)符號(hào)數(shù)流水線乘法器的詳細(xì)問(wèn)題描述。
, y: D4 p, Z' Q1 X( S8 f% x

提示工程和推理時(shí)技術(shù)
雖然預(yù)訓(xùn)練和微調(diào)專注于修改模型本身,提示工程和其他推理時(shí)技術(shù)允許我們利用大語(yǔ)言模型進(jìn)行芯片設(shè)計(jì),而無(wú)需更改底層模型參數(shù)。

提示工程的一個(gè)強(qiáng)大應(yīng)用是創(chuàng)建芯片設(shè)計(jì)助手聊天機(jī)器人。這些聊天機(jī)器人可以理解自然語(yǔ)言查詢、解決問(wèn)題,并與用戶互動(dòng),在整個(gè)設(shè)計(jì)過(guò)程中提供指導(dǎo)。

圖8: 流程圖描述了使用大語(yǔ)言模型驅(qū)動(dòng)的Verilog RTL助手的過(guò)程,包括自我驗(yàn)證和自我糾正步驟。

要有效地使用大語(yǔ)言模型作為芯片設(shè)計(jì)助手,請(qǐng)考慮以下提示工程技術(shù):

角色扮演: 要求模型扮演硬件專家的角色。

少樣本學(xué)習(xí): 提供正面和負(fù)面例子來(lái)指導(dǎo)模型的輸出。

任務(wù)分解: 將復(fù)雜問(wèn)題分解成更小、可管理的步驟。

約束規(guī)范: 使用[BEGIN]和[END]等標(biāo)簽來(lái)控制輸出格式。

思維鏈提示: 要求模型逐步解決問(wèn)題。

多輪交互: 進(jìn)行來(lái)回對(duì)話以細(xì)化輸出。
[/ol]

圖9: 圖表顯示了大語(yǔ)言模型驅(qū)動(dòng)的Verilog RTL助手中的反饋循環(huán)和自我糾正過(guò)程。

另一個(gè)強(qiáng)大的技術(shù)是將大語(yǔ)言模型與外部工具和模擬器結(jié)合。這創(chuàng)建了一個(gè)反饋循環(huán),允許模型驗(yàn)證其輸出并根據(jù)現(xiàn)實(shí)世界結(jié)果進(jìn)行糾正。該過(guò)程通常包括:

初始提示創(chuàng)建

接收來(lái)自大語(yǔ)言模型的輸出

將輸出饋送到模擬器或編譯器

提取反饋

根據(jù)反饋創(chuàng)建新提示

重復(fù)交互以進(jìn)行多輪提示
[/ol]

圖10: 說(shuō)明了使用大型語(yǔ)言模型自動(dòng)修復(fù)RTL語(yǔ)法錯(cuò)誤的檢索增強(qiáng)生成過(guò)程。

檢索增強(qiáng)生成(RAG)是另一種有前景的方法。例如,在RTL語(yǔ)法錯(cuò)誤糾正中,RAG可用于:

對(duì)各種語(yǔ)法錯(cuò)誤進(jìn)行分類

收集人類專家對(duì)編譯器日志的指導(dǎo)和解釋

建立編譯器日志、錯(cuò)誤代碼段和人類指導(dǎo)的數(shù)據(jù)庫(kù)

使用該數(shù)據(jù)庫(kù)為大語(yǔ)言模型對(duì)語(yǔ)法錯(cuò)誤的響應(yīng)提供信息
[/ol]
未來(lái)方向
隨著芯片設(shè)計(jì)領(lǐng)域自適應(yīng)大語(yǔ)言模型領(lǐng)域的不斷發(fā)展,幾個(gè)方向浮現(xiàn)出來(lái):

與相鄰領(lǐng)域交叉: 借鑒軟件開(kāi)發(fā)和形式驗(yàn)證中大語(yǔ)言模型的想法。

開(kāi)發(fā)更多開(kāi)源數(shù)據(jù)集和基準(zhǔn)。

探索人機(jī)協(xié)作方法,結(jié)合大語(yǔ)言模型和人類專家的優(yōu)勢(shì)。

將PPA(功耗、性能、面積)指標(biāo)納入大語(yǔ)言模型評(píng)估。

利用多模態(tài)數(shù)據(jù),包括文本、代碼、圖表和規(guī)格。

促進(jìn)學(xué)術(shù)界和產(chǎn)業(yè)界之間的合作,推進(jìn)理論基礎(chǔ)和實(shí)際應(yīng)用。
[/ol]
隨著繼續(xù)推動(dòng)芯片設(shè)計(jì)中領(lǐng)域自適應(yīng)大語(yǔ)言模型的可能性邊界,可以期待看到自動(dòng)化程度的提高、設(shè)計(jì)質(zhì)量的改善,以及可能徹底改變硬件開(kāi)發(fā)方法的變革。芯片設(shè)計(jì)的未來(lái)無(wú)疑與這些強(qiáng)大的AI模型的進(jìn)步息息相關(guān)。

參考文獻(xiàn)
[1] H. Huang, "Domain-adaptive LLMs for Chip Design," University of California San Diego, 2024.

- END -

軟件申請(qǐng)我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請(qǐng)?bào)w驗(yàn)免費(fèi)版PIC Studio軟件。無(wú)論是研究還是商業(yè)應(yīng)用，PIC Studio都可提升您的工作效能。
點(diǎn)擊左下角"閱讀原文"馬上申請(qǐng)

歡迎轉(zhuǎn)載

轉(zhuǎn)載請(qǐng)注明出處，請(qǐng)勿修改內(nèi)容和刪除作者信息！

! w! C" S i& ?' S+ Y

關(guān)注我們

* O' l0 S* ~& l$ ~2 N4 ]& `, b

關(guān)于我們：
深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導(dǎo)體芯片設(shè)計(jì)自動(dòng)化（EDA）的高科技軟件公司。我們自主開(kāi)發(fā)特色工藝芯片設(shè)計(jì)和仿真軟件，提供成熟的設(shè)計(jì)解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對(duì)光電芯片、微機(jī)電系統(tǒng)、超透鏡的設(shè)計(jì)與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù)，廣泛服務(wù)于光通訊、光計(jì)算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國(guó)內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動(dòng)特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務(wù)。

http://www.latitudeda.com/
（點(diǎn)擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）

?領(lǐng)域自適應(yīng)大語(yǔ)言模型在芯片設(shè)計(jì)中的應(yīng)用

發(fā)表回復(fù)

精選推薦

站長(zhǎng)推薦 /1