Hot Chips 2024 | 大型語言模型和檢索增強生成技術(shù)介紹

逍遙設(shè)計自動化

引言
本文旨在幫助讀者了解大型語言模型（LLMs）和檢索增強生成（RAG）技術(shù)的基礎(chǔ)知識。這些技術(shù)正在電子設(shè)計自動化（EDA）領(lǐng)域產(chǎn)生重大影響，正在改變芯片設(shè)計和驗證的方式[1]。

) e- E) h9 Q: Z' _6 L) C* d8 ?什么是大型語言模型？
. V" h2 R0 i1 i7 z大型語言模型是設(shè)計用于理解和生成類人文本的先進神經(jīng)網(wǎng)絡(luò)。這些模型經(jīng)過海量數(shù)據(jù)訓(xùn)練，能夠執(zhí)行從簡單的文本補全到復(fù)雜推理和代碼生成等各種語言任務(wù)。

& H: v5 Z3 a9 ^+ J7 o圖1：AI概念層次結(jié)構(gòu)，顯示了LLMs在人工智能廣泛領(lǐng)域中的位置。

LLMs建立在復(fù)雜的神經(jīng)網(wǎng)絡(luò)架構(gòu)之上，通常包含數(shù)十億個參數(shù)。這些參數(shù)在訓(xùn)練過程中不斷調(diào)整，模型需要接觸大量文本數(shù)據(jù)。例如，Meta的Llama 3.1模型在訓(xùn)練過程中處理了超過10萬億個單詞，需要約60天的訓(xùn)練時間和20,000多個Nvidia H100 GPU。

這些模型的規(guī)模差異很大，從約70億參數(shù)到超過1萬億參數(shù)不等。開放和封閉模型的選擇取決于架構(gòu)和權(quán)重的公開可用性。通常使用量化技術(shù)來壓縮權(quán)重，在模型大小和準確性之間取得平衡。

LLM架構(gòu)和功能
現(xiàn)代LLMs的核心是Transformer架構(gòu)，由Google DeepMind在2017年的論文"Attention is All You Need"中首次提出。這種架構(gòu)通過引入自注意力機制徹底改變了該領(lǐng)域，使模型能夠同時處理整個文本序列，而不是按順序處理。
& O$ N' [  S4 Q: w  G7 L# n3 b1 h

圖2：原始Transformer架構(gòu)，展示了編碼器和解碼器組件。

% Q. u$ ~+ y+ O! ^+ G9 \# ~# Y' O- d" lLLM的關(guān)鍵組件包括：

分詞：將輸入文本分解成可管理的單元（稱為標(biāo)記）。

嵌入：將標(biāo)記轉(zhuǎn)換為數(shù)值向量表示，捕捉語義含義和單詞之間的關(guān)系。

注意力機制：從嵌入中計算上下文相關(guān)的權(quán)重，關(guān)注輸入的相關(guān)部分。

Transformer層：通過多層自注意力和前饋神經(jīng)網(wǎng)絡(luò)處理嵌入。
[/ol]
LLM訓(xùn)練和局限性
4 P0 W8 O0 E* f9 D9 P+ c訓(xùn)練LLM是復(fù)雜且資源密集的過程，通常包括三個階段：

預(yù)訓(xùn)練：模型接觸大量文本數(shù)據(jù)，學(xué)習(xí)一般語言模式和知識。

微調(diào)：預(yù)訓(xùn)練模型在特定任務(wù)數(shù)據(jù)上進行進一步訓(xùn)練，以專門化其能力。

人類反饋強化學(xué)習(xí)（RLHF）：可選階段，根據(jù)人類偏好優(yōu)化模型輸出。
[/ol]
9 c+ v8 n% [7 v盡管LLMs具有令人印象深刻的能力，但也存在幾個局限性：

在復(fù)雜的數(shù)學(xué)和邏輯推理方面存在困難

基于訓(xùn)練數(shù)據(jù)可能產(chǎn)生有偏見的輸出

知識截止于訓(xùn)練時間

可能產(chǎn)生幻覺或自信地陳述錯誤信息

訓(xùn)練和推理需要高昂的計算和能源成本

關(guān)于數(shù)據(jù)使用和潛在濫用的倫理問題

5 ?$ _' M, d$ [檢索增強生成（RAG）
為了解決一些限制，特別是知識截止問題，檢索增強生成（RAG）技術(shù)應(yīng)運而生。RAG使LLMs能夠在生成過程中訪問和整合外部信息。
; w# i, a+ j, V) n% d' C0 ^
' Y( j' F3 J2 v
圖3：RAG架構(gòu)，顯示了從原始數(shù)據(jù)到LLM響應(yīng)的流程。

, ?: j, Z# z) j  KRAG過程包括：

索引：將原始數(shù)據(jù)轉(zhuǎn)換為嵌入并存儲在向量數(shù)據(jù)庫中。

檢索：接收查詢時，從向量數(shù)據(jù)庫中檢索相關(guān)信息。

增強：將檢索到的信息與用戶的提示結(jié)合。

生成：LLM處理增強后的提示以產(chǎn)生響應(yīng)。
7 X- i0 q5 c* v' U4 T[/ol]
, C1 {- B( E  v2 ARAG允許LLMs利用專有信息、最新數(shù)據(jù)和已知事實，減少產(chǎn)生幻覺的可能性，并擴展模型的有效知識庫。

. h7 s: [. d# A* l! [2 z在電子設(shè)計自動化（EDA）中的應(yīng)用
2 Z+ ?! \7 ]8 I7 @  D( V4 |1 ?LLMs和RAG技術(shù)在電子設(shè)計自動化領(lǐng)域找到了眾多應(yīng)用。關(guān)鍵用例包括：
; E* e. O2 n4 o8 u8 C5 E0 S

架構(gòu)設(shè)計和優(yōu)化

代碼生成和調(diào)試

IP集成和管理

設(shè)計驗證和文檔編寫

入職支持和培訓(xùn)


' w6 E, A' o& |" F
7 [% o/ L5 \4 c圖4：EDA工作流程的演變，顯示隨著AI技術(shù)的進步，人為干預(yù)需求的減少。
  T* |1 q$ s4 Z2 T; ~  E
將LLMs和RAG集成到EDA工作流程中，有望減少許多任務(wù)中對人為干預(yù)的需求。例如，AI代理現(xiàn)在可以處理復(fù)雜的設(shè)計任務(wù)，如創(chuàng)建具有99%代碼覆蓋率的UART接收器和測試平臺，并自動將文件提交到存儲庫。

8 }, a8 Z! I( f5 k& C$ G
圖5：基于LLM的AI代理工作流程，演示如何自動化復(fù)雜的EDA任務(wù)。

未來方向和挑戰(zhàn)
4 a! a8 c; w. z' V' a# |隨著LLMs和RAG技術(shù)的不斷發(fā)展，我們可以期待在其能力和應(yīng)用方面出現(xiàn)幾個進展：
# Y$ c7 c- {! g, G& ]3 ]

使用網(wǎng)絡(luò)信息進行自我事實檢查

通過"慢思考"方法提高推理能力

更大的上下文窗口以處理更長的提示

多模態(tài)能力，包括語音和圖像處理

與外部存儲系統(tǒng)集成，增強長期記憶
& _5 E9 n) `8 W' j0 g3 `  P9 J/ k, ~
然而，仍然存在一些挑戰(zhàn)，包括：

確保在設(shè)計過程中合乎倫理地使用AI

管理大規(guī)模部署所需的計算資源

解決EDA行業(yè)潛在的勞動力變動

處理與訓(xùn)練數(shù)據(jù)相關(guān)的法律和版權(quán)問題

/ W  y5 h; \2 E4 L; d8 s大型語言模型和檢索增強生成技術(shù)的結(jié)合有望徹底改變電子設(shè)計自動化領(lǐng)域。通過減少許多任務(wù)中對人為干預(yù)的需求，這些技術(shù)有望加速創(chuàng)新并提高芯片設(shè)計和驗證過程的效率。隨著該領(lǐng)域的不斷發(fā)展，EDA專業(yè)人員必須及時了解這些進展，并調(diào)整工作流程以利用AI輔助設(shè)計的力量。
/ D& d: O' C" z: Q$ h8 @% G
, Q. J; M) p% M- [) L+ T* I參考文獻
2 A- J: d$ S2 J# F+ o. A1 w[1] H. Bouwmeester, "HotChips 2024 Tutorial: From LLM+RAG to EDA AI-Agent," PrimisAI, 2024.

9 `2 u. [3 ?5 X1 I+ M- END -

軟件申請我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請體驗免費版PIC Studio軟件。無論是研究還是商業(yè)應(yīng)用，PIC Studio都可提升您的工作效能。
點擊左下角"閱讀原文"馬上申請
' {9 Q9 v4 P& h8 i: k
歡迎轉(zhuǎn)載
& A# M3 u. p0 W6 [' ~
0 W  j( c; E3 v: S! z轉(zhuǎn)載請注明出處，請勿修改內(nèi)容和刪除作者信息！
" y$ n1 ], U' f3 u7 W! j* n
! v1 h( V# Y1 s3 M* n
4 H% Y) N; q5 P& z: B: h
0 F4 N$ S- d+ j

關(guān)注我們

% b8 g& l7 u( x7 ~: g. Q$ U

- z. }* \# _5 A' v, h

$ J3 W5 k3 X" c% Y* C1 o , `* |% b* S' w: k0 n& p2 |

                     
" Z6 Q8 t. F  v' M$ [* b! Q
, a! x* s( F. p
3 w. [; {7 \6 H9 }: W4 f, v4 b! n
關(guān)于我們：
深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導(dǎo)體芯片設(shè)計自動化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計和仿真軟件，提供成熟的設(shè)計解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對光電芯片、微機電系統(tǒng)、超透鏡的設(shè)計與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù)，廣泛服務(wù)于光通訊、光計算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務(wù)。

http://www.latitudeda.com/
1 v) v0 f* p" x" N) `  n7 i（點擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）