Hot Chips 2024 | 設(shè)備端人工智能的優(yōu)勢(shì)、發(fā)展與熱設(shè)計(jì)挑戰(zhàn)

逍遙設(shè)計(jì)自動(dòng)化

引言
隨著人工智能（AI）不斷革新我們的生活方方面面，AI處理的方式和地點(diǎn)正在發(fā)生顯著變化。本文探討設(shè)備端AI的概念、優(yōu)勢(shì)、發(fā)展歷程以及所面臨的熱設(shè)計(jì)挑戰(zhàn)[1]。

" N! i/ M. A2 k什么是設(shè)備端AI？
設(shè)備端AI指的是直接在邊緣設(shè)備（如智能手機(jī)、筆記本電腦和汽車）上執(zhí)行機(jī)器學(xué)習(xí)算法，而不完全依賴云端處理。這種方法利用片上處理器，如神經(jīng)網(wǎng)絡(luò)處理單元（NPU）、中央處理器（CPU）和圖形處理器（GPU）在本地執(zhí)行AI任務(wù)。
1 Y' {) x: ]4 ~' Z: Y0 A
, _/ |. B. N# [5 D5 u7 x# R/ G圖1展示了設(shè)備端AI的概念，說(shuō)明了智能如何向邊緣設(shè)備轉(zhuǎn)移，以及片上AI處理涉及的各種處理器。

設(shè)備端AI的興起正在改變多個(gè)領(lǐng)域，使設(shè)備、機(jī)器和"物品"變得更加智能和響應(yīng)迅速。雖然云計(jì)算對(duì)于大數(shù)據(jù)匯集和訓(xùn)練AI推理算法仍然必不可少，但設(shè)備端處理通過(guò)提供即時(shí)、本地化的AI功能補(bǔ)充了這些能力。
- A2 ~3 [& |' a" Z9 u9 D
設(shè)備端AI的優(yōu)勢(shì)和重要性
與云端AI處理相比，設(shè)備端AI具有幾個(gè)顯著優(yōu)勢(shì)：
# _3 t3 ^1 C' z1 K* w1 n4 v

低延遲：通過(guò)本地處理數(shù)據(jù)，設(shè)備端AI大大減少了AI驅(qū)動(dòng)任務(wù)所需的時(shí)間，這對(duì)實(shí)時(shí)應(yīng)用很重要。

增強(qiáng)隱私：將數(shù)據(jù)保留在設(shè)備上，減少了向外部服務(wù)器傳輸敏感信息的需求，從而提高了數(shù)據(jù)隱私和安全性。

離線功能：設(shè)備端AI允許應(yīng)用程序在沒有互聯(lián)網(wǎng)連接的情況下運(yùn)行，確保在網(wǎng)絡(luò)覆蓋不佳或無(wú)網(wǎng)絡(luò)覆蓋的地區(qū)也能保持一致的性能。

減輕網(wǎng)絡(luò)負(fù)載：通過(guò)本地處理數(shù)據(jù)，設(shè)備端AI有助于減輕網(wǎng)絡(luò)基礎(chǔ)設(shè)施的負(fù)擔(dān)，降低帶寬需求和相關(guān)成本。

降低功耗：在許多情況下，設(shè)備端處理比持續(xù)向云端傳輸數(shù)據(jù)消耗更少的電力。

: w( b: h8 p6 [- h8 u7 {
圖2展示了設(shè)備端推理的優(yōu)勢(shì)，突出了低延遲、隱私和可靠性等優(yōu)點(diǎn)。
1 S7 q, Z$ Z$ f. O4 d( i- P
應(yīng)用場(chǎng)景的演變
設(shè)備端AI的發(fā)展迅速且具有變革性。讓我們探討應(yīng)用場(chǎng)景和硬件如何隨時(shí)間推移而發(fā)展：
% H+ Y0 q! a- I' S
6 Y+ ~, \( e. q) u* h5 M) L- u$ h8 eA. 2015年：早期設(shè)備端AI應(yīng)用主要使用簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行基本任務(wù)。硬件僅限于標(biāo)量和矢量處理單元。

8 M. S5 M+ v  o* qB. 2016-2022年：這一時(shí)期引入了更復(fù)雜的模型，包括Transformer、長(zhǎng)短期記憶（LSTM）網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和高級(jí)CNN。硬件能力擴(kuò)展到包括張量處理單元。
0 i, ^) f, F# o. [( b7 g6 ^
C. 2023年：隨著具有數(shù)十億參數(shù)的大型語(yǔ)言模型（LLM）、大型視覺模型（LVM）和大型多模態(tài)模型（LMM）的出現(xiàn)，格局發(fā)生了巨大變化。硬件進(jìn)步通過(guò)改進(jìn)的張量處理和針對(duì)Transformer的優(yōu)化支持這些復(fù)雜模型。

D. 2023年及以后：我們現(xiàn)在看到參數(shù)超過(guò)100億的更大模型不斷涌現(xiàn)，為復(fù)雜的AI助手、Stable Diffusion等圖像生成工具和多模態(tài)生成式AI模型提供支持。硬件持續(xù)發(fā)展，引入微瓦片推理和增強(qiáng)對(duì)多模態(tài)AI任務(wù)的支持。

; w7 n7 L8 G3 N6 L7 {圖3描繪了從2015年到2023年及以后設(shè)備端AI應(yīng)用場(chǎng)景和硬件的演變，展示了模型復(fù)雜性和相應(yīng)硬件進(jìn)步的發(fā)展歷程。
  s! t/ `' l! x% _/ s* k
熱設(shè)計(jì)影響
6 K3 F2 _( V& |隨著設(shè)備端AI能力的增長(zhǎng)，在移動(dòng)設(shè)備上運(yùn)行復(fù)雜模型所帶來(lái)的熱設(shè)計(jì)挑戰(zhàn)也隨之增加。設(shè)備端AI的熱設(shè)計(jì)影響受幾個(gè)因素影響：

工作負(fù)載依賴性：不同的AI任務(wù)會(huì)產(chǎn)生不同數(shù)量的熱量，這取決于任務(wù)的復(fù)雜性和持續(xù)時(shí)間。

設(shè)備散熱解決方案：設(shè)備冷卻系統(tǒng)的效果在管理AI處理產(chǎn)生的熱量方面起著關(guān)鍵作用。

硬件配置：處理器的特定組合及其功率特性會(huì)影響熱輸出。
7 l0 k: ]7 H! L* U" I+ e[/ol]
# H' v7 j; R; c+ A目前，許多移動(dòng)設(shè)備和筆記本電腦可以在可接受的熱限制內(nèi)運(yùn)行具有數(shù)十億參數(shù)的LLM。然而，隨著模型復(fù)雜性的持續(xù)增長(zhǎng)，處理能力、內(nèi)存和功耗方面的潛在限制可能會(huì)導(dǎo)致熱設(shè)計(jì)挑戰(zhàn)增加。

圖4說(shuō)明了從移動(dòng)設(shè)備到云服務(wù)器不同設(shè)備類型的模型復(fù)雜性和熱限制之間的關(guān)系。

7 A# [! \, f$ n- S潛在解決方案
2 C8 s' F9 n" T為了應(yīng)對(duì)設(shè)備端AI帶來(lái)的熱設(shè)計(jì)挑戰(zhàn)，正在探索幾種潛在解決方案：
" b- S6 b; a0 V' `( _1. 提高性能和降低功耗：提高AI處理單元的效率是管理熱輸出最有效的方法。最近的進(jìn)展顯示了顯著的改進(jìn)，一些處理器在更低的熱量下實(shí)現(xiàn)了高達(dá)5倍的性能提升。
" _8 Q* \' d7 n/ D# E: k
( M/ ~0 R0 P9 b0 m! o0 {圖5顯示了Intel Core Ultra 7 155H處理器的性能改進(jìn)，展示了一小時(shí)持續(xù)使用期間的NPU性能表現(xiàn)。

- M! y' @+ p0 O. f. m4 [2. 熱緩解技術(shù)：實(shí)施類似于CPU使用的熱管理策略可以幫助控制熱量產(chǎn)生。這可能包括動(dòng)態(tài)頻率縮放和工作負(fù)載分配。

3. 混合AI：這種方法根據(jù)任務(wù)復(fù)雜性和設(shè)備能力在云端和邊緣設(shè)備之間分配AI工作負(fù)載。通過(guò)在必要時(shí)將復(fù)雜任務(wù)卸載到云端，混合AI可以幫助管理移動(dòng)設(shè)備上的熱輸出，同時(shí)仍然利用設(shè)備端處理對(duì)適當(dāng)任務(wù)的優(yōu)勢(shì)。

3 R4 U: t" @3 \0 x  r4. 封裝創(chuàng)新：芯片封裝技術(shù)的進(jìn)步，如2.5D和3D集成技術(shù)，可以提高每瓦性能，潛在地減少熱輸出。
& B& C3 x2 N- q' N6 F0 N3 ^
+ Z3 {/ L- D. b) s5. 持續(xù)AI研究：持續(xù)進(jìn)行的AI架構(gòu)和算法研究可能會(huì)導(dǎo)致更高效的模型，以較低的功耗和熱量產(chǎn)生提供高性能。

結(jié)論
設(shè)備端AI代表了將智能功能直接帶到邊緣設(shè)備的重大進(jìn)步。雖然提供了諸如低延遲、增強(qiáng)隱私和提高可靠性等眾多優(yōu)勢(shì)，但在移動(dòng)平臺(tái)上運(yùn)行復(fù)雜AI模型的熱設(shè)計(jì)影響仍然是持續(xù)的挑戰(zhàn)。

8 s5 B6 k9 E. y# [, H* I1 L1 z隨著該領(lǐng)域的不斷發(fā)展，硬件進(jìn)步、高效模型設(shè)計(jì)和創(chuàng)新熱管理技術(shù)的結(jié)合將是實(shí)現(xiàn)設(shè)備端AI全部潛力的關(guān)鍵。AI處理的未來(lái)在于在強(qiáng)大的本地計(jì)算和可持續(xù)的熱管理之間取得平衡，為各個(gè)領(lǐng)域日益智能和響應(yīng)迅速的設(shè)備創(chuàng)造條件。

圖6總結(jié)了設(shè)備端AI的要點(diǎn)，包括其優(yōu)勢(shì)、當(dāng)前狀態(tài)以及克服熱設(shè)計(jì)挑戰(zhàn)的未來(lái)方向。

參考文獻(xiàn)
, Z: Q4 Y, p( f% J6 I[1] N. Nikfar, "On-device AI and its thermal implications," in Hot Chips 36 Symposium (HCS), Aug. 2024, pp. 1-25.

END

. Q3 e1 c- j0 d9 X+ `* K8 H' D
( Z, e7 K. K" {- f& C: F" S軟件申請(qǐng)我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請(qǐng)?bào)w驗(yàn)免費(fèi)版PIC Studio軟件。無(wú)論是研究還是商業(yè)應(yīng)用，PIC Studio都可提升您的工作效能。
點(diǎn)擊左下角"閱讀原文"馬上申請(qǐng)

歡迎轉(zhuǎn)載
6 i% @2 C) E/ S, h9 ~5 f9 _
9 Y( g$ n  j" c4 I! Y! ^4 \轉(zhuǎn)載請(qǐng)注明出處，請(qǐng)勿修改內(nèi)容和刪除作者信息！

( |8 v( r, r2 A6 ~1 |; ^


+ t/ u1 G5 R7 f- H3 X
: c1 d4 `( o8 H, K- X關(guān)注我們
! U9 ]/ ?% t2 b/ ?
& _# ^0 s" z$ ]7 J% b& _7 w

. {" L+ G. L8 E: M' g8 c

% K& x8 x% u$ n

                     
7 s) R" M0 ~) ?7 I
. g3 v3 M! T8 e0 W) L' j0 o; X3 `
  s* G+ C/ r  T8 c7 b' N4 `
關(guān)于我們：
2 I! [& |1 C  F" X- n深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導(dǎo)體芯片設(shè)計(jì)自動(dòng)化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計(jì)和仿真軟件，提供成熟的設(shè)計(jì)解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對(duì)光電芯片、微機(jī)電系統(tǒng)、超透鏡的設(shè)計(jì)與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù)，廣泛服務(wù)于光通訊、光計(jì)算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國(guó)內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動(dòng)特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務(wù)。
: T7 R. P; ~5 s2 k
! U  ^  {' e8 \7 Z( w  S8 hhttp://www.latitudeda.com/
7 f6 D( d/ i% B8 x（點(diǎn)擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）