Hot Chips 2024 | 設(shè)備端人工智能的優(yōu)勢、發(fā)展與熱設(shè)計挑戰(zhàn)

逍遙設(shè)計自動化

引言
5 G( X& `8 }* l隨著人工智能（AI）不斷革新我們的生活方方面面，AI處理的方式和地點正在發(fā)生顯著變化。本文探討設(shè)備端AI的概念、優(yōu)勢、發(fā)展歷程以及所面臨的熱設(shè)計挑戰(zhàn)[1]。
' ?& o- |2 L9 L; S3 l- @
7 j' ^, x* Z5 o$ X什么是設(shè)備端AI？
設(shè)備端AI指的是直接在邊緣設(shè)備（如智能手機、筆記本電腦和汽車）上執(zhí)行機器學習算法，而不完全依賴云端處理。這種方法利用片上處理器，如神經(jīng)網(wǎng)絡(luò)處理單元（NPU）、中央處理器（CPU）和圖形處理器（GPU）在本地執(zhí)行AI任務(wù)。
. A/ t% V4 m9 d5 H- S/ D, {- s
+ C( V& ?4 z' O4 u圖1展示了設(shè)備端AI的概念，說明了智能如何向邊緣設(shè)備轉(zhuǎn)移，以及片上AI處理涉及的各種處理器。

  {7 I: k; T& Z設(shè)備端AI的興起正在改變多個領(lǐng)域，使設(shè)備、機器和"物品"變得更加智能和響應(yīng)迅速。雖然云計算對于大數(shù)據(jù)匯集和訓練AI推理算法仍然必不可少，但設(shè)備端處理通過提供即時、本地化的AI功能補充了這些能力。

, c6 _5 |8 i! [. U/ h" H  J設(shè)備端AI的優(yōu)勢和重要性
與云端AI處理相比，設(shè)備端AI具有幾個顯著優(yōu)勢：

低延遲：通過本地處理數(shù)據(jù)，設(shè)備端AI大大減少了AI驅(qū)動任務(wù)所需的時間，這對實時應(yīng)用很重要。

增強隱私：將數(shù)據(jù)保留在設(shè)備上，減少了向外部服務(wù)器傳輸敏感信息的需求，從而提高了數(shù)據(jù)隱私和安全性。

離線功能：設(shè)備端AI允許應(yīng)用程序在沒有互聯(lián)網(wǎng)連接的情況下運行，確保在網(wǎng)絡(luò)覆蓋不佳或無網(wǎng)絡(luò)覆蓋的地區(qū)也能保持一致的性能。

減輕網(wǎng)絡(luò)負載：通過本地處理數(shù)據(jù)，設(shè)備端AI有助于減輕網(wǎng)絡(luò)基礎(chǔ)設(shè)施的負擔，降低帶寬需求和相關(guān)成本。

降低功耗：在許多情況下，設(shè)備端處理比持續(xù)向云端傳輸數(shù)據(jù)消耗更少的電力。


圖2展示了設(shè)備端推理的優(yōu)勢，突出了低延遲、隱私和可靠性等優(yōu)點。

應(yīng)用場景的演變
4 V, V+ F9 z9 A& A設(shè)備端AI的發(fā)展迅速且具有變革性。讓我們探討應(yīng)用場景和硬件如何隨時間推移而發(fā)展：

A. 2015年：早期設(shè)備端AI應(yīng)用主要使用簡單的卷積神經(jīng)網(wǎng)絡(luò)（CNN）進行基本任務(wù)。硬件僅限于標量和矢量處理單元。

B. 2016-2022年：這一時期引入了更復雜的模型，包括Transformer、長短期記憶（LSTM）網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和高級CNN。硬件能力擴展到包括張量處理單元。
+ D" o# _" X5 j" s( M8 w. K3 r
) T2 r/ c* ~/ p- ~C. 2023年：隨著具有數(shù)十億參數(shù)的大型語言模型（LLM）、大型視覺模型（LVM）和大型多模態(tài)模型（LMM）的出現(xiàn)，格局發(fā)生了巨大變化。硬件進步通過改進的張量處理和針對Transformer的優(yōu)化支持這些復雜模型。

D. 2023年及以后：我們現(xiàn)在看到參數(shù)超過100億的更大模型不斷涌現(xiàn)，為復雜的AI助手、Stable Diffusion等圖像生成工具和多模態(tài)生成式AI模型提供支持。硬件持續(xù)發(fā)展，引入微瓦片推理和增強對多模態(tài)AI任務(wù)的支持。

% b# C$ W! }- Z( E1 i圖3描繪了從2015年到2023年及以后設(shè)備端AI應(yīng)用場景和硬件的演變，展示了模型復雜性和相應(yīng)硬件進步的發(fā)展歷程。

; J. d! g' d7 G: u熱設(shè)計影響
隨著設(shè)備端AI能力的增長，在移動設(shè)備上運行復雜模型所帶來的熱設(shè)計挑戰(zhàn)也隨之增加。設(shè)備端AI的熱設(shè)計影響受幾個因素影響：

工作負載依賴性：不同的AI任務(wù)會產(chǎn)生不同數(shù)量的熱量，這取決于任務(wù)的復雜性和持續(xù)時間。

設(shè)備散熱解決方案：設(shè)備冷卻系統(tǒng)的效果在管理AI處理產(chǎn)生的熱量方面起著關(guān)鍵作用。

硬件配置：處理器的特定組合及其功率特性會影響熱輸出。
3 ^. J) P2 I7 d8 I1 L2 B' c[/ol]
# A$ X* M& t0 Q2 j/ R: v目前，許多移動設(shè)備和筆記本電腦可以在可接受的熱限制內(nèi)運行具有數(shù)十億參數(shù)的LLM。然而，隨著模型復雜性的持續(xù)增長，處理能力、內(nèi)存和功耗方面的潛在限制可能會導致熱設(shè)計挑戰(zhàn)增加。
- h1 P) ~1 g, z
圖4說明了從移動設(shè)備到云服務(wù)器不同設(shè)備類型的模型復雜性和熱限制之間的關(guān)系。
% a; C  d. X. u2 M  ^
( v$ X" Z7 T: [8 z' B- J/ U潛在解決方案
6 E: d9 \5 j6 p; F! [! r! h為了應(yīng)對設(shè)備端AI帶來的熱設(shè)計挑戰(zhàn)，正在探索幾種潛在解決方案：
6 D( C" v; x! y1. 提高性能和降低功耗：提高AI處理單元的效率是管理熱輸出最有效的方法。最近的進展顯示了顯著的改進，一些處理器在更低的熱量下實現(xiàn)了高達5倍的性能提升。
4 E" q- n# t2 y4 o* U8 F, ~! [
圖5顯示了Intel Core Ultra 7 155H處理器的性能改進，展示了一小時持續(xù)使用期間的NPU性能表現(xiàn)。
" Q% G7 P$ C4 P& [# T9 A) ~8 p
2. 熱緩解技術(shù)：實施類似于CPU使用的熱管理策略可以幫助控制熱量產(chǎn)生。這可能包括動態(tài)頻率縮放和工作負載分配。
* q3 y5 X  e, `' Y6 g; e
& j: Q+ S2 f6 \0 j2 R4 ^3. 混合AI：這種方法根據(jù)任務(wù)復雜性和設(shè)備能力在云端和邊緣設(shè)備之間分配AI工作負載。通過在必要時將復雜任務(wù)卸載到云端，混合AI可以幫助管理移動設(shè)備上的熱輸出，同時仍然利用設(shè)備端處理對適當任務(wù)的優(yōu)勢。
% L% x. B/ |5 x8 p" Z+ |, T
4. 封裝創(chuàng)新：芯片封裝技術(shù)的進步，如2.5D和3D集成技術(shù)，可以提高每瓦性能，潛在地減少熱輸出。

5. 持續(xù)AI研究：持續(xù)進行的AI架構(gòu)和算法研究可能會導致更高效的模型，以較低的功耗和熱量產(chǎn)生提供高性能。
# V, V$ B/ q9 o: v  I: L1 g) g
9 a' r4 F9 ~/ h結(jié)論
設(shè)備端AI代表了將智能功能直接帶到邊緣設(shè)備的重大進步。雖然提供了諸如低延遲、增強隱私和提高可靠性等眾多優(yōu)勢，但在移動平臺上運行復雜AI模型的熱設(shè)計影響仍然是持續(xù)的挑戰(zhàn)。

隨著該領(lǐng)域的不斷發(fā)展，硬件進步、高效模型設(shè)計和創(chuàng)新熱管理技術(shù)的結(jié)合將是實現(xiàn)設(shè)備端AI全部潛力的關(guān)鍵。AI處理的未來在于在強大的本地計算和可持續(xù)的熱管理之間取得平衡，為各個領(lǐng)域日益智能和響應(yīng)迅速的設(shè)備創(chuàng)造條件。
- x( o  a6 @; t! Z) r3 I4 A
圖6總結(jié)了設(shè)備端AI的要點，包括其優(yōu)勢、當前狀態(tài)以及克服熱設(shè)計挑戰(zhàn)的未來方向。

* K8 N% k3 s2 T. M( r參考文獻
  ]9 c: Q  F8 G[1] N. Nikfar, "On-device AI and its thermal implications," in Hot Chips 36 Symposium (HCS), Aug. 2024, pp. 1-25.

END
% t/ h; E1 G  H3 c- Q( b

軟件申請我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請體驗免費版PIC Studio軟件。無論是研究還是商業(yè)應(yīng)用，PIC Studio都可提升您的工作效能。
點擊左下角"閱讀原文"馬上申請

& K! n4 \5 C  l# u2 k% U9 F; P歡迎轉(zhuǎn)載
% j, S' C2 _3 e4 ~
! I& N3 x- D( f4 g! |轉(zhuǎn)載請注明出處，請勿修改內(nèi)容和刪除作者信息！

  ?  b7 R  D! k/ K& o3 ]) w' Y
/ O8 |: y8 G( E% A+ `. J) i9 F

2 r/ x2 u2 W' j5 s
關(guān)注我們
9 O6 f, {$ j5 [

" g! {, V- H) j/ s3 X- m$ U

( ~/ _3 o8 `) r% g6 v& J ) k2 u$ ?: K0 J! r5 B

/ Q5 X6 b  M7 X5 ?- D

                     
$ o% W7 J& d4 L
1 ?. M8 L3 F! h6 D: S3 f+ P. q

關(guān)于我們：
深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導體芯片設(shè)計自動化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計和仿真軟件，提供成熟的設(shè)計解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對光電芯片、微機電系統(tǒng)、超透鏡的設(shè)計與仿真。我們提供特色工藝的半導體芯片集成電路版圖、IP和PDK工程服務(wù)，廣泛服務(wù)于光通訊、光計算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動特色工藝半導體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務(wù)。

http://www.latitudeda.com/
（點擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）