|
沉睡多年后，人工智能（AI）再次醒來，其勢如滔滔江河，不可阻擋。隨著天量資本不斷涌入，各種創(chuàng)新突破令人瞠目結(jié)舌。隨后，AI技術(shù)快速向各個應(yīng)用領(lǐng)域滲透，成為提升產(chǎn)品競爭力的利器。 如今，AI部署已經(jīng)從昂貴的數(shù)據(jù)中心云端蔓延到了尋常的應(yīng)用終端，如手機、電腦和汽車，甚至可穿戴設(shè)備。端側(cè)的硬件AI算力成為提升AI設(shè)備性能的重要一環(huán)。那么，端側(cè)AI算力有何優(yōu)勢？如何才能有效提升終端算力？在近期舉辦的E維智庫第12屆中國硬科技產(chǎn)業(yè)鏈創(chuàng)新趨勢峰會暨百家媒體論壇上，安謀科技產(chǎn)品總監(jiān)鮑敏祺先生以“端側(cè)AI應(yīng)用‘芯’機遇，NPU加速終端算力升級”為題進行了講解。 鮑敏祺以智能手機為例介紹了AI如何提升用戶體驗，包括AI大模型對語音、圖片和視頻的理解能力，以及其分析和總結(jié)能力，這些能力使得手機成為我們生活和工作中的得力助手。在AI的部署方式方面，以大語言模型（LLM）為例，廠商們的選擇各有不同。目前，除華為以外，所有中國手機廠商都在不同程度地布署了設(shè)備端AI，如下圖所示。 
鮑敏祺介紹說，與單純的云AI相比，端側(cè)AI具備兩個優(yōu)勢：時效性和數(shù)據(jù)的安全性。雖然云AI的算力更強大，能夠獲得更強的理解力，但其響應(yīng)存在延遲。此外，由于端側(cè)產(chǎn)品針對特定應(yīng)用和特定用戶，所以AI的學(xué)習(xí)訓(xùn)練也更加具有針對性，用戶體驗會更好，產(chǎn)品的用戶粘度也就更高。 鮑敏祺說，由于內(nèi)存帶寬的限制（50-100GB/s），端側(cè)大模型的規(guī)模一般被限制在1B至3B，而7B是臨界值。從商業(yè)化的角度去看，芯片廠商達成了一個基本共識：消費類產(chǎn)品AI的未來投入重點是神經(jīng)網(wǎng)絡(luò)處理器（NPU）。為方便芯片廠商設(shè)計研發(fā)NPU，安謀科技推出了“周易”NPU IP，它在功耗、成本和生態(tài)系統(tǒng)諸方面都具有優(yōu)勢。 據(jù)介紹，“周易”NPU正朝著更高能效的方向演化。首先，其微架構(gòu)實現(xiàn)了升級，保留了部分卷積神經(jīng)網(wǎng)絡(luò)（CNN）功能，增強了transformer語言大模型能力。第二，通過混合精度量化、片內(nèi)互聯(lián)、壓縮和稀釋等技術(shù)實現(xiàn)了更高效率。其次，通過數(shù)據(jù)/模型的并行處理、負載均衡和tiling技術(shù)提升了效率。“周易”NPU的結(jié)構(gòu)如下圖所示，重點是其任務(wù)日程管理器和異構(gòu)策略。
鮑敏祺說，“周易”NPU可應(yīng)用于智能汽車、智能手機、PC和AIOT等場景，其策略各有不同。下面是汽車應(yīng)用的示例，其中不僅包含了安謀的“周易”NPU，也包含了安謀的山海SPU、玲瓏VPU和玲瓏DPU，以及Arm的Mali GPU和ISP。
鮑敏祺說，“周易”NPU能夠涵蓋ADAS、智能座艙、車載娛樂系統(tǒng)等不同汽車場景。上面的“周易”NPU具有20到320 TOPS可擴展性，以應(yīng)對不同場景的不同算力需求。例如，車載信息娛樂系統(tǒng)（IVI）的要求不會很高，但ADAS在很多情況下要執(zhí)行多任務(wù)，所以需要更高的算力。據(jù)悉，搭載了“周易”NPU的芯擎科技“龍鷹一號”芯片已累計出貨超過40萬片，并成功應(yīng)用于吉利旗下的領(lǐng)克、銀河系列以及一汽紅旗等20余款主力車型中。對于下一代“周易”NPU，安謀會增強自動駕駛AI方面的算力和效率。 |
