|
沉睡多年后，人工智能（AI）再次醒來(lái)，其勢(shì)如滔滔江河，不可阻擋。隨著天量資本不斷涌入，各種創(chuàng)新突破令人瞠目結(jié)舌。隨后，AI技術(shù)快速向各個(gè)應(yīng)用領(lǐng)域滲透，成為提升產(chǎn)品競(jìng)爭(zhēng)力的利器。 如今，AI部署已經(jīng)從昂貴的數(shù)據(jù)中心云端蔓延到了尋常的應(yīng)用終端，如手機(jī)、電腦和汽車，甚至可穿戴設(shè)備。端側(cè)的硬件AI算力成為提升AI設(shè)備性能的重要一環(huán)。那么，端側(cè)AI算力有何優(yōu)勢(shì)？如何才能有效提升終端算力？在近期舉辦的E維智庫(kù)第12屆中國(guó)硬科技產(chǎn)業(yè)鏈創(chuàng)新趨勢(shì)峰會(huì)暨百家媒體論壇上，安謀科技產(chǎn)品總監(jiān)鮑敏祺先生以“端側(cè)AI應(yīng)用‘芯’機(jī)遇，NPU加速終端算力升級(jí)”為題進(jìn)行了講解。 鮑敏祺以智能手機(jī)為例介紹了AI如何提升用戶體驗(yàn)，包括AI大模型對(duì)語(yǔ)音、圖片和視頻的理解能力，以及其分析和總結(jié)能力，這些能力使得手機(jī)成為我們生活和工作中的得力助手。在AI的部署方式方面，以大語(yǔ)言模型（LLM）為例，廠商們的選擇各有不同。目前，除華為以外，所有中國(guó)手機(jī)廠商都在不同程度地布署了設(shè)備端AI，如下圖所示。 
鮑敏祺介紹說(shuō)，與單純的云AI相比，端側(cè)AI具備兩個(gè)優(yōu)勢(shì)：時(shí)效性和數(shù)據(jù)的安全性。雖然云AI的算力更強(qiáng)大，能夠獲得更強(qiáng)的理解力，但其響應(yīng)存在延遲。此外，由于端側(cè)產(chǎn)品針對(duì)特定應(yīng)用和特定用戶，所以AI的學(xué)習(xí)訓(xùn)練也更加具有針對(duì)性，用戶體驗(yàn)會(huì)更好，產(chǎn)品的用戶粘度也就更高。 鮑敏祺說(shuō)，由于內(nèi)存帶寬的限制（50-100GB/s），端側(cè)大模型的規(guī)模一般被限制在1B至3B，而7B是臨界值。從商業(yè)化的角度去看，芯片廠商達(dá)成了一個(gè)基本共識(shí)：消費(fèi)類產(chǎn)品AI的未來(lái)投入重點(diǎn)是神經(jīng)網(wǎng)絡(luò)處理器（NPU）。為方便芯片廠商設(shè)計(jì)研發(fā)NPU，安謀科技推出了“周易”NPU IP，它在功耗、成本和生態(tài)系統(tǒng)諸方面都具有優(yōu)勢(shì)。 據(jù)介紹，“周易”NPU正朝著更高能效的方向演化。首先，其微架構(gòu)實(shí)現(xiàn)了升級(jí)，保留了部分卷積神經(jīng)網(wǎng)絡(luò)（CNN）功能，增強(qiáng)了transformer語(yǔ)言大模型能力。第二，通過(guò)混合精度量化、片內(nèi)互聯(lián)、壓縮和稀釋等技術(shù)實(shí)現(xiàn)了更高效率。其次，通過(guò)數(shù)據(jù)/模型的并行處理、負(fù)載均衡和tiling技術(shù)提升了效率�！爸芤住盢PU的結(jié)構(gòu)如下圖所示，重點(diǎn)是其任務(wù)日程管理器和異構(gòu)策略。
鮑敏祺說(shuō)，“周易”NPU可應(yīng)用于智能汽車、智能手機(jī)、PC和AIOT等場(chǎng)景，其策略各有不同。下面是汽車應(yīng)用的示例，其中不僅包含了安謀的“周易”NPU，也包含了安謀的山海SPU、玲瓏VPU和玲瓏DPU，以及Arm的Mali GPU和ISP。
鮑敏祺說(shuō)，“周易”NPU能夠涵蓋ADAS、智能座艙、車載娛樂(lè)系統(tǒng)等不同汽車場(chǎng)景。上面的“周易”NPU具有20到320 TOPS可擴(kuò)展性，以應(yīng)對(duì)不同場(chǎng)景的不同算力需求。例如，車載信息娛樂(lè)系統(tǒng)（IVI）的要求不會(huì)很高，但ADAS在很多情況下要執(zhí)行多任務(wù)，所以需要更高的算力。據(jù)悉，搭載了“周易”NPU的芯擎科技“龍鷹一號(hào)”芯片已累計(jì)出貨超過(guò)40萬(wàn)片，并成功應(yīng)用于吉利旗下的領(lǐng)克、銀河系列以及一汽紅旗等20余款主力車型中。對(duì)于下一代“周易”NPU，安謀會(huì)增強(qiáng)自動(dòng)駕駛AI方面的算力和效率。 |
