步驟 2：替換 NPU Driver 后編譯 Ubuntu 并刷機(jī)
根據(jù)瑞芯微 GitHub rkllm 倉庫對的《RKLLM SDK User Guide》要求[5]，特別說明： RKLLM 版本是 1.2.1：
RKLLM 所需要的 NPU 內(nèi)核版本較高，用戶在板端使用 RKLLM Runtime 進(jìn)行模型推理前，首先需要確認(rèn)板端的 NPU 內(nèi)核是否為 v0.9.8 版本。
此時(shí)，只能將版本為 0.9.8 的 NPU Driver 代碼替換到米爾給的 Ubuntu 源碼里，然后重新編譯 Ubuntu 鏡像并重新刷機(jī)。對于刷機(jī)過程，RKLLM 的文檔提到：
若用戶所使用的為非官方固件，需要對內(nèi)核進(jìn)行更新。其中，RKNPU 驅(qū)動包支持兩個(gè)主要內(nèi)核版本：kernel-5.10 和 kernel-6.1:
米爾提供的 Debian&Linux6.1.75 Distribution V1.1.0 對應(yīng)的雖然不是最推薦的 kernel-6.1.84，但是也是 6.1。即下圖：
下載 RK Driver 壓縮包 rknpu_driver_0.9.8_20241009.tar.bz2[6]。
解壓該壓縮包，將其中的 rknpu 驅(qū)動代碼覆蓋到當(dāng)前內(nèi)核代碼目錄。
分別對 u-boot、kernel、module 三部分編譯，最后編譯成功如下圖所示：
燒錄結(jié)束后，連接筆記本，可以看到如下截圖，進(jìn)入系統(tǒng)。
使用命令下圖中的命令查看 NPU Driver 版本，符合預(yù)期！
那么，下面我們就可以正式開始使用 RKLLM ！
三、多模態(tài)案例：支持圖像和文本交互
前面我們已經(jīng)介紹了瑞芯微大模型 SDK RKLLM。本節(jié)將會演示實(shí)際操作流程，目標(biāo)是對 Qwen2-VL-3B 多模態(tài)模型進(jìn)行部署，其中視覺 + 投影組件通過 rknn-toolkit2 導(dǎo)出為 RKNN 模型，LLM 組件通過 rkllm-toolkit 導(dǎo)出為 RKLLM 模型。
在 Qwen2-VL 這類多模態(tài)模型（支持圖像和文本交互）中，“視覺 + 投影”（Vision + Projector）是模型處理圖像輸入的核心組件，作用是將圖像信息轉(zhuǎn)換為模型可理解的特征：
簡單來說，“視覺 + 投影”組件的整體作用是：把圖像“翻譯”成模型能看懂的“語言”（特征），并確保這種“語言”能和文本的“語言”互通，為后續(xù)的多模態(tài)交互（如圖文問答）打下基礎(chǔ)。在部署時(shí)，這兩個(gè)組件被打包成 RKNN 模型，適合在 Rockchip 的 NPU（神經(jīng)網(wǎng)絡(luò)處理器）上高效運(yùn)行，專門處理圖像相關(guān)的計(jì)算。
下面，跟著 RKLLM SDK 里多模態(tài)模型例子[7]，只給出必要的操作步驟。
步驟 1：環(huán)境準(zhǔn)備
安裝必要的 SDK 依賴庫。
步驟 2：模型的獲取、驗(yàn)證與格式轉(zhuǎn)換
本步驟產(chǎn)物為 rknn 和 rkllm 格式的模型文件。
操作如下，同官方指導(dǎo)[8]。：
注：我們這一步直接使用瑞芯微提供的 rkllm_model_zoo 里的模型[11]。
步驟 3：修改代碼并交叉編譯可執(zhí)行文件并上傳到板子上
本步驟產(chǎn)物為如下目錄和文件。
rknn-llm-release-v1.2.1/examples/Qwen2-VL_Demo/deploy/install/demo_Linux_aarch64▶ tree
.
├── demo
├── demo.jpg
├── imgenc
├── lib
│ ├── librkllmrt.so
│ └── librknnrt.so
└── llm
1 directory, 6 files
操作如下：
注：我們用的模型是 Qwen2-VL-3B，需要在src/main.cpp和src/img_encoder.cpp中修改EMBED_SIZE為2048。
不同的 Qwen2-VL 模型（2B 和 7B）需要在src/main.cpp和src/img_encoder.cpp中指定IMAGE_HEIGHT、IMAGE_WIDTH及EMBED_SIZE，核心原因是這些參數(shù)與模型的固有結(jié)構(gòu)設(shè)計(jì)和輸入處理邏輯強(qiáng)綁定，直接影響特征提取的正確性和數(shù)據(jù)傳遞的一致性。
代碼中img_vec（圖像特征向量）的尺寸依賴EMBED_SIZE計(jì)算（如IMAGE_TOKEN_NUM * EMBED_SIZE）。若EMBED_SIZE與模型實(shí)際輸出維度不匹配，會因?yàn)樘卣飨蛄績?nèi)存分配錯(cuò)誤（數(shù)組大小與實(shí)際特征維度不符）或者后續(xù) LLM 組件無法正確解析圖像特征，導(dǎo)致推理失敗如 Segmentation Fault[12]：
假設(shè)當(dāng)前位于 rknn-llm/examples/Qwen2-VL_Demo/ 目錄下，執(zhí)行
編譯成功，如下所示：
步驟 4：上傳文件到開發(fā)板
將上一步編譯后的install目錄，以及前面轉(zhuǎn)換模型得到的 rknn 和 rkllm 格式的模型文件通過 U 盤等方式上傳到 RK3576 上。
性能測試 Tips
瑞芯微在 scripts 目錄中提供了一些腳本和參數(shù)設(shè)置：
多模態(tài)效果演示
為后續(xù)驗(yàn)證多模態(tài)能力，先展示 RKLLM 的基礎(chǔ)配置及純文字交互測試場景，以下為配置參數(shù)與初始對話片段：
因僅是純文字對話沒有圖片，可以執(zhí)行如下命令，
上述為圖片問答的測試準(zhǔn)備與初始提問，下文展示‘RK3576 多模態(tài)圖片問答：
./demo 最后一個(gè)參數(shù)是核數(shù)，用于推理時(shí)是否考慮多核推理，可選參數(shù)為：2（RKNN_NPU_CORE_0_1）、3（RKNN_NPU_CORE_0_1_2）、其他（RKNN_NPU_CORE_AUTO）。
下圖展示了測試圖片3運(yùn)行中的一些性能指標(biāo)，包括模型初始化時(shí)間、不同階段的總時(shí)間（Prefill和Generate階段）、Token數(shù)量、Token生成速度，以及峰值內(nèi)存使用量。
總得來說，模型第一次加載 6 秒鐘，首次出詞語也有體感上的慢，但是這之后速度就很穩(wěn)定，而且很快，純文字的速度更快一些。
結(jié)論
本文圍繞瑞芯微 RK3576 開發(fā)板 NPU 對多模態(tài) LLM 的支撐能力與性能展開測評，全面呈現(xiàn)其在端側(cè) AI 領(lǐng)域的價(jià)值。
端側(cè)SLM在延遲、隱私與離線可用性上的優(yōu)勢顯著，而 RK3576 憑借 8nm 制程、6TOPS自研NPU及動態(tài)稀疏化加速引擎，填補(bǔ)了旗艦與主流方案的市場空白。它針對2B-3B參數(shù)級模型專項(xiàng)優(yōu)化，輕量化視覺任務(wù)算力利用率提升 18%，NPU功耗降低 22%，30% 的成本優(yōu)勢使其在多場景快速量產(chǎn)，中高端市場占有率環(huán)比增長 47%。
技術(shù)落地方面，RKNN 與 RKLLM SDK形成互補(bǔ)生態(tài)，RKNN 保障模型兼容性，RKLLM 通過量化優(yōu)化、多模態(tài)支持等降低模型內(nèi)存占用與推理延遲。實(shí)測中，RK3576 運(yùn)行 Qwen2-VL-3B 模型時(shí)，純文字交互 Token 生成穩(wěn)定，多模態(tài)問答能精準(zhǔn)識別圖像元素，峰值內(nèi)存占用 4.58GB ，在移動終端和工業(yè)場景可靠運(yùn)行。
本文提供的環(huán)境準(zhǔn)備、模型轉(zhuǎn)換、代碼適配等實(shí)操步驟，為開發(fā)者提供了可復(fù)現(xiàn)的部署方案。RK3576 在多場景展現(xiàn)良好兼容性與穩(wěn)定性，能以低成本實(shí)現(xiàn)高準(zhǔn)確率任務(wù)。
未來，RK3576“算力精準(zhǔn)匹配場景”的設(shè)計(jì)理念或成中端AIoT核心方向，其在多維度的平衡，為端側(cè)AI部署提供高性價(jià)比選擇，助力邊緣計(jì)算規(guī)�；瘧�(yīng)用。
RK3576 工作狀態(tài)
| 歡迎光臨 電子工程網(wǎng) (http://m.54549.cn/) | Powered by Discuz! X3.4 |