|
作者：Nick Ni 和 Adam Taylor，賽靈思公司 用單顆芯片實(shí)現(xiàn)出色的處理性能、能效和安全性 研究發(fā)現(xiàn)，我們?nèi)祟惿瞄L與外界進(jìn)行可視化互動，因?yàn)槲覀兲幚硪曈X圖像的速度遠(yuǎn)遠(yuǎn)快于其它形式的媒介，如書面文字。增強(qiáng)現(xiàn)實(shí)（AR）跟虛擬現(xiàn)實(shí)（VR）比較類似，能幫助我們更好地體驗(yàn)周邊環(huán)境，二者的主要區(qū)別在于 AR 能通過文字或其它視覺信息實(shí)現(xiàn)自然界的增強(qiáng)，從而讓我們更加安全高效地在自然環(huán)境中實(shí)現(xiàn)互動，而VR則能讓我們浸入在綜合創(chuàng)建的環(huán)境中。增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)相結(jié)合通常被稱為混合現(xiàn)實(shí)（MR）。許多人已經(jīng)在日常生活中接觸過 AR 了，但卻沒有意識到，比方說我們用移動設(shè)備實(shí)現(xiàn)街道導(dǎo)航或者玩 Pokémon Go 這樣的 AR 游戲。 
圖1 - 虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí)。 抬頭顯示器（HUD）就是 AR 及其應(yīng)用的一個很好的例證。就比較簡單的 AR 應(yīng)用而言，諸如HUD用于航空和汽車應(yīng)用領(lǐng)域，可讓駕駛?cè)藛T無需低頭看儀表盤就能直接了解車輛信息。有的 AR 應(yīng)用可提供更高級的功能，比方說可穿戴技術(shù)（通常稱為智能AR），Tractica預(yù)計這樣的高端應(yīng)用到 2020 年將實(shí)現(xiàn) 23 億美元的市值。 增強(qiáng)現(xiàn)實(shí)有助于改善我們的生活 AR 正全面進(jìn)軍工業(yè)、軍事、制造、醫(yī)療和商業(yè)等各個不同應(yīng)用領(lǐng)域，顯著改善我們的生活。在社會商業(yè)領(lǐng)域，AR 用于社交媒體應(yīng)用，可添加生物信息，甚至能識別每個人。 許多 AR 應(yīng)用需要操作人員佩戴智能眼鏡。智能眼鏡通過取代手動作業(yè)或者提供零部件組裝信息等，可大幅提高制造業(yè)的工作效率。在醫(yī)療領(lǐng)域，智能眼鏡能分享病例以及創(chuàng)傷和損傷細(xì)節(jié)等，從而讓抵達(dá)現(xiàn)場的急救人員獲得必要信息，隨后再提供給急診室。
圖2 - 智能眼鏡用于工業(yè)領(lǐng)域的實(shí)例。 一家大型快遞公司目前正采用AR智能眼鏡讀取包裹條碼。掃描條碼后，智能眼鏡能通過 Wi-Fi 連接與公司服務(wù)器通信，明確包裹的最終目的地。知道目的地后，智能眼鏡能告知包裹應(yīng)該堆放在什么位置，以便發(fā)運(yùn)。 除了考慮最終應(yīng)用之外，AR 解決方案還要考慮性能、安全性、功耗、面向未來等一系列要求。不同要求之間可能會存在沖突，因此設(shè)計人員必須同時考慮到所有這些要求，力爭推出最佳 AR 系統(tǒng)解決方案。 利用AR系統(tǒng)贏得成功 復(fù)雜的 AR 系統(tǒng)要求能夠連接多個攝像頭傳感器并處理其提供的數(shù)據(jù)，以便了解周圍環(huán)境。這些攝像頭傳感器可能要處理電磁（EM）頻譜的不同頻段信息，包括紅外線或近紅外線等。此外，就像 MEMS 加速計和陀螺儀一樣，傳感器可能提供 EM 頻譜之外的信息，結(jié)合全球衛(wèi)星導(dǎo)航系統(tǒng) (GNSS) 提供的位置數(shù)據(jù)，可檢測移動和旋轉(zhuǎn)情況。 對不同類型傳感器進(jìn)行傳感器融合的嵌入式視覺系統(tǒng)統(tǒng)稱為異構(gòu)傳感器融合系統(tǒng)。 AR 系統(tǒng)還需要實(shí)現(xiàn)高幀率，能逐幀進(jìn)行實(shí)時分析，從而提取和處理每幀所含的信息。能否為系統(tǒng)提供處理功能，滿足上述要求，這就成了組件選擇的一個決定性因素。
圖3 - 增強(qiáng)現(xiàn)實(shí)系統(tǒng)剖析 設(shè)計人員還可將 All Programmable Zynq-7000 SoC 或 Zynq UltraScale+™ MPSoC 用作 AR處理系統(tǒng)的核心。這些 SoC將 ARM 處理器和高性能可編程邏輯完美結(jié)合在一起，本身就是異構(gòu)化處理系統(tǒng)。作為新一代 Zynq-7000 SoC 的 Zynq UltraScale+ MPSoC 還采用了 ARM Mali-400 GPU，該系列產(chǎn)品中有些產(chǎn)品還采用了硬化的視頻編碼器，能支持 H.265 和 HEVC 高效視頻編碼標(biāo)準(zhǔn)。 上述復(fù)雜器件有助于設(shè)計人員對其系統(tǒng)架構(gòu)進(jìn)行細(xì)分，優(yōu)化利用處理器進(jìn)行實(shí)時分析，并把傳統(tǒng)處理器任務(wù)轉(zhuǎn)交給生態(tài)系統(tǒng)來完成。設(shè)計人員可運(yùn)用可編程邏輯來支持傳感器接口和處理功能。這樣做的好處包括： • 可根據(jù)應(yīng)用要求，并行實(shí)現(xiàn) N 個圖像處理流水線。 • 支持任意連接，能定義和連接任何傳感器、通信協(xié)議或顯示標(biāo)準(zhǔn)，確保靈活性和未來升級路徑。 支持嵌入式視覺和機(jī)器學(xué)習(xí) 為實(shí)現(xiàn)圖像處理流水線和傳感器融合算法，開發(fā)人員可采用支持嵌入式視覺和機(jī)器學(xué)習(xí)應(yīng)用的 reVISION™ 加速堆棧。reVISION 主要是在軟件定義的 SoC 或 SDSoC™ 工具集環(huán)境中開發(fā)的，能讓設(shè)計人員采用 OpenVX 等業(yè)界標(biāo)準(zhǔn)框架實(shí)現(xiàn)視覺處理、OpenCV 計算機(jī)視覺庫和 Caffe Flow 的跨平臺加速，以滿足處理器系統(tǒng)和可編程邏輯的要求。reVISION 可加速大量 OpenCV函數(shù)（包括核心 OpenVX 函數(shù)）。 reVISION 還支持在可編程邏輯中直接用 Caffe prototxt 文件實(shí)現(xiàn)機(jī)器學(xué)習(xí)推斷引擎，這就能采用業(yè)界標(biāo)準(zhǔn)框架，不僅可縮短開發(fā)時間，盡可能減少高級系統(tǒng)模型和設(shè)計成品之間的差距，同時還可打造出響應(yīng)速度更快、能效更高（單位功耗像素更高）的靈活解決方案，而這一切要?dú)w功于處理系統(tǒng)和可編程邏輯的完美結(jié)合。
圖4 – reVISION 堆棧。 設(shè)計人員還必須考慮 AR 系統(tǒng)的獨(dú)特因素，其不僅要連接攝像頭和傳感器以觀察周邊環(huán)境并根據(jù)應(yīng)用要求和使用情況執(zhí)行算法，而且還要跟蹤用戶的眼部，明確他們看什么東西，往什么方向看。這通常要采用額外的攝像頭來實(shí)現(xiàn)，既要觀察用戶面部，又要實(shí)現(xiàn)眼部跟蹤算法，讓AR 系統(tǒng)能跟蹤用戶的視線，從而確定向 AR 顯示屏提供什么內(nèi)容，并高效利用帶寬，確保處理要求得到滿足。執(zhí)行這種檢測和跟蹤工作可能是一項(xiàng)高計算強(qiáng)度的任務(wù)，可用 reVISION 實(shí)現(xiàn)加速。 高度關(guān)注便攜式設(shè)備的功耗問題 大多數(shù) AR 系統(tǒng)具有可移植性、不受限制性，而且許多情況下可搭配可穿戴產(chǎn)品，如智能眼鏡。這就帶來了獨(dú)特的挑戰(zhàn)，需要在功耗要求嚴(yán)格的環(huán)境中完成處理工作。Zynq-7000 SoC 和 Zynq UltraScale+ MPSoC 系列產(chǎn)品都能提供最佳單位功耗性能，進(jìn)一步降低工作期間的功耗，為此可采用不同選擇，如讓處理器進(jìn)入睡眠狀態(tài)，工作時候再喚醒，這可讓器件上一半的可編程邏輯斷電。檢測發(fā)現(xiàn)未被使用就進(jìn)入睡眠狀態(tài)，這樣 AR 系統(tǒng)的電池使用壽命會延長。 在 AR 系統(tǒng)工作期間，當(dāng)前未使用的處理器元件可采用門控時鐘來降低功耗。設(shè)計人員可根據(jù)簡單的設(shè)計原則實(shí)現(xiàn)可編程邏輯元件的極高效電源解決方案，包括高效利用硬宏、認(rèn)真規(guī)劃控制信號、考慮就當(dāng)前不需要的器件區(qū)采用智能門控時鐘等。這樣，相對于采用 CPU 或 GPU 的方法而言，能提供用電效率更高、響應(yīng)速度更快的單芯片解決方案。單芯片 Zynq-7000 SoC 或 Zynq UltraScale+ MPSoC 解決方案采用 reVISION 來加速機(jī)器學(xué)習(xí)和圖像處理元件，這相對于類似的 GPU 解決方案而言能將單位功耗每秒幀率提高 6 倍（機(jī)器學(xué)習(xí)）到 42 倍（圖像處理）之間，而時延則縮短到原來的五分之一。 滿足敏感的安全性要求 分享病例和生產(chǎn)數(shù)據(jù)這樣的 AR 應(yīng)用需要信息安全（IA）和威脅防護(hù)（TP）領(lǐng)域的安全性，而AR系統(tǒng)具有高度移動性、可能錯放，這就讓安全問題變得尤其重要。信息安全（IA）要求我們能夠信任系統(tǒng)中存儲的信息以及該系統(tǒng)接收和發(fā)送的信息。 就綜合而全面的信息安全而言，設(shè)計人員需要采用 Zynq 器件的安全啟動功能，該功能支持加密。設(shè)計人員還應(yīng)通過高級加密標(biāo)準(zhǔn)（AES）、HMAC 和 RSA 公共密鑰加密等算法來進(jìn)行確認(rèn)。器件正確配置并運(yùn)行后，開發(fā)人員可用 ARM Trustzone 和系統(tǒng)管理程序?qū)崿F(xiàn)正交世界，也就是說能確保自身安全性，別人無法訪問。 就威脅防護(hù)而言，設(shè)計人員可用系統(tǒng)中內(nèi)置的賽靈思 ADC（XADC）宏來監(jiān)控供電電壓、電流和溫度，并檢測有沒有修改 AR 系統(tǒng)的企圖。如果出現(xiàn)威脅性事件，Zynq 器件提供保護(hù)選項(xiàng)，包括記錄威脅企圖、擦除安全數(shù)據(jù)、避免 AR 系統(tǒng)再次連接支持基礎(chǔ)設(shè)施等。 結(jié)論 AR 系統(tǒng)會在商業(yè)、工業(yè)和軍事領(lǐng)域變得無所不在。這種系統(tǒng)的高性能、系統(tǒng)級安全性和能效要求之間往往是相互沖突的。設(shè)計人員可將 Zynq-7000 SoC 或 Zynq UltraScale+ MPSoC 用作處理系統(tǒng)的核心，并結(jié)合 reVISION 加速堆棧來支持嵌入式視覺和機(jī)器學(xué)習(xí)應(yīng)用，從而應(yīng)對有關(guān)挑戰(zhàn)。 如需了解更多信息，敬請?jiān)L問以下網(wǎng)址：http://china.xilinx.com/products ... ed-vision-zone.html。 |
