當(dāng)視頻成為AI系統(tǒng)中的主要數(shù)據(jù)形態(tài)，視頻處理也在被重新定義。

一方面，視頻分辨率持續(xù)提升，從4K走向8K，多路視頻流成為常態(tài)；另一方面，視頻不再只是“被觀看”，而是被用于分析、決策甚至訓(xùn)練模型。這使得視頻處理不再只是簡單的編解碼問題，而是同時(shí)涉及性能、帶寬、存儲與實(shí)時(shí)性的一組系統(tǒng)約束。

此時(shí)一個(gè)更具體的問題開始浮現(xiàn)：AI時(shí)代，到底需要什么樣的VPU(Video Processing Unit，視頻處理單元）？

近日，安謀科技（Arm China）發(fā)布新一代“玲瓏”V560/V760 VPU IP（代號“峨眉”），進(jìn)行了全面升級，采用多核多格式編解碼融合的可編程處理架構(gòu)，單核可支持4K60FPS編碼或8K30FPS解碼，集成CAE（Content Aware Encoder，內(nèi)容感知編碼）先進(jìn)編碼技術(shù)，全面支持H.266等主流編解碼視頻標(biāo)準(zhǔn)。

“玲瓏”V560/V760 VPU IP面向邊緣AI、云端AI以及物理AI，現(xiàn)已完成首批客戶授權(quán)，客戶產(chǎn)品預(yù)計(jì)今年陸續(xù)量產(chǎn)。

AI時(shí)代催生的「六邊形戰(zhàn)士」VPU

與傳統(tǒng)視頻應(yīng)用相比，AI場景對VPU的要求更高。

首先是處理能力的變化。過去，單路視頻的清晰播放或錄制已經(jīng)足夠，但在云端轉(zhuǎn)碼、自動駕駛、多攝像頭感知等場景中，多路視頻流的并行處理成為常態(tài)，這要求VPU不僅具備更高的單核性能，也需要具備良好的多核擴(kuò)展能力。

其次是效率問題開始前移。視頻數(shù)據(jù)規(guī)模的快速增長，使得碼率不再只是影響畫質(zhì)的參數(shù)，而是直接影響帶寬占用與存儲成本。在云端場景中，這部分開銷甚至可能成為長期運(yùn)行的主要成本之一。

與此同時(shí)，實(shí)時(shí)性要求也在提高。從視頻會議到云游戲，再到部分需要即時(shí)反饋的AI應(yīng)用，延時(shí)不再是可以被容忍的“附加問題”，而是直接影響體驗(yàn)甚至系統(tǒng)結(jié)果的關(guān)鍵因素。

再加上應(yīng)用場景本身的分化——從端側(cè)設(shè)備到云端系統(tǒng)，從消費(fèi)電子到自動駕駛與機(jī)器人——VPU還需要具備足夠的靈活性，以適配不同系統(tǒng)對性能、功耗與功能的差異化需求。

安謀科技Arm China VPU產(chǎn)品總監(jiān)汪奕磊表示：“在如今AI與視頻相互賦能的時(shí)代，視頻處理正面臨前所未有的機(jī)遇和挑戰(zhàn)。我們推出的‘玲瓏’V560/V760是面向AI應(yīng)用的新一代VPU IP，能為AI時(shí)代的各類視頻應(yīng)用提供強(qiáng)大核芯，可以覆蓋云、邊、端全場景?！?/p>

“玲瓏”V560/V760 VPU IP堪稱“六邊形戰(zhàn)士”，在高性能、低延時(shí)、高魯棒性、多OS支持、高質(zhì)量低碼率、信息安全層面都很強(qiáng)。

性能層面，V560/V760的單核支持4K 60FPS編碼與8K 30FPS解碼，相比上一代產(chǎn)品，單核解碼性能實(shí)現(xiàn)翻倍，并且多核運(yùn)行并行度高。

安謀現(xiàn)場展示了8K解碼效果，在高性能開發(fā)板上，基于“玲瓏”V560/V760實(shí)時(shí)硬件解碼，實(shí)現(xiàn)8K30FPS超高清視頻流暢播放，以及搭載“玲瓏”V560/V760的運(yùn)動相機(jī)實(shí)時(shí)拍攝和成片效果，可以實(shí)現(xiàn)每一幀穩(wěn)定、不丟幀、不延遲。

在實(shí)時(shí)處理方面，得益于安謀科技獨(dú)有的條帶級編解碼控制技術(shù)，通過更細(xì)粒度的編解碼控制方式縮短處理鏈路，V560/V760顯著降低編解碼延時(shí)，且編解碼控制更靈活。

魯棒性在實(shí)際使用中的價(jià)值同樣明顯，V560/V760具有強(qiáng)大的錯(cuò)誤處理能力，在丟包率高達(dá)20%的情況下仍可實(shí)現(xiàn)糾錯(cuò)解碼

全新一代玲瓏VPU還有一個(gè)非常關(guān)鍵的變化是對編碼效率的優(yōu)化。

通過引入CAE（內(nèi)容感知編碼）技術(shù)，“玲瓏”V560/V760在編碼過程中加入輕量化的內(nèi)容分析能力，對畫面中的關(guān)鍵區(qū)域與非關(guān)鍵區(qū)域進(jìn)行差異化處理。這種方式不再是簡單地壓縮像素?cái)?shù)據(jù)，而是基于內(nèi)容進(jìn)行更有針對性的碼率分配。

安謀在發(fā)布會現(xiàn)場也演示了“玲瓏”V560/V760 CAE編碼的效果，在CAE的加持下，前處理過程中，可以智能識別到需要重點(diǎn)處理的敏感對象；同等視頻碼率下，編碼質(zhì)量平均提升20%；同等編碼質(zhì)量下，視頻碼率平均降低20%，特定場景下碼率最大可降低80%。

對于需要長期處理和存儲視頻數(shù)據(jù)的系統(tǒng)而言，這種優(yōu)化直接轉(zhuǎn)化為帶寬與存儲成本的下降。

積木式堆疊技術(shù)滿足從云到端的AI視頻處理需求

高性能、低延時(shí)、高魯棒性、高質(zhì)量低碼率更多解決處理過程的問題，多OS支持、信息安全對于各種AI應(yīng)用的適配意義重大。

“玲瓏”V560/V760在這一代引入了一個(gè)關(guān)鍵思路——“積木式堆疊”。

安謀科技Arm China VPU研發(fā)總監(jiān)黃鑫表示：“‘玲瓏’V560/V760的核心優(yōu)勢在于采用了靈活可配置架構(gòu)，并融合積木式堆疊研發(fā)特色，這一設(shè)計(jì)對于高度碎片化的多媒體技術(shù)市場而言尤為重要，能夠支持客戶按需配置、敏捷創(chuàng)新?！?/p>

積木式堆疊技術(shù)讓客戶無需重復(fù)開發(fā)底層，即可根據(jù)具體場景按需配置模塊，充分滿足多領(lǐng)域、多場景的應(yīng)用需求，從而大幅縮短新品研發(fā)周期，加速產(chǎn)品上市進(jìn)程。這意味著，在不同應(yīng)用場景中，不再需要圍繞一套固定能力做取舍，而是可以在性能、功耗與面積之間進(jìn)行更靈活的平衡。

不同場景對性能、功耗、面積的需求不同，在端側(cè)設(shè)備中，更關(guān)注功耗與面積約束；在自動駕駛或機(jī)器人系統(tǒng)中，多OS運(yùn)行與安全隔離能力不能忽視；而在云端場景中，則更強(qiáng)調(diào)吞吐能力與長期運(yùn)行成本。得益于“玲瓏”V560/V760采用靈活可配置的架構(gòu)，創(chuàng)新的多核處理架構(gòu)，支持多核同任務(wù)和多核異任務(wù)，滿足多樣化場景需求。

多OS支持和安全同樣關(guān)鍵。“玲瓏”V560/V760支持包括Linux、Android、Windows及RTOS在內(nèi)的多種操作系統(tǒng)，并能夠運(yùn)行在多OS與虛擬化環(huán)境中，同時(shí)支持TrustZone內(nèi)容保護(hù)，高級Mosaic功能還提供完善的隱私保護(hù)。

這種多配置全隔離的硬件運(yùn)行機(jī)制，支持多OS虛擬化應(yīng)用場景，支持視頻內(nèi)容安全訪問，能夠滿足復(fù)雜應(yīng)用環(huán)境需求。

還值得一提的是，“玲瓏”V560/V760覆蓋H.266等主流編解碼標(biāo)準(zhǔn)，集成多格式視頻編解碼器，同時(shí)支持H.266標(biāo)準(zhǔn)的編解碼，以及各種主流視頻標(biāo)準(zhǔn)。

黃鑫進(jìn)一步表示，“為應(yīng)對不斷推陳出新的AI技術(shù)與新興場景，未來‘玲瓏’VPU架構(gòu)將朝著AI端到端視頻編碼技術(shù)路徑加速演進(jìn)，逐步構(gòu)建起‘深度感知、全局最優(yōu)’的AI VPU訓(xùn)練框架，服務(wù)于更廣泛的‘AI+視頻’應(yīng)用場景?！岘嚒瘜⒊掷m(xù)為各類AI應(yīng)用提供視頻技術(shù)支撐，幫助客戶在群雄逐鹿的AI時(shí)代中贏得先機(jī)。”

作為六邊形戰(zhàn)士，“玲瓏”V560/V760 VPU IP足以滿足云、邊、端全場景領(lǐng)域?qū)σ曨l處理“高效率、高質(zhì)量、低能耗”的核心訴求。

比如在手持?jǐn)z像設(shè)備、智能手機(jī)、Pad、AI PC、TV、邊緣服務(wù)器、線上會議等邊緣應(yīng)用場景，“玲瓏”V560/V760 VPU IP在確保系統(tǒng)高效運(yùn)行的同時(shí)，顯著降低功耗和芯片面積，并且大幅降低視頻碼率和處理延時(shí)，實(shí)現(xiàn)用戶體驗(yàn)、電池續(xù)航和芯片成本的最佳平衡。

在數(shù)據(jù)中心、視頻轉(zhuǎn)碼、AI服務(wù)器、云游戲等應(yīng)用中，“玲瓏”V560/V760 VPU IP可在保證數(shù)據(jù)準(zhǔn)確性的同時(shí)，實(shí)現(xiàn)高性能、高編碼質(zhì)量、高吞吐量、低延時(shí)的視頻處理。

針對物理AI，如智能駕駛、智能座艙、機(jī)器人等應(yīng)用場景，“玲瓏”V560/V760 VPU IP支持多OS/虛擬化應(yīng)用，增強(qiáng)系統(tǒng)集成靈活性與安全性，降低跨平臺、多應(yīng)用的開發(fā)集成成本與風(fēng)險(xiǎn)。

當(dāng)視頻成為AI系統(tǒng)的主要輸入之一，問題就不再只是“能不能處理”，而是“能以多高的效率處理”。

在算力之外，帶寬、存儲與延時(shí)正在構(gòu)成新的約束條件，也讓視頻處理從一個(gè)功能模塊，變成系統(tǒng)設(shè)計(jì)中的關(guān)鍵變量。

從這一點(diǎn)來看，“玲瓏”V560/V760的意義，不只是一次VPU產(chǎn)品的迭代，而是為AI時(shí)代的視頻處理提供了一個(gè)強(qiáng)力的支撐。雷峰網(wǎng)(公眾號：雷峰網(wǎng)) 雷峰網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。