3月31日，由雷鋒網(wǎng)主辦的AI盛會 ——「2018中國人工智能安防峰會」，在深圳科興科學(xué)園國際會議中心落下帷幕。

大會現(xiàn)場，深瞐科技CTO王建輝發(fā)表了主題演講：《從云到端的視頻結(jié)構(gòu)化》。

王建輝在演講中表示，現(xiàn)有傳統(tǒng)安防監(jiān)控體系往往無法消化攝像頭不斷產(chǎn)生的海量數(shù)據(jù)，這致使視頻監(jiān)控產(chǎn)品已經(jīng)無法滿足行業(yè)提出的新需求。

雷鋒網(wǎng)了解到，針對這一現(xiàn)狀，深瞐科技從視頻結(jié)構(gòu)化系統(tǒng)入手，在視頻里面提取行人、車輛、非機(jī)動車特征，并分析車輛的信息和司機(jī)行為。在深圳交警的一次測試中，深瞐科技取得了大貨車檢出率、車牌檢出率和車牌識別正確率三項第一，表現(xiàn)搶眼。

談及“AI+安防”的行業(yè)現(xiàn)狀與未來，王建輝給出三點(diǎn)看法：首先，云端視頻結(jié)構(gòu)化的解碼能力已經(jīng)成為性能瓶頸；其次，邊緣計算已經(jīng)能夠滿足視頻結(jié)構(gòu)化所需的計算能力。未來，視頻結(jié)構(gòu)化運(yùn)算會慢慢地向前端轉(zhuǎn)化。

以下為王建輝演講實(shí)錄，雷鋒網(wǎng)做了不改變原意的編輯：

大家好，我是北京深瞐科技有限公司的CTO王建輝，今天演講的主題是“從云到端的視頻結(jié)構(gòu)化”。

首先介紹一下我們公司，我要說這個瞐字，很多人第一眼都以為我們公司叫“深晶”。瞐由三個目組成，它代表的是美麗深邃的眼睛，從這個字也能理解出我們公司主要是做計算機(jī)視覺相關(guān)的工作，同時我們希望做守護(hù)世界的第三只眼，主要是在安防產(chǎn)業(yè)發(fā)展。

大家都知道，現(xiàn)在中國的攝像頭非常多。據(jù)行業(yè)的統(tǒng)計數(shù)據(jù)是有1.76億攝像頭，未來三年會增加到6億多，每秒鐘產(chǎn)品的數(shù)據(jù)量是66TB。這樣大的數(shù)據(jù)量，傳統(tǒng)的基于肉眼的安防監(jiān)控已經(jīng)越來越不能滿足安防行業(yè)的需求。

傳統(tǒng)的安防設(shè)備產(chǎn)生的是沒有經(jīng)過結(jié)構(gòu)化的數(shù)據(jù)，現(xiàn)在主要是進(jìn)行一些威懾、偵查取證的作用，我們?nèi)绾卫眠@些數(shù)據(jù)來發(fā)現(xiàn)犯罪行為，然后進(jìn)行一些分析？

下圖是深瞐科技現(xiàn)在的視頻結(jié)構(gòu)化系統(tǒng)，它可以在視頻里面提取出行人、車輛、非機(jī)動車，同時會分析出它非常詳細(xì)的屬性。

我們的視頻結(jié)構(gòu)化系統(tǒng)分為四級，首先我們會從加油站、停車場、卡口、道路監(jiān)控設(shè)備里面提取視頻數(shù)據(jù)，然后對它進(jìn)行一級結(jié)構(gòu)化。

一級結(jié)構(gòu)化主要是對行人、自行車、兩輪摩托車、三輪摩托車、轎車、面包車、卡車、大型客車這8類目標(biāo)的檢測識別追蹤：

每一個目標(biāo)從進(jìn)入視場到出視場，我們會對目標(biāo)進(jìn)行擇優(yōu)去重，獲取一張最適合進(jìn)行二級結(jié)構(gòu)化的圖片，去進(jìn)行二級結(jié)構(gòu)化。

這是我們針對車輛的二級結(jié)構(gòu)化的示意圖：

我們目前支持的車輛品牌型號，車頭是5500多種，車尾是3500多種，已經(jīng)基本上涵蓋了目前中國路面上所有行駛的車輛。

同時，我們的車牌識別可以支持全屬性識別，我們還會識別駕駛員的違法行為，比如說未系安全帶、開車打電話。同時我們還會識別車輛更特征化的屬性，比如說年檢標(biāo)是怎么排列的，遮陽板有沒有放下來，紙巾盒、天窗、備胎等等屬性我們?nèi)慷家R別出來。

針對人，我們需要提取性別、年齡、發(fā)型和胡須、上衣顏色、褲子顏色、款式等等屬性。

深瞐科技識別人和車的屬性一共有40多種，現(xiàn)在這套系統(tǒng)的應(yīng)用范圍非常廣：

去年深圳安博會上，一號館里展示過視頻結(jié)構(gòu)化技術(shù)的公司共13家，其中7家的后臺技術(shù)由深瞐提供。

這是我們前段時間在深圳交警的一個測試：

我們需要進(jìn)行大貨車的檢測以及大貨車車牌識別，深圳交警關(guān)注的三項技術(shù)指標(biāo)我們?nèi)揩@得了第一，從這個測試結(jié)果里面我們大概可以看到，我們現(xiàn)在車輛的檢出率都在97%到99%。這個測試集一共是100萬張圖片。

以下是一些行業(yè)應(yīng)用的示例：

這是一個假套牌車的識別案例：

深瞐與西安交警合作，協(xié)助他們實(shí)時識別出路面上5輛出租車用的是同一個牌照。

我們也針對駕駛員的違法駕駛行為進(jìn)行預(yù)警和布控，比如說沒有系安全帶、開車打電話等等。同時在一些?；奋囕v方面也可以進(jìn)行布控和預(yù)警。

針對車輛的犯罪里面還有一類是同行車輛的挖掘，比如說搶劫案件和同伙作案，它們都會涉及到車輛的同行，我們會通過車輛的軌跡重現(xiàn)以及同行車輛的挖掘來解決問題。

深瞐科技的視頻結(jié)構(gòu)化主要布置在安防行業(yè)的四大類產(chǎn)品中：結(jié)構(gòu)化智能相機(jī)、嵌入式視頻分析器、智能存儲、集中式分析服務(wù)器。

從云端到前端，我們都有相應(yīng)的解決方案。

剛才講到去年安博會一號館中的7家大型安防公司在使用深瞐科技基于GPU環(huán)境下的云端解決方案。

那么在云端解決方案里，一張TeslaP4的卡，如果只是針對結(jié)構(gòu)化的計算，我們可以對48路1080P視頻進(jìn)行結(jié)構(gòu)化，如果考慮到1080P視頻的解碼，解碼也非常消耗計算量。

如果把解碼和結(jié)構(gòu)化全部考慮進(jìn)去，現(xiàn)在一張P4的卡只支持24路1080P 30幀解碼，加上24路的視頻結(jié)構(gòu)化運(yùn)算。這樣可以發(fā)現(xiàn)，我們公司目前在視頻結(jié)構(gòu)化方面，系統(tǒng)性能并不是受限于視頻結(jié)構(gòu)化算法的效率，而是視頻解碼的效率。

為了尋找解碼和計算能力上的匹配，后來我們采用了英偉達(dá)的TX2。

TX2具有8路1080P硬解的能力，計算能力滿足我們公司進(jìn)行8路視頻結(jié)構(gòu)化的運(yùn)算，而且TX2有一個優(yōu)點(diǎn)是我們原來在GPU上的算法可以非常方便的移植到TX2這個平臺上。

另外，深瞐團(tuán)隊還做了一個嵌入式的盒子：

這個采用了海思Hi3559A解決方案的盒子可以接到安防攝像頭的后面，能夠滿足8路視頻編解碼的能力，同時它的NNIE也能滿足8路視頻結(jié)構(gòu)化的運(yùn)算能力。

我們也做了一些智能前端的解決方案，這套方案基于海思3516和賽靈思7020 FPGA芯片。在Zynq上搭建了一個神經(jīng)網(wǎng)絡(luò)加速器，可以滿足1080P 30幀每秒一級結(jié)構(gòu)化的運(yùn)算，檢出率在95%以上，功耗僅為5瓦。

最后，我來做一總結(jié)，目前在云端視頻結(jié)構(gòu)化里，解碼的性能會越來越多地成為性能瓶頸，之前大家都覺得深度學(xué)習(xí)是瓶頸，實(shí)際上經(jīng)過優(yōu)化之后，它的計算會非?？臁Ａ硗?，邊緣計算已經(jīng)能滿足視頻結(jié)構(gòu)化計算所需要的能力，所以我們覺得將來視頻結(jié)構(gòu)化運(yùn)算會慢慢地由云端向前端去轉(zhuǎn)化。雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。