近年來，音視頻應用不僅越來越廣泛，技術也得以飛速發(fā)展。作為基礎及應用研究的重要陣地，不少高校都成立了實驗室對此進行深入研究，有效地促進了音視頻創(chuàng)新應用及發(fā)展，西安電子科技大學嵌入式系統(tǒng)與大數(shù)據(jù)研究中心就是其中一個。此實驗室在2008年成立，主要研究目標是音視頻的嵌入式系統(tǒng)的處理，重點研究方向是：計算機視覺、模式識別和人工智能(視頻智能處理算法)、嵌入式系統(tǒng)及和多核嵌入式系統(tǒng)。
重點研究方向與現(xiàn)狀
在計算機視覺方面，實驗室目前主要在做基于手提攝像機(單目)和多目相機的標定、三維重建和基于非線性RTCam相機模型的統(tǒng)一相機幾何模型研究。因為在實際視頻應用中會出現(xiàn)各種各樣的非線性失真，不同的幾何模型在成像中有不同的原理，在航空、深海探測等專業(yè)領域這些模型都會用到，所以在視覺方面我們有必要做這個研究。這在投影應用當中也有用武之地，大屏幕投影是具有非線性失真的，如屏幕放不直會出現(xiàn)梯形投影，這個模型有望解決這一問題。
模式識別和人工智能(視頻智能處理算法)應用范圍很廣，其發(fā)展對國民經(jīng)濟建設和國防現(xiàn)代化建設有著廣泛和深遠的意義。這也是當前重點研究內(nèi)容，為了適應不同場合識別處理算法也不盡相同。實驗室目前進行研究和優(yōu)化的算法有：人臉檢測算法、火災檢測算法、車牌識別算法、入侵檢測算法、流量統(tǒng)計算法、動態(tài)跟蹤算法、人形檢測算法、去霧算法等，幾乎涵蓋了所有應用。
基于非線性RTCam相機模型的統(tǒng)一相機幾何模型研究
關于嵌入式系統(tǒng)，既有基于TI-DAVINCI(DM6467、DM6437、DM365、DM368、DM647、DM648)、OMAP處理器、TI多核處理器系列的嵌入式軟硬件系統(tǒng)；還有基于ADI Blackfin(BF561、BF533、BF548)系列的嵌入式軟硬件系統(tǒng)和基于Freescale PowerPC系列的嵌入式軟硬件系統(tǒng)的研究。
其中TI-DAVINCI是一種嶄新的軟件架構，我們的很多研究都在上面開發(fā)，攝像機上用得也很多，但是能在攝像機里面真正把這種嵌入式系統(tǒng)應用好的并不多見，如何在低功耗高性能方面增強嵌入式系統(tǒng)的能力是目前著力要做的功課。
對于嵌入式系統(tǒng)而言，多核技術較過去可以提供更高的處理器性能、更有效的電源利用率，并且占用更小的物理空間，具有許多單核處理器無法具備的優(yōu)勢。在高端通信和影像等計算密集型應用領域，多核嵌入式系統(tǒng)已經(jīng)成為發(fā)展的必然趨勢。正是前瞻性地看到這種發(fā)展方向，實驗室進行了基于XILINX Microblaze、Tilera 64核處理器、TI多核DSP等各種多核嵌入式系統(tǒng)設計。
今后網(wǎng)絡服務器、媒體網(wǎng)關服務器、云計算中心、物聯(lián)網(wǎng)數(shù)據(jù)安全設計都會涉及多核技術，它成為一個必須研究的技術課題。
產(chǎn)品成果及方案
下面就實驗室研發(fā)出的產(chǎn)品及方案向來賓進行介紹。
高清智能IP相機是研究成果的具體應用產(chǎn)品，融合了高清照相、智能處理和高速傳輸功能。它由CCD+FPGA組成前端AFE采集系統(tǒng)，當然也可更換CCD，目前可支持200萬、400萬像素采集；DM368/DM365組成ENC編碼系統(tǒng)，負責進行H.264、MPEG4、MJPEG編碼、支持多流同時編碼；DM6437組成VCA智能視頻處理算法系統(tǒng)，負責進行各種智能處理算法識別，模塊功能可動態(tài)配置，并且模塊數(shù)量可以根據(jù)需要進行插拔實現(xiàn)。設備接口方面，具有視頻數(shù)據(jù)接口、以太網(wǎng)接口、USB接口支持(支持3G-WCDMA，可以進行短信傳遞及視頻發(fā)送組成)、各種外部觸發(fā)接口及通信接口，并支持SD卡(最大16G)。同時此設備還內(nèi)嵌WEB服務器，并添加了人臉檢測及數(shù)量統(tǒng)計、火災檢測、車牌識別、去霧算法等。適用于智能交通、航空航海、火災檢測、公共安全等眾多領域。
傳統(tǒng)的相機都是由成像部分、圖像傳輸部分組成的，現(xiàn)在99%的相機都沒有智能處理部分。我們所做的相機不光要有傳輸，而且要有智能處理，例如火災檢測可以檢測出火焰，在校園里面可檢測出自行車或行人。還有去霧的方法，考慮到速度問題，進行了基于DSP的優(yōu)化和相關改進，這對于改善濃霧天氣的交通環(huán)境非常有用。
如果把這個IP相機和RFID(無線射頻識別技術)結合起來，還可以實現(xiàn)視頻定位跟蹤，當你走到敏感區(qū)域的時候，它會自動切換到這個位置。目前我們還做了安全預案及高清智能相機的物聯(lián)網(wǎng)結合方案，可以有效實現(xiàn)煤礦、煙花、危化行業(yè)的安全生產(chǎn)監(jiān)控，安全事件的提前預警、危險事件的自動報警(火災、煙霧、入侵)及安全預案的自動執(zhí)行。
當音視頻數(shù)據(jù)上了物聯(lián)網(wǎng)之后，目前面臨的最大的問題就是延遲，特別是在云平臺進行數(shù)據(jù)分布式存儲以后，每當檢索的時候就要預備數(shù)據(jù)，預備數(shù)據(jù)時延遲很長，現(xiàn)在傳統(tǒng)的音視頻解決方案都不能很好地解決這個問題。因此數(shù)據(jù)存儲機制和檢索機制，是我們下一步要攻克的方向。