-- 信息提供(gong):詹柯(ADI 技術市場經(jing)理)
上海2009年5月25日(ri)電 /美(mei)通(tong)社(she)亞(ya)洲/ -- 隨著人們對(dui)(dui)(dui)生(sheng)活質量要求的(de)(de)(de)(de)提高(gao)和(he)全球(qiu)反恐的(de)(de)(de)(de)大勢所需,以及數字化技術本(ben)身的(de)(de)(de)(de)不斷進步(bu),依托(tuo)指紋識(shi)別(bie)(bie)、虹膜(mo)識(shi)別(bie)(bie)、人臉識(shi)別(bie)(bie)等(deng)技術的(de)(de)(de)(de)生(sheng)物識(shi)別(bie)(bie)方(fang)案(an)和(he)視頻(pin)(pin)監(jian)控(kong)(kong)方(fang)案(an)等(deng)正逐步(bu)成為提高(gao)個(ge)人、家庭(ting)、企(qi)業和(he)社(she)會安全性(xing)的(de)(de)(de)(de)重要手段。生(sheng)物識(shi)別(bie)(bie)方(fang)案(an)主要包(bao)括四個(ge)步(bu)驟:圖(tu)(tu)像(xiang)(xiang)采(cai)集(ji)、圖(tu)(tu)像(xiang)(xiang)預(yu)(yu)處(chu)(chu)(chu)理(li)(li),特征(zheng)取樣,匹配分(fen)析(xi);而視頻(pin)(pin)監(jian)控(kong)(kong)方(fang)案(an)則主要包(bao)括圖(tu)(tu)像(xiang)(xiang)采(cai)集(ji)、圖(tu)(tu)像(xiang)(xiang)預(yu)(yu)處(chu)(chu)(chu)理(li)(li)、圖(tu)(tu)像(xiang)(xiang)處(chu)(chu)(chu)理(li)(li)與(yu)傳輸、圖(tu)(tu)像(xiang)(xiang)顯(xian)示(shi)及圖(tu)(tu)像(xiang)(xiang)管(guan)理(li)(li)等(deng)。不難看出(chu),無論是(shi)生(sheng)物識(shi)別(bie)(bie)還是(shi)視頻(pin)(pin)監(jian)控(kong)(kong),圖(tu)(tu)像(xiang)(xiang)預(yu)(yu)處(chu)(chu)(chu)理(li)(li)都(dou)是(shi)必需的(de)(de)(de)(de)。事實上,圖(tu)(tu)像(xiang)(xiang)預(yu)(yu)處(chu)(chu)(chu)理(li)(li)算法的(de)(de)(de)(de)靈活度(du)、復雜(za)度(du)、對(dui)(dui)(dui)圖(tu)(tu)像(xiang)(xiang)處(chu)(chu)(chu)理(li)(li)芯片資源的(de)(de)(de)(de)占(zhan)用(yong)度(du),以及處(chu)(chu)(chu)理(li)(li)時間的(de)(de)(de)(de)長度(du)將直接(jie)對(dui)(dui)(dui)整(zheng)個(ge)系統運行產(chan)生(sheng)舉足輕重的(de)(de)(de)(de)影響。因此,圖(tu)(tu)像(xiang)(xiang)預(yu)(yu)處(chu)(chu)(chu)理(li)(li)對(dui)(dui)(dui)于整(zheng)個(ge)安防方(fang)案(an)來(lai)說都(dou)是(shi)一項艱巨而又關鍵的(de)(de)(de)(de)任務,直接(jie)決定了后續圖(tu)(tu)像(xiang)(xiang)處(chu)(chu)(chu)理(li)(li)與(yu)分(fen)析(xi)的(de)(de)(de)(de)準確性(xing)和(he)便捷(jie)性(xing)。
圖像預處理分析
根據(ju)目的(de)(de)的(de)(de)不同,圖(tu)像(xiang)(xiang)(xiang)預(yu)處(chu)理(li)可分(fen)為對(dui)(dui)采集圖(tu)像(xiang)(xiang)(xiang)進(jin)行(xing)清晰(xi)化(hua)處(chu)理(li),對(dui)(dui)圖(tu)像(xiang)(xiang)(xiang)進(jin)行(xing)識別前(qian)的(de)(de)預(yu)處(chu)理(li),以及對(dui)(dui)圖(tu)像(xiang)(xiang)(xiang)進(jin)行(xing)壓(ya)縮前(qian)的(de)(de)預(yu)處(chu)理(li)等(deng)。其中,對(dui)(dui)采集圖(tu)像(xiang)(xiang)(xiang)進(jin)行(xing)清晰(xi)化(hua)處(chu)理(li)主(zhu)要(yao)包(bao)括(kuo)對(dui)(dui) CMOS 或 CCD 圖(tu)像(xiang)(xiang)(xiang)傳(chuan)感器感光單元的(de)(de)不一致進(jin)行(xing)后續糾(jiu)正,對(dui)(dui)實際環境(jing)與(yu)傳(chuan)感器采集的(de)(de)圖(tu)像(xiang)(xiang)(xiang)進(jin)行(xing)差(cha)異補償(如(ru)背光),以及對(dui)(dui)采集到的(de)(de)原始(shi)圖(tu)像(xiang)(xiang)(xiang)進(jin)行(xing)去(qu)噪處(chu)理(li)等(deng)。雖然這(zhe)(zhe)種預(yu)處(chu)理(li)算(suan)法(fa)本身的(de)(de)難度不大,但隨著實時(shi)性需求(qiu)的(de)(de)普(pu)及,尤其是(shi)在像(xiang)(xiang)(xiang)素較大時(shi),這(zhe)(zhe)種算(suan)法(fa)還是(shi)對(dui)(dui) DSP ( //www.analog.com/embedded-processing-dsp/processors/zh/index.html ) 的(de)(de)處(chu)理(li)能力提(ti)出了很高的(de)(de)要(yao)求(qiu)。
而(er)對圖(tu)像(xiang)進(jin)行(xing)識(shi)別前的(de)(de)(de)預處(chu)理(li)(li)則目(mu)的(de)(de)(de)性(xing)很強(qiang),可能(neng)(neng)需要破(po)壞(huai)原來的(de)(de)(de)像(xiang)素和分布,以便后續進(jin)行(xing)特征提取。這種預處(chu)理(li)(li)算法的(de)(de)(de)難度視(shi)識(shi)別場合的(de)(de)(de)不同而(er)不同。要綜合后面的(de)(de)(de)識(shi)別算法部分,選擇適(shi)當的(de)(de)(de) DSP。圖(tu)像(xiang)壓縮前的(de)(de)(de)預處(chu)理(li)(li)主要是(shi)指(zhi)將 YUV422 變(bian)為 YUV420、將 RGB 變(bian)為 YUV 等。這類(lei)處(chu)理(li)(li)往往有實(shi)時性(xing)要求,如果(guo)采用(yong)(yong)軟件實(shi)現(xian),會對處(chu)理(li)(li)性(xing)能(neng)(neng)有較高(gao)的(de)(de)(de)要求;如果(guo)采用(yong)(yong)硬(ying)件實(shi)現(xian),則雖然在(zai)處(chu)理(li)(li)性(xing)能(neng)(neng)上(shang)有保證,但硬(ying)件成本會有所(suo)上(shang)升。
同時,根據應(ying)(ying)用不同,圖(tu)(tu)像(xiang)(xiang)預處(chu)(chu)理(li)(li)又可(ke)分為(wei)生(sheng)物識別應(ying)(ying)用中的(de)圖(tu)(tu)像(xiang)(xiang)預處(chu)(chu)理(li)(li)和視頻監控應(ying)(ying)用中的(de)圖(tu)(tu)像(xiang)(xiang)預處(chu)(chu)理(li)(li)。對于(yu)生(sheng)物識別應(ying)(ying)用,以指(zhi)紋(wen)識別為(wei)例(li),其預處(chu)(chu)理(li)(li)主要(yao)包括指(zhi)紋(wen)圖(tu)(tu)像(xiang)(xiang)增強(qiang)、指(zhi)紋(wen)圖(tu)(tu)像(xiang)(xiang)二值化、指(zhi)紋(wen)圖(tu)(tu)像(xiang)(xiang)細(xi)化、指(zhi)紋(wen)圖(tu)(tu)像(xiang)(xiang)細(xi)化后處(chu)(chu)理(li)(li)。而視頻監控應(ying)(ying)用中的(de)圖(tu)(tu)像(xiang)(xiang)預處(chu)(chu)理(li)(li)主要(yao)是指(zhi)對圖(tu)(tu)像(xiang)(xiang)傳感器輸出的(de)連續(xu)圖(tu)(tu)像(xiang)(xiang)進(jin)行分析,獲取足夠(gou)的(de)信息(xi),并通過自動白(bai)平衡、伽馬(ma) (Gamma) 校(xiao)正、自動聚焦、自動曝光、背光補償等來(lai)提高圖(tu)(tu)像(xiang)(xiang)的(de)實際效果。
圖像預處理的挑戰
無論是生物(wu)識別還是視(shi)頻(pin)監(jian)控,其(qi)(qi)圖(tu)像(xiang)(xiang)(xiang)預(yu)處理(li)(li)(li)(li)(li)正面臨以(yi)下挑戰:其(qi)(qi)一(yi)(yi),用(yong)戶對圖(tu)像(xiang)(xiang)(xiang)質量(liang)的(de)(de)(de)要(yao)(yao)(yao)求(qiu)(qiu)越(yue)來(lai)越(yue)高(gao)(gao),圖(tu)像(xiang)(xiang)(xiang)預(yu)處理(li)(li)(li)(li)(li)的(de)(de)(de)算(suan)(suan)法越(yue)來(lai)越(yue)復雜,從而(er)對圖(tu)像(xiang)(xiang)(xiang)預(yu)處理(li)(li)(li)(li)(li)主芯(xin)片處理(li)(li)(li)(li)(li)能力(li)(li)及存儲空(kong)間提(ti)(ti)出了(le)更(geng)加苛刻的(de)(de)(de)要(yao)(yao)(yao)求(qiu)(qiu);其(qi)(qi)二(er),用(yong)戶對圖(tu)像(xiang)(xiang)(xiang)的(de)(de)(de)實時性處理(li)(li)(li)(li)(li)和(he)傳輸(shu)要(yao)(yao)(yao)求(qiu)(qiu)越(yue)來(lai)越(yue)高(gao)(gao),一(yi)(yi)方(fang)面要(yao)(yao)(yao)求(qiu)(qiu)圖(tu)像(xiang)(xiang)(xiang)預(yu)處理(li)(li)(li)(li)(li)算(suan)(suan)法盡量(liang)優化、精簡(jian),另(ling)一(yi)(yi)方(fang)面也對圖(tu)像(xiang)(xiang)(xiang)預(yu)處理(li)(li)(li)(li)(li)主芯(xin)片的(de)(de)(de)內核(he)處理(li)(li)(li)(li)(li)能力(li)(li)、內部總(zong)線架(jia)構、數(shu)據傳輸(shu)能力(li)(li)、外(wai)圍(wei)接口,以(yi)及硬件整體架(jia)構和(he)指令集(ji)對預(yu)處理(li)(li)(li)(li)(li)算(suan)(suan)法的(de)(de)(de)支持提(ti)(ti)出了(le)更(geng)高(gao)(gao)要(yao)(yao)(yao)求(qiu)(qiu);其(qi)(qi)三,不(bu)(bu)(bu)同(tong)于圖(tu)像(xiang)(xiang)(xiang)和(he)視(shi)頻(pin)編解碼算(suan)(suan)法具有(you)業界統(tong)一(yi)(yi)的(de)(de)(de)算(suan)(suan)法標準和(he)清(qing)晰(xi)的(de)(de)(de)演進路線圖(tu),圖(tu)像(xiang)(xiang)(xiang)預(yu)處理(li)(li)(li)(li)(li)算(suan)(suan)法不(bu)(bu)(bu)僅(jin)沒有(you)統(tong)一(yi)(yi)的(de)(de)(de)標準和(he)清(qing)晰(xi)的(de)(de)(de)發展(zhan)方(fang)向,甚至在很(hen)大程度上(shang),方(fang)案(an)提(ti)(ti)供(gong)商正是通過這些”秘密”的(de)(de)(de)個(ge)性化算(suan)(suan)法來(lai)作為(wei)市場競(jing)爭的(de)(de)(de)法寶(bao)。此外(wai),隨著應用(yong)領域(yu)的(de)(de)(de)不(bu)(bu)(bu)同(tong)、需(xu)求(qiu)(qiu)的(de)(de)(de)提(ti)(ti)高(gao)(gao)和(he)技術本身的(de)(de)(de)演進,原有(you)算(suan)(suan)法會(hui)不(bu)(bu)(bu)斷(duan)升級,新的(de)(de)(de)算(suan)(suan)法會(hui)不(bu)(bu)(bu)斷(duan)涌現(xian),這些都(dou)要(yao)(yao)(yao)求(qiu)(qiu)圖(tu)像(xiang)(xiang)(xiang)預(yu)處理(li)(li)(li)(li)(li)芯(xin)片具有(you)更(geng)高(gao)(gao)的(de)(de)(de)靈活性和(he)適應能力(li)(li)。其(qi)(qi)四,對于方(fang)案(an)提(ti)(ti)供(gong)商來(lai)說,不(bu)(bu)(bu)僅(jin)其(qi)(qi)體現(xian)競(jing)爭力(li)(li)的(de)(de)(de)核(he)心算(suan)(suan)法需(xu)要(yao)(yao)(yao)防止被非(fei)法讀取或(huo)拷(kao)貝,而(er)且無論是生物(wu)識別還是視(shi)頻(pin)監(jian)控,其(qi)(qi)圖(tu)像(xiang)(xiang)(xiang)數(shu)據往往都(dou)會(hui)涉(she)及隱私,因此也需(xu)要(yao)(yao)(yao)提(ti)(ti)供(gong)可以(yi)信任的(de)(de)(de)安全保證。以(yi)上(shang)兩(liang)方(fang)面,都(dou)要(yao)(yao)(yao)求(qiu)(qiu)圖(tu)像(xiang)(xiang)(xiang)處理(li)(li)(li)(li)(li)芯(xin)片必須(xu)提(ti)(ti)供(gong)一(yi)(yi)個(ge)可靠、完全的(de)(de)(de)處理(li)(li)(li)(li)(li)平臺。
基于(yu)以(yi)上(shang)多方面的(de)挑戰(zhan),在圖像(xiang)(xiang)(xiang)預(yu)處(chu)理(li)(li)(li)主(zhu)芯片(pian)的(de)選擇上(shang),以(yi)控制(zhi)能力(li)見長的(de)傳統(tong) MCU 并(bing)不適合龐大(da)、復雜(za)的(de)算法(fa)處(chu)理(li)(li)(li);ASIC 雖然在運算速度(du)和功耗方面具(ju)(ju)有一定的(de)優勢,但其成本(ben)高、靈活(huo)性(xing)差,且(qie)不利于(yu)升級和修(xiu)改,因此(ci)無法(fa)滿足預(yu)處(chu)理(li)(li)(li)算法(fa)個性(xing)化(hua)的(de)靈活(huo)性(xing)需(xu)求;FPGA 并(bing)行處(chu)理(li)(li)(li)的(de)架構雖然具(ju)(ju)備了強大(da)的(de)數(shu)據處(chu)理(li)(li)(li)能力(li),但價格、功耗,以(yi)及開發難度(du)方面的(de)缺點(dian)使其很難成為(wei)圖像(xiang)(xiang)(xiang)預(yu)處(chu)理(li)(li)(li)的(de)主(zhu)流(liu)選擇;而 DSP 則以(yi)強大(da)的(de)數(shu)據處(chu)理(li)(li)(li)能力(li)和軟件可編程能力(li)成為(wei)圖像(xiang)(xiang)(xiang)預(yu)處(chu)理(li)(li)(li)主(zhu)芯片(pian)的(de)主(zhu)流(liu)選擇。
除(chu)了以上挑戰(zhan),從系統(tong)設計的角度來講,還面(mian)臨以下(xia)幾方面(mian)的需求(qiu):
其(qi)一,雖然圖(tu)像預處(chu)(chu)理(li)(li)(li)和圖(tu)像處(chu)(chu)理(li)(li)(li)工(gong)作巨大(da),但是工(gong)程(cheng)(cheng)師并(bing)不希(xi)望采用多個芯片(pian)(pian)來(lai)處(chu)(chu)理(li)(li)(li)這件事情。因為信號處(chu)(chu)理(li)(li)(li)和控制(zhi)系(xi)統(tong)分別運行(xing)于(yu)不同(tong)處(chu)(chu)理(li)(li)(li)器的(de)(de)傳統(tong) DSP 架構(gou)已經(jing)讓(rang)工(gong)程(cheng)(cheng)師非常頭疼,如果再把(ba)圖(tu)像預處(chu)(chu)理(li)(li)(li)和圖(tu)像處(chu)(chu)理(li)(li)(li)分開,則更加大(da)了(le)工(gong)程(cheng)(cheng)師進行(xing)系(xi)統(tong)開發、系(xi)統(tong)聯調、系(xi)統(tong)維護的(de)(de)難(nan)度。因此,對(dui)于(yu)系(xi)統(tong)設計中(zhong)的(de)(de)主芯片(pian)(pian) DSP 來(lai)說,還面(mian)臨集成度的(de)(de)要求 -- 有沒有可(ke)能(neng)在(zai)單芯片(pian)(pian)上(shang)實現(xian)圖(tu)像預處(chu)(chu)理(li)(li)(li)、圖(tu)像處(chu)(chu)理(li)(li)(li),甚至包括系(xi)統(tong)控制(zhi)等功能(neng)。
其二(er),隨著包括預處(chu)理(li)在內的整個圖像處(chu)理(li)算法復雜性的不斷(duan)增加,作為主處(chu)理(li)器的 DSP,除(chu)了需(xu)要提供足夠的硬件處(chu)理(li)能力之(zhi)外(wai),還應該(gai)在軟件上提供針對該(gai)處(chu)理(li)器專(zhuan)門(men)優化(hua)(hua)的指令集,從而(er)幫助工程師降低對處(chu)理(li)器物理(li)架構的熟悉難度,較大限度的駕馭、發揮處(chu)理(li)器的特性,盡快(kuai)開發出精簡(jian)、優化(hua)(hua)的圖像處(chu)理(li)算法。
其三,除了上面(mian)提到(dao)的(de)(de)專(zhuan)(zhuan)門(men)優化的(de)(de)指令集以(yi)外,面(mian)對(dui)日(ri)益復雜的(de)(de)圖像處理(li)(li)和產品上市(shi)時(shi)間的(de)(de)壓力,工(gong)程師還期望處理(li)(li)器(qi)供應商能夠分擔一些(xie)他們的(de)(de)工(gong)作 -- 比如(ru),提供專(zhuan)(zhuan)門(men)針對(dui)該處理(li)(li)器(qi)優化、僅占(zhan)極少量時(shi)鐘周期的(de)(de)底層圖像處理(li)(li)軟件模(mo)塊,以(yi)幫助(zhu)他們縮短圖像處理(li)(li)算法開發流程,并加速軟件移植。
另外,功能強大(da)、界面友好(hao)、簡單易(yi)學的(de)(de)(de)開發工(gong)具也是系(xi)統開發中工(gong)程(cheng)師(shi)要求的(de)(de)(de)重點,而且隨著(zhu)系(xi)統復(fu)雜度和模塊復(fu)用性需求的(de)(de)(de)增加,對開發工(gong)具的(de)(de)(de)兼容性也提出了更高的(de)(de)(de)要求。
理(li)想的 DSP 處理(li)器
基于(yu)以上分(fen)析(xi),針對(dui)圖(tu)像(xiang)處(chu)理(li)(li)(li)應(ying)用的(de)(de)(de)理(li)(li)(li)想 DSP 處(chu)理(li)(li)(li)器(qi)(qi)必須具備以下幾(ji)方面的(de)(de)(de)特(te)點(dian):內核處(chu)理(li)(li)(li)能力強(qiang);專(zhuan)門針對(dui)圖(tu)像(xiang)處(chu)理(li)(li)(li)的(de)(de)(de)指(zhi)令集(ji)(ji);易于(yu)大量(liang)數(shu)據(ju)傳輸的(de)(de)(de)低功(gong)耗硬件(jian)架構;高集(ji)(ji)成度;豐(feng)富(fu)的(de)(de)(de)軟(ruan)件(jian)模塊庫;功(gong)能強(qiang)大的(de)(de)(de)開發工具。以下是(shi)對(dui)該類(lei) DSP 處(chu)理(li)(li)(li)器(qi)(qi)的(de)(de)(de)代(dai)表系列 -- Blackfin 匯聚處(chu)理(li)(li)(li)器(qi)(qi)架構的(de)(de)(de)具體分(fen)析(xi)。
硬件特性
Blackfin DSP 處(chu)(chu)理(li)(li)(li)器(qi)基(ji)于由(you) ADI 和(he)(he) Intel 公司(si)聯合開發的(de)微信號架構 (MSA),通過(guo)將傳統(tong)(tong) DSP 和(he)(he)微控制器(qi)的(de)優(you)點融(rong)為(wei)一(yi)體(ti),兼顧了(le)事(shi)(shi)件控制以及(ji)純算(suan)法(fa)運算(suan)處(chu)(chu)理(li)(li)(li)功能。其(qi)匯(hui)聚(ju)的(de)單(dan)一(yi)內(nei)核可提供高(gao)達 756MHz 的(de)處(chu)(chu)理(li)(li)(li)能力,不僅為(wei)處(chu)(chu)理(li)(li)(li)復(fu)雜的(de)預處(chu)(chu)理(li)(li)(li)算(suan)法(fa)提供了(le)強大性(xing)能保證,而(er)且為(wei)整個系統(tong)(tong)的(de)圖(tu)像處(chu)(chu)理(li)(li)(li)和(he)(he)事(shi)(shi)件控制提供了(le)強有(you)力的(de)硬件支持,從而(er)允許工(gong)程師在單(dan)芯片上實現圖(tu)像預處(chu)(chu)理(li)(li)(li)、圖(tu)像處(chu)(chu)理(li)(li)(li)、系統(tong)(tong)控制,大大提高(gao)了(le)系統(tong)(tong)的(de)集成度(du)。
Blackfin 系列處(chu)理(li)(li)器(qi)(qi)(qi)的(de)硬件(jian)架構(gou)專門針(zhen)對圖(tu)像(xiang)處(chu)理(li)(li)進行(xing)優化(hua),多個 DMA 通(tong)道和可(ke)靈(ling)(ling)活配置(zhi)的(de) Cache 能(neng)很好(hao)地(di)解決大運算量(liang)(liang)、高(gao)數(shu)據(ju)吞吐率(lv)的(de)圖(tu)像(xiang)處(chu)理(li)(li)應用(yong)要求。在(zai)圖(tu)像(xiang)處(chu)理(li)(li)應用(yong)中,雖然對圖(tu)像(xiang)數(shu)據(ju)進行(xing)的(de)傳(chuan)(chuan)輸(shu)也可(ke)由(you)軟(ruan)件(jian)實(shi)現,但是這(zhe)(zhe)樣會消耗掉大量(liang)(liang)的(de) CPU 時(shi)鐘周(zhou)期(qi),從(cong)而(er)使 DSP 的(de)高(gao)速數(shu)據(ju)處(chu)理(li)(li)能(neng)力(li)難以發揮(hui)。如(ru)果由(you) DMA 獨立負責數(shu)據(ju)傳(chuan)(chuan)輸(shu),那么在(zai)系統內核(he)(he)對 DMA 進行(xing)初始設置(zhi)并啟動后,DMA 控(kong)制器(qi)(qi)(qi)就可(ke)在(zai)無需內核(he)(he)參與的(de)情(qing)況(kuang)下直接把圖(tu)像(xiang)數(shu)據(ju)從(cong) PPI 接口(kou)傳(chuan)(chuan)輸(shu)至 SDRAM 存儲(chu)器(qi)(qi)(qi)進行(xing)存儲(chu),比(bi)如(ru)在(zai)進行(xing) MPEG 或 JPEG 處(chu)理(li)(li)的(de)計(ji)算密集型算法中,一個靈(ling)(ling)活的(de) DMA 控(kong)制器(qi)(qi)(qi)能(neng)省(sheng)去額外的(de)數(shu)據(ju)通(tong)路。此外,通(tong)過二維 DMA 還(huan)能(neng)簡(jian)化(hua)宏塊(kuai)進出(chu)外部(bu)存儲(chu)器(qi)(qi)(qi)的(de)傳(chuan)(chuan)送,從(cong)而(er)允(yun)許數(shu)據(ju)控(kong)制成為數(shu)據(ju)實(shi)際(ji)傳(chuan)(chuan)送的(de)一部(bu)分(fen),這(zhe)(zhe)對色(se)彩空間元(yuan)素的(de)交叉(cha)和解交叉(cha)來說非常(chang)方便也非常(chang)重要。因此,Blackfin 處(chu)理(li)(li)器(qi)(qi)(qi) ( //www.analog.com/zh/embedded-processing-dsp/blackfin/content/index.html ) 的(de)這(zhe)(zhe)種特性在(zai)有效地(di)解決了(le)大批(pi)量(liang)(liang)圖(tu)像(xiang)數(shu)據(ju)傳(chuan)(chuan)輸(shu)這(zhe)(zhe)一速度(du)瓶頸的(de)同時(shi),又能(neng)讓(rang) DSP 處(chu)理(li)(li)器(qi)(qi)(qi)抽出(chu)更多的(de)資(zi)源從(cong)事算法處(chu)理(li)(li)工作,大幅(fu)提(ti)高(gao)了(le)系統的(de)處(chu)理(li)(li)能(neng)力(li)。
而且,針對圖(tu)像(xiang)處(chu)理(li)(li)應用,Blackfin 系列 DSP 還在不斷強化硬件功能模(mo)塊的(de)(de)(de)支持,比如,ADSP-BF54x 系列 Blackfin 處(chu)理(li)(li)器的(de)(de)(de)最新版本中(zhong)增加了(le)(le)一個用于(yu)處(chu)理(li)(li)疊加圖(tu)像(xiang) (Pixel Compositor) 的(de)(de)(de)硬件加速器和(he)一個擴展(zhan)視頻接口(kou) (EPPI),它(ta)使(shi)得色彩空間(jian)(jian)變換、縮放和(he)圖(tu)像(xiang)疊加等(deng)任務可(ke)以在無需處(chu)理(li)(li)器參與計(ji)算的(de)(de)(de)情況下完成(cheng),從而減輕了(le)(le)內(nei)核的(de)(de)(de)處(chu)理(li)(li)壓力,為(wei)進(jin)行(xing)更(geng)(geng)高(gao)性能、更(geng)(geng)高(gao)速度(du)的(de)(de)(de)圖(tu)像(xiang)處(chu)理(li)(li)提供了(le)(le)更(geng)(geng)多空間(jian)(jian)。
軟件特性
在指(zhi)(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling)集方面,Blackfin 系列 DSP 針對圖(tu)像處(chu)理提供了豐(feng)富的(de)(de)向(xiang)量(liang)(liang)指(zhi)(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling)和視頻指(zhi)(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling)。其中向(xiang)量(liang)(liang)指(zhi)(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling)可(ke)以(yi)實現對16位(wei)數(shu)的(de)(de)操(cao)作(zuo)(大多(duo)指(zhi)(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling)可(ke)以(yi)并行完成兩(liang)個16位(wei)數(shu)的(de)(de)操(cao)作(zuo))。由于圖(tu)像處(chu)理運算中大多(duo)是針對16位(wei)數(shu)的(de)(de)操(cao)作(zuo),因(yin)此,通過合理使用這些(xie)向(xiang)量(liang)(liang)指(zhi)(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling)來優化圖(tu)像運算非常重要。不僅 Blackfin 指(zhi)(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling)集中的(de)(de)大多(duo)數(shu)算術(shu)指(zhi)(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling)和移(yi)位(wei)指(zhi)(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling)都有對應(ying)(ying)的(de)(de)向(xiang)量(liang)(liang)指(zhi)(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling),而且,向(xiang)量(liang)(liang)指(zhi)(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling)中還有根(gen)據(ju)符(fu)號相加(jia)、32位(wei)數(shu)轉16位(wei)數(shu)等特殊指(zhi)(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling)。在對圖(tu)像預處(chu)理的(de)(de)匯編優化中合理的(de)(de)應(ying)(ying)用這些(xie)向(xiang)量(liang)(liang)指(zhi)(zhi)(zhi)(zhi)(zhi)令(ling)(ling)(ling),可(ke)以(yi)提高算法的(de)(de)并行度(du)(du),并大大加(jia)快運算速度(du)(du)。
視(shi)頻(pin)(pin)像(xiang)(xiang)素(su)(su)(su)指(zhi)(zhi)令(ling)(ling)主(zhu)要包(bao)括 BYTEOP16P (完(wan)成(cheng)兩(liang)個(ge)8位(wei)(wei)(wei)(wei)數(shu)(shu)(shu)加(jia)法操(cao)(cao)(cao)作(zuo)(zuo))、BYTEOP3P (完(wan)成(cheng)16位(wei)(wei)(wei)(wei)和8位(wei)(wei)(wei)(wei)數(shu)(shu)(shu)的加(jia)法操(cao)(cao)(cao)作(zuo)(zuo))、BYTEOPIP(完(wan)成(cheng)兩(liang)個(ge)8位(wei)(wei)(wei)(wei)數(shu)(shu)(shu)求(qiu)平(ping)(ping)均(jun)操(cao)(cao)(cao)作(zuo)(zuo))、BYTEOPZP(完(wan)成(cheng)四個(ge)8位(wei)(wei)(wei)(wei)數(shu)(shu)(shu)求(qiu)平(ping)(ping)均(jun)操(cao)(cao)(cao)作(zuo)(zuo))、BYTEOP16M(完(wan)成(cheng)兩(liang)個(ge)8位(wei)(wei)(wei)(wei)數(shu)(shu)(shu)減(jian)法操(cao)(cao)(cao)作(zuo)(zuo))、SAA (完(wan)成(cheng)求(qiu)SAD操(cao)(cao)(cao)作(zuo)(zuo))、BYTEAPCK (完(wan)成(cheng)16位(wei)(wei)(wei)(wei)數(shu)(shu)(shu)轉8位(wei)(wei)(wei)(wei)數(shu)(shu)(shu)操(cao)(cao)(cao)作(zuo)(zuo)),以及(ji) BYTEUNAPCK(完(wan)成(cheng)8位(wei)(wei)(wei)(wei)數(shu)(shu)(shu)轉16位(wei)(wei)(wei)(wei)數(shu)(shu)(shu)操(cao)(cao)(cao)作(zuo)(zuo))等(deng)。一條視(shi)頻(pin)(pin)像(xiang)(xiang)素(su)(su)(su)操(cao)(cao)(cao)作(zuo)(zuo)指(zhi)(zhi)令(ling)(ling)可(ke)以在一個(ge)周期內完(wan)成(cheng)4對視(shi)頻(pin)(pin)數(shu)(shu)(shu)據分(fen)量(liang)的加(jia)、減(jian)、加(jia)減(jian)混合、取平(ping)(ping)均(jun)值,或者相減(jian)并求(qiu)絕對值等(deng)11種視(shi)頻(pin)(pin)像(xiang)(xiang)素(su)(su)(su)運(yun)算。由(you)于視(shi)頻(pin)(pin)像(xiang)(xiang)素(su)(su)(su)值一般(ban)都(dou)是按照8位(wei)(wei)(wei)(wei)存放的,所以使(shi)用視(shi)頻(pin)(pin)像(xiang)(xiang)素(su)(su)(su)指(zhi)(zhi)令(ling)(ling)可(ke)以大大提高包(bao)括求(qiu) SAD、像(xiang)(xiang)素(su)(su)(su)插值、8位(wei)(wei)(wei)(wei)數(shu)(shu)(shu)和16位(wei)(wei)(wei)(wei)數(shu)(shu)(shu)直接轉換等(deng)在內的各種視(shi)頻(pin)(pin)圖像(xiang)(xiang)運(yun)算的速(su)度(du)。
安全特性
在(zai)安(an)(an)(an)(an)全性(xing)方(fang)面,ADI 公司(si)的 Blackfin Lockbox Secure Technology 通過(guo)提供(gong)一次可編程(cheng)(OTP)存(cun)儲器(qi)(qi)與(yu)安(an)(an)(an)(an)全處(chu)理模(mo)式(Blackfin 安(an)(an)(an)(an)全模(mo)式),將軟(ruan)件(jian)與(yu)硬(ying)件(jian)保護相(xiang)結合,為開發(fa)人(ren)(ren)員(yuan)(yuan)提供(gong)實現以上安(an)(an)(an)(an)全措施的手段,其(qi)中,在(zai) OTP 存(cun)儲器(qi)(qi)的公共(gong)(gong)、非安(an)(an)(an)(an)全、用(yong)戶可編程(cheng)區(qu)域開發(fa)人(ren)(ren)員(yuan)(yuan)可以用(yong)來(lai)存(cun)儲公共(gong)(gong)密鑰,這樣(yang)可以通過(guo)可控制與(yu)可配置的方(fang)式來(lai)鑒(jian)別(bie)系統(tong)。而在(zai) OTP 存(cun)儲器(qi)(qi)的私(si)有、安(an)(an)(an)(an)全、用(yong)戶可編程(cheng)區(qu)域,開發(fa)人(ren)(ren)員(yuan)(yuan)則可以設置私(si)人(ren)(ren)密鑰等私(si)有器(qi)(qi)件(jian)資(zi)產 (deviceassets),并保持這些(xie)器(qi)(qi)件(jian)資(zi)產的機密性(xing)與(yu)完整(zheng)性(xing)。此外,在(zai) Blackfin 處(chu)理器(qi)(qi)上使用(yong)安(an)(an)(an)(an)全模(mo)式后(hou),處(chu)理器(qi)(qi)只(zhi)能在(zai)安(an)(an)(an)(an)全處(chu)理環(huan)境內執行授權(quan)(quan)的信任編碼。包括(kuo)保護秘密(如(ru)原始設備制造商(shang)知(zhi)識(shi)產權(quan)(quan))、為保護電子(zi)商(shang)務與(yu)社會(hui)網絡而驗證器(qi)(qi)件(jian)和用(yong)戶身份、以及數字版權(quan)(quan) (DRM)內容保護。從(cong)而為圖(tu)像預處(chu)理方(fang)案的各個環(huan)節提供(gong)了量身定做的安(an)(an)(an)(an)全保護功能。
軟件模塊庫支持
除了以上 Blackfin DSP 在(zai)硬件架構和指令集方面對(dui)圖像(xiang)處(chu)理的支持外,ADI 公(gong)司(si)還提(ti)供多(duo)種針(zhen)對(dui)圖像(xiang)處(chu)理的軟(ruan)件模(mo)塊(kuai),包括 H.264 Baseline Profile Decoder 模(mo)塊(kuai)、能(neng)夠按(an)比例縮放具有不(bu)同輸(shu)入(ru)及輸(shu)出尺寸圖像(xiang)的增強視頻后處(chu)理 (eVPP) 模(mo)塊(kuai)、JPEG 編碼(ma)器模(mo)塊(kuai) MPEG-2 Decoder Simple & Main Profile Decoder 庫、MPEG-4 Simple Profile & Advanced Simple Profile Decoder 庫,以及 MPEG-4 Simple Profile & Advanced Simple Profile Video Encoder 模(mo)塊(kuai)等,它們都專(zhuan)門針(zhen)對(dui) Blackfin 處(chu)理器而優化,并經過業界(jie)嚴(yan)格(ge)驗證。這些軟(ruan)件模(mo)塊(kuai)能(neng)夠大幅降低系統工程(cheng)師的開發難(nan)度,并顯著(zhu)提(ti)高系統效率。
此外(wai),ADI 公司還專門針對圖(tu)像(xiang)處理應(ying)用推出(chu)了“Image Tool Box”軟件(jian)包,該軟件(jian)包由一系列專用模(mo)塊組成,并針對圖(tu)像(xiang)處理算法(fa)的一些(xie)常用和基本函數進行了專門優化(hua),可(ke)以(yi)(yi)進行圖(tu)像(xiang)變換、圖(tu)像(xiang)分析與圖(tu)像(xiang)增(zeng)強、二值圖(tu)像(xiang)操(cao)作以(yi)(yi)及形態學處理等(deng)圖(tu)像(xiang)處理操(cao)作。這款軟件(jian)包有(you)利于降(jiang)低(di)工(gong)程師的開發難(nan)度(du),加速(su)上層(ceng)算法(fa)的實現和優化(hua)。
開發環境的支持
用(yong)于 Blackfin 系(xi)列 DSP 處理(li)器(qi)開(kai)發(fa)(fa)(fa)應用(yong)和(he)工(gong)程(cheng)管理(li)的(de)(de)(de) VisualDSP++ ( //www.analog.com/zh/embedded-processing-dsp/software-and-reference-designs/content/visualdsp_software_test_drive/fca.html ) 開(kai)發(fa)(fa)(fa)環(huan)境(jing)主要(yao)包(bao)括集(ji)成了(le) ViusalDSP++ 內核的(de)(de)(de)集(ji)成編譯(yi)(yi)和(he)調試環(huan)境(jing) (DIDE);帶實時運行庫(ku)的(de)(de)(de) CC/++ 優化編譯(yi)(yi)器(qi);匯(hui)編器(qi)和(he)鏈接器(qi),以及仿(fang)真軟(ruan)件(jian)和(he)程(cheng)序例程(cheng)等。其中(zhong),編譯(yi)(yi)器(qi)允(yun)許程(cheng)序開(kai)發(fa)(fa)(fa)人(ren)員用(yong) C 或 C++ 語(yu)言編寫信號處理(li)和(he)控制代碼,從而(er)方(fang)便了(le)系(xi)統的(de)(de)(de)開(kai)發(fa)(fa)(fa)和(he)維護。圖形化的(de)(de)(de)友(you)好用(yong)戶(hu)信息交換界(jie)面使工(gong)程(cheng)師能夠在窗口中(zhong)進行工(gong)程(cheng)管理(li)、編輯(ji)、編譯(yi)(yi)和(he)調試程(cheng)序,并在其間快速輕松(song)地切(qie)換。此外(wai),VisualDSP++ 開(kai)發(fa)(fa)(fa)工(gong)具還與 Green Hills 軟(ruan)件(jian)公司的(de)(de)(de) MULTI 環(huan)境(jing)、NI 公司的(de)(de)(de) LabVIEW 軟(ruan)件(jian),以及 MathWorks 公司的(de)(de)(de) MATLAB 和(he) Simulink 軟(ruan)件(jian)相兼容,為系(xi)統開(kai)發(fa)(fa)(fa)和(he)模塊復用(yong)提供了(le)一個更加便捷、寬松(song)的(de)(de)(de)環(huan)境(jing)。