視覺(jué)處理是最近兩年最火最受關(guān)注的技術(shù)之一，市場(chǎng)調(diào)研公司ABI Research、InSight Media等多家公司的數(shù)據(jù)顯示，視覺(jué)處理系統(tǒng)的市場(chǎng)到2020年將超過(guò)3000億美元，年復(fù)合增長(zhǎng)率超過(guò)35%，主要應(yīng)用在包括汽車(chē)安全、圖像偵測(cè)、視頻監(jiān)控和手勢(shì)識(shí)別游戲操控等。

　　fig.1 視覺(jué)處理市場(chǎng)增長(zhǎng)預(yù)期到2020年將超過(guò)3000億美元。

　　電子工程專(zhuān)輯記者邵樂(lè)峰的文章《揭秘谷歌Tango計(jì)劃背后的芯片巨人》一文中介紹了一家號(hào)稱(chēng)將有可能改變世界的芯片公司，本文將會(huì)介紹由Synopsys公司最新推出的嵌入式視覺(jué)處理器IP。 Synopsys DesignWare ARC處理器高級(jí)產(chǎn)品營(yíng)銷(xiāo)經(jīng)理Mike Thompson介紹了一款新開(kāi)發(fā)的可編輯和可配置的IP，可以提供比通過(guò)CPU、移動(dòng)GPU和DSP等更高的視覺(jué)處理效率，同時(shí)它還可以通過(guò)自我學(xué)習(xí)與培訓(xùn)，實(shí)現(xiàn)在更多應(yīng)用領(lǐng)域更精確的視覺(jué)處理能力。

　　fig.2 Synopsys DesignWare ARC處理器高級(jí)產(chǎn)品營(yíng)銷(xiāo)經(jīng)理Mike Thompson

　　為什么需要嵌入式視覺(jué)處理？

　　Mike Thompson認(rèn)為，目前現(xiàn)有的視覺(jué)處理應(yīng)用，包括智能監(jiān)控、生物識(shí)別和機(jī)器視覺(jué)，以及基于云處理的城市監(jiān)控技術(shù)，都是基于非常強(qiáng)大的CPU硬件和帶操作系統(tǒng)的軟件處理的視覺(jué)處理，盡管處理能力很強(qiáng)大，但同時(shí)消耗的功耗非常大，處理的響應(yīng)較慢。而一些特別的應(yīng)用，例如車(chē)載的交通信號(hào)識(shí)別、人臉識(shí)別和手勢(shì)識(shí)別，則要求低功耗且能即時(shí)響應(yīng)，這些新的應(yīng)用，需要市場(chǎng)能夠提供的處理器IP，來(lái)設(shè)計(jì)研發(fā)出新的SoC或處理器。

　　fig.3 與CPU、GPU和DSP相比，SNPS EV處理器的視覺(jué)處理效率高出很多

　　雖然視覺(jué)算法可以在大多數(shù)處理器上運(yùn)行，但是這類(lèi)算法牽涉到許多的復(fù)雜數(shù)學(xué)運(yùn)算和數(shù)據(jù)遷移。通用處理器（GPP）可以用來(lái)做視覺(jué)處理，但是這樣的處理器缺少?gòu)?fù)雜數(shù)學(xué)運(yùn)算資源，運(yùn)行起來(lái)速度會(huì)非常慢。在一些視覺(jué)應(yīng)用中，采用的圖形處理器（GPU）雖然具有許多的運(yùn)算資源，但是卻缺乏高效移動(dòng)視覺(jué)數(shù)據(jù)的能力，因此其視覺(jué)性能相對(duì)較低，并且其功耗也非常的高。視覺(jué)處理器是專(zhuān)為視覺(jué)處理而設(shè)計(jì)，因此它們擁有所需的復(fù)雜數(shù)學(xué)運(yùn)算能力，并且它們還具有精密的數(shù)據(jù)遷移能力，能夠有效地處理視覺(jué)幀數(shù)據(jù)。此外，要能夠在嵌入式視覺(jué)應(yīng)用中得到使用，它們也需要滿足低功耗要求。

　　“在包括安全設(shè)備、游戲設(shè)備和汽車(chē)電子等諸多產(chǎn)品中，嵌入式系統(tǒng)從各種視覺(jué)輸入中提取觀測(cè)結(jié)果的能力正在變得越來(lái)越重要，這正是對(duì)擁有更高性能和更高能效的視覺(jué)處理功能的驅(qū)動(dòng)性需求，”嵌入式視覺(jué)聯(lián)盟（Embedded Vision Alliance）創(chuàng)始人Jeff Bier表示。“像Synopsys的DesignWare EV處理器這樣的專(zhuān)用處理器可以幫助設(shè)計(jì)人員為其視覺(jué)應(yīng)用實(shí)現(xiàn)想要的性能，而同時(shí)僅需適用于便攜式設(shè)備的功耗等級(jí)。”

　　如何突破精度的瓶頸？

　　Synopsys公司近日對(duì)外發(fā)布了全新DesignWare EV視覺(jué)處理器產(chǎn)品。該系列的EV52和EV54視覺(jué)處理器是完全可編程和可配置的視覺(jué)處理器IP核，它們結(jié)合了軟件解決方案的靈活性與專(zhuān)用硬件的低成本和低功耗特性。

　　fig.4 Synopsys DesignWare ARC嵌入式視覺(jué)處理器家族的技術(shù)原理圖，內(nèi)嵌4個(gè)RISC CPU和2至8個(gè)E（processing element)。

　　上面這張圖實(shí)際上是實(shí)現(xiàn)高效實(shí)時(shí)處理的關(guān)鍵：多個(gè)可并行、獨(dú)立運(yùn)算的PE可快速進(jìn)行目標(biāo)檢測(cè)，即運(yùn)行卷積神經(jīng)網(wǎng)絡(luò)（CNN）等算法，而且所有的RISC和PE單元均可編程配置。

　　Synopsys DesignWare ARC處理器高級(jí)產(chǎn)品營(yíng)銷(xiāo)經(jīng)理Mike Thompson在媒體見(jiàn)面會(huì)上對(duì)電子工程專(zhuān)輯記者說(shuō)，EV處理器以超過(guò)1000GOPS/W的性能實(shí)現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)（CNN），從而能夠僅以其他視覺(jué)解決方案的一小部分功耗，實(shí)現(xiàn)對(duì)諸如面部、行人和手勢(shì)等多樣化的目標(biāo)快速而準(zhǔn)確的監(jiān)測(cè)。

　　Mike表示， EV處理器系列得到了基于OpenCV和OpenVX等現(xiàn)有和新興的嵌入式視覺(jué)標(biāo)準(zhǔn)，以及Synopsys的MetaWare開(kāi)發(fā)工具包的綜合性軟件編程環(huán)境的支持。通過(guò)把專(zhuān)為視覺(jué)數(shù)據(jù)處理而優(yōu)化的高性能硬件與高效編程工具結(jié)合在一起， EV處理器成為了各種嵌入式視覺(jué)應(yīng)用的一種理想解決方案，包括視頻監(jiān)控、手勢(shì)識(shí)別和目標(biāo)監(jiān)測(cè)等應(yīng)用。

　　據(jù)Mike Thompson介紹，Synopsys從2012年開(kāi)始開(kāi)發(fā)DesignWare ARC嵌入式視覺(jué)處理器，一開(kāi)始其識(shí)別率就達(dá)到了85%，如果是通過(guò)更好的CNN模型和不斷培訓(xùn)，準(zhǔn)確率還可以更高。“2015年谷歌微軟的視覺(jué)識(shí)別精度是95%，但那是通過(guò)服務(wù)器云處理實(shí)現(xiàn)的。如果經(jīng)過(guò)更多的CNN的培訓(xùn)，我們的解決方案的精度甚至可能更高。”Mike 說(shuō)。“它就像是人的眼睛和大腦，剛開(kāi)始看到一樣?xùn)|西時(shí)，你可能會(huì)認(rèn)不出來(lái)，但如果你天天都不斷地去看，識(shí)別的準(zhǔn)確率就會(huì)很高。”

　　EV處理器系列包含多個(gè)高性能處理內(nèi)核，可在典型的28nm工藝技術(shù)中實(shí)現(xiàn)高達(dá)1GHz的運(yùn)行速率。EV處理器系列也實(shí)現(xiàn)了一種前饋卷積神經(jīng)網(wǎng)絡(luò)（CNN）結(jié)構(gòu)，它支持一個(gè)可編程的點(diǎn)對(duì)點(diǎn)串流互連網(wǎng)絡(luò)，以用于快速和準(zhǔn)確的目標(biāo)監(jiān)測(cè)這一視覺(jué)處理的關(guān)鍵任務(wù)。執(zhí)行單元處理器的數(shù)量可配置，開(kāi)發(fā)人員能夠在視覺(jué)應(yīng)用中利用通用的任務(wù)級(jí)和數(shù)據(jù)級(jí)并行處理功能，去執(zhí)行復(fù)雜的圖像和視頻識(shí)別算法，同時(shí)僅消耗市場(chǎng)上其它可用視覺(jué)處理器五分之一的功耗。

　　高生產(chǎn)率的編程工具

　　在開(kāi)發(fā)方面，Synopsys提供了一個(gè)完整的、包括OpenVX和OpenCV庫(kù)、以及Synopsys的MetaWare開(kāi)發(fā)工具包的軟件編程環(huán)境，簡(jiǎn)化了Synopsys EV處理器系列的應(yīng)用軟件開(kāi)發(fā)?？捎糜贓V處理器的OpenCV源程序視覺(jué)庫(kù)提供了用于實(shí)時(shí)計(jì)算機(jī)視覺(jué)的2500多種功能。

　　這些處理器都是可編程的，同時(shí)可以被“訓(xùn)練”從而支持任何監(jiān)測(cè)目標(biāo)圖形。OpenVX框架包括43個(gè)標(biāo)準(zhǔn)計(jì)算機(jī)視覺(jué)內(nèi)核， 它們已專(zhuān)為運(yùn)行在EV處理器上而進(jìn)行了諸如邊緣監(jiān)測(cè)、圖像金字塔創(chuàng)建和光流估計(jì)等優(yōu)化。用戶們也可定義新的OpenVX內(nèi)核（kernel），為其目前的視覺(jué)應(yīng)用帶來(lái)靈活性，同時(shí)滿足未來(lái)目標(biāo)監(jiān)測(cè)的需求。OpenVX內(nèi)核可以在運(yùn)行時(shí)分配給EV處理器的多個(gè)單元執(zhí)行，從而簡(jiǎn)化了處理器的編程。完整的工具套件和源程序庫(kù)、以及可提供的參考設(shè)計(jì)使得設(shè)計(jì)人員能夠高效的構(gòu)建、調(diào)試、評(píng)估和優(yōu)化其嵌入式視覺(jué)系統(tǒng)。

　　更方便地集成進(jìn)SoC中

　　EV處理器專(zhuān)為無(wú)縫地集成到SoC中而設(shè)計(jì)。他們可與任何的主處理器搭配使用并與其并行工作。EV系列通過(guò)信息傳遞和中斷來(lái)支持與主處理器的同步。此外，EV處理器的內(nèi)存可映射到主處理器。這些特點(diǎn)使得主處理器能夠保持控制，同時(shí)使所有的視覺(jué)處理都能夠被卸載到EV處理器上，這樣可降低功耗并且加速結(jié)果呈現(xiàn)。EV處理器可以存取儲(chǔ)存在SoC內(nèi)存映射區(qū)域內(nèi)的數(shù)據(jù)，或在需要的情況下，通過(guò)ARM AMBA AXIT標(biāo)準(zhǔn)系統(tǒng)接口獨(dú)立地存取芯片外數(shù)據(jù)源提供的圖像數(shù)據(jù)。

　　fig.5 Synopsys的嵌入式處理器的目標(biāo)應(yīng)用市場(chǎng)

　　“嵌入式視覺(jué)正在從視頻監(jiān)控到消費(fèi)性產(chǎn)品和游戲設(shè)備等一系列多樣化的應(yīng)用中推動(dòng)創(chuàng)新，” Synopsys DesignWare ARC處理器高級(jí)產(chǎn)品營(yíng)銷(xiāo)經(jīng)理Mike Thompson表示。“Synopsys的全新EV處理器系列提供完美的目標(biāo)監(jiān)測(cè)精度和5倍的功效優(yōu)化，同時(shí)提供了一個(gè)全面的視覺(jué)程序庫(kù)和一個(gè)強(qiáng)大的軟件編程環(huán)境的支持。這種結(jié)合使設(shè)計(jì)團(tuán)隊(duì)能夠把嵌入式視覺(jué)功能更快地集成到更多的系統(tǒng)中，同時(shí)功耗比現(xiàn)有的解決方案大大降低。”

　　DesignWare EV52和EV54處理器計(jì)劃于2015年5月供貨。目前Synopsys還免費(fèi)為客戶提供人臉識(shí)別、交通信號(hào)的速度識(shí)別、智能視頻監(jiān)控的人臉識(shí)別和人臉跟蹤等參考設(shè)計(jì)。相信很快，集成了EV52和EV54處理器的SoC，將有望進(jìn)入市場(chǎng)，幫助客戶提供在視覺(jué)處理方面的更佳體驗(yàn)。

　　“最終應(yīng)用包括攝像頭、可穿戴設(shè)備、家庭自動(dòng)化、數(shù)字電視、虛擬現(xiàn)實(shí)、游戲設(shè)備、機(jī)器人、數(shù)字顯示屏、醫(yī)療電子以及汽車(chē)信息娛樂(lè)系統(tǒng)等。”Mike說(shuō)，

　　名詞解釋?zhuān)菏裁词荂NN（Convolutional neural network) ？

　　卷積神經(jīng)網(wǎng)絡(luò)（CNN）模擬我們大腦處理視覺(jué)時(shí)的工作狀態(tài)。它們將圖像分解成若干部分，并逐步找到其被訓(xùn)練去識(shí)別的目標(biāo)。CNN已經(jīng)存在了20多年，但直到近年這些算法才有了實(shí)質(zhì)上的改進(jìn)，并且目前在目標(biāo)識(shí)別方面較其他可用算法甚至是人類(lèi)專(zhuān)家更好。CNN是一種深度學(xué)習(xí)算法，其訓(xùn)練方式與我們的大腦采用目標(biāo)的多幅圖像來(lái)進(jìn)行訓(xùn)練差不多，它基于這些圖像歸納出能夠被算法利用、用以在圖片或視頻中找到目標(biāo)的一幅圖形。

　　Nvidia、CEVA、Microsoft以及其他公司近期的發(fā)布強(qiáng)調(diào)了嵌入式視覺(jué)向CNN的遷移。其實(shí)，Microsoft和Google最近都已在高端應(yīng)用中采用了CNN，其所得的精度超過(guò)了95%，較人類(lèi)專(zhuān)家還要更高。CNN目前是獲取高質(zhì)量和高精度結(jié)果的最佳視覺(jué)算法，其性能比Viola-Jones、HOG、SIFT和SURF等其他算法更勝一籌。