隨著人工智能和IoT技術(shù)的成熟和普及，人們對(duì)硬件設(shè)備的視覺智能化需求也越來越多，云端AI平臺(tái)也越來越多。但在某些場(chǎng)景中，人們對(duì)人工智能設(shè)備的快速響應(yīng)要求比較高，這個(gè)時(shí)候，嵌入式AI設(shè)備就會(huì)是比較理想的一個(gè)解決方案，它通過在設(shè)備本地運(yùn)行AI算法，能夠省去數(shù)據(jù)在云端和設(shè)備端來回傳輸?shù)臅r(shí)間，達(dá)到快速響應(yīng)的效果。

嵌入式AI相機(jī)的原理是什么呢？

從硬件層面來看，主要構(gòu)成是一個(gè)攝像頭加一個(gè)可以進(jìn)行人工智能算法運(yùn)算的芯片，如下圖所示，右邊攝像頭做數(shù)據(jù)采集，左邊算法芯片做數(shù)據(jù)運(yùn)算。

  

軟件層面來看，嵌入式AI相機(jī)跟其他無AI或者云端AI相機(jī)最大的區(qū)別，就是它把AI算法模型內(nèi)置在設(shè)備芯片里面，也就是上圖中左邊部分的芯片里面。其實(shí)這部分也正是做嵌入式AI硬件產(chǎn)品開發(fā)難度最大的部分，即所謂的“算法移植”。

我們知道，現(xiàn)在有很多云端的AI開放平臺(tái)，也有很多開放的算法框架，如果我們把AI算法推理直接在這些平臺(tái)上做，那設(shè)備端所要做的工作就是把數(shù)據(jù)采集好往云端推送，然后等結(jié)果回傳就好了。但是如果我們要把算法放在設(shè)備本地，由于芯片的運(yùn)算能力和云服務(wù)器的運(yùn)算能力不能比，因此一般的算法框架沒辦法直接用，我們需要對(duì)算法做裁剪，然后做模型優(yōu)化，最后再部署到設(shè)備芯片里面。這個(gè)工作量比較大，難度也比較高。

那有沒有好的方案來簡(jiǎn)化這個(gè)“算法移植”過程呢？這正是OpenNCC所竭力提供的方案，即通過提供模塊化的硬件和容器化的算法方案，讓嵌入式的AI相機(jī)開發(fā)過程變得像挑選菜譜一樣簡(jiǎn)單高效。

我們以一個(gè)實(shí)際的應(yīng)用案例來看一下用OpenNCC開發(fā)一款嵌入式的人臉檢測(cè)AI相機(jī)的過程。

1.選擇算法模型
在OpenNCC的開發(fā)包中提供了一個(gè)"OpenNCC View"工具軟件，它里面內(nèi)置了10種不同的模型檢測(cè)算法，只要挑選即可，我們選擇其中一個(gè)face-detection-retail-0004，如下圖所示。 

  

2.連接相機(jī)和View軟件
把OpenNCC相機(jī)通過usb數(shù)據(jù)線插到電腦上，點(diǎn)擊view 軟件第一個(gè)按鈕”Get device info”，軟件就會(huì)找到對(duì)應(yīng)的相機(jī)，如下圖所示：

  

3.在相機(jī)端加載算法模型
上一步中我們已經(jīng)選擇好了要加載的face-detection-retail-0004模型，這里就點(diǎn)擊下面的“Start running model”按鈕，軟件就會(huì)把對(duì)應(yīng)的算法模型加載到相機(jī)里面。檢測(cè)最低分?jǐn)?shù)為默認(rèn)的50%，滿分100%。其他參數(shù)我們就按默認(rèn)值就行了。

  

4.效果測(cè)試

a.正常人臉，出現(xiàn)在鏡頭中

在正常人臉出現(xiàn)在鏡頭中，檢測(cè)很穩(wěn)定，能很準(zhǔn)確的捕捉到人臉信息，得分基本在100%

b.人臉被遮擋

  

我戴著口罩測(cè)試下來，人臉檢測(cè)也很穩(wěn)定，能很準(zhǔn)確的捕捉到人臉信息，基本和不戴口罩檢測(cè)結(jié)果保持一致。

c.側(cè)臉/背對(duì)鏡頭

  

這張圖片中右邊同事其實(shí)也不算側(cè)臉了，只露出了小部分面部信息，而且還戴了口罩，這對(duì)算法的考驗(yàn)還是挺大的，可以看出，算法還是能夠識(shí)別出來的，只不過分?jǐn)?shù)有所下降，到了70%，而對(duì)于左邊完全背對(duì)著鏡頭的同事，就無法檢測(cè)到人臉信息了，無法識(shí)別，畢竟是人臉檢測(cè)嘛，咱不能對(duì)算法過于苛刻，也合理。

d.暗光環(huán)境下
在實(shí)驗(yàn)室暗光下，照度只有10lux，下圖中的人臉肉眼都已經(jīng)很難看清，但算法還是識(shí)別出來了人臉，暗光環(huán)境下表現(xiàn)有點(diǎn)厲害。

  

e.遠(yuǎn)距離測(cè)試

  

這張圖片是在距離鏡頭6m左右的位置，人臉圖像已經(jīng)有點(diǎn)模糊，算法檢測(cè)分?jǐn)?shù)在60%左右，再遠(yuǎn)的位置就很難檢測(cè)到人臉了。

 f. 多人臉測(cè)試

  

我們從網(wǎng)上找到一張圖片，40張人臉，在顯示器上展示圖片，用OpenNCC相機(jī)對(duì)著顯示器看一下識(shí)別結(jié)果：

  

5.組裝整機(jī)

從上步測(cè)試效果來看，人臉檢測(cè)準(zhǔn)確率還很高。驗(yàn)證通過后，就可以找個(gè)標(biāo)準(zhǔn)的38x38的工業(yè)相機(jī)殼把相機(jī)組裝起來，這樣一款嵌入式人臉抓拍相機(jī)就開發(fā)完成了！

  

這里我們用到的OpenNCC DK技術(shù)參數(shù)如下：

硬件技術(shù)規(guī)格
尺寸	38mmx38mmx45mm
重量	31克
VPU	Intel Movidius Myriad X MV2085
內(nèi)存	4Gb
數(shù)據(jù)接口	USB Type-C 2.0/3.0
電源	5V / 2A
相機(jī)模組	200萬像素可見光相機(jī)模組（其他像素可見光模組、紅外模組、3D模組可選配）
分辨率	1920 x 1080
幀率	30Hz
水平視場(chǎng)角	70°
軟件功能
操作系統(tǒng)	Linux
SDK	1. 獲取視頻流
	2. AI模型下載和更換
	3. 獲取模型運(yùn)算結(jié)果
	4. 相機(jī)拍照、重置等
OpenView	開源軟件，能夠配置相機(jī)模型
圖像信號(hào)處理	√
人工智能
算力	最高4TFlops
支持模型	支持所有OpenVINO的模型，支持TensorFlow和Caffe等框架

 

產(chǎn)品特點(diǎn)：
1.集成嵌入式人工智能技術(shù)
2.算法容器化，可通過軟件在自帶的10款模型庫里面選，也可自己訓(xùn)練算法模型后通過SDK導(dǎo)入相機(jī)
3.支持?jǐn)z像頭模組更換

適應(yīng)行業(yè)：

物聯(lián)網(wǎng)，智慧醫(yī)療，智慧農(nóng)植，智慧城市等。

>>推薦OPENNCC產(chǎn)品