基于瑞芯微的RK1808處理器的"兩客一危"AI視覺監(jiān)控系統(tǒng)

1.方案背景

在2018年年底下發(fā)關(guān)于《交通運輸部辦公廳關(guān)于推廣應(yīng)用智能視頻監(jiān)控報警技術(shù)的通知》文件中對智能視頻監(jiān)控報警技術(shù)提出了詳細的技術(shù)要求，主要包括駕駛員駕駛行為檢測：疲勞駕駛、接打電話、長時間分神、駕駛員不在駕駛位置、抽煙報警。目前在湖北省、浙江省、甘肅省、重慶、河北、福建等區(qū)域逐漸開始要求兩客一危強制執(zhí)行，配套智能監(jiān)控設(shè)備。根據(jù)相關(guān)資料查詢，國內(nèi)客車保有量100萬輛以上，我們的潛在市場機會規(guī)模在億級以上。

2.方案簡介

本司機狀態(tài)監(jiān)控系統(tǒng)（Driver Status Monitor）為廣州靈眸科技自主研發(fā)，利用DSM攝像頭獲取圖像，通過視覺跟蹤、目標(biāo)檢測、動作識別等技術(shù)對駕駛員的駕駛行為及生理狀態(tài)進行檢測，當(dāng)駕駛員發(fā)生疲勞、分心、打電話、抽煙等危險情況時在系統(tǒng)設(shè)定時間內(nèi)報警以避免事故發(fā)生。DSM系統(tǒng)能有效規(guī)范駕駛員的駕駛行為、大大降低交通事故發(fā)生的幾率?？赏ㄟ^算法模塊的形式集成到已有產(chǎn)品中，以極低門檻輕松實現(xiàn)原產(chǎn)品的升級。并且也可以以算法模塊為主控進行二次開發(fā)。

3.應(yīng)用場景

交通運輸部辦公廳對”兩客一危“的車輛強制執(zhí)行，配套智能監(jiān)控設(shè)備。“兩客一?！钡?車輛是指從事旅游的包車、三類以上班線客車和運輸危險化學(xué)品、煙花爆竹、民用爆炸物品的道路專用車輛。而且現(xiàn)在有向的士與滴滴等社會運營車輛擴張的趨勢，市場規(guī)模極大。

4.功能簡介

（1）正常駕駛狀態(tài)

使用人臉檢測、人臉關(guān)鍵點、目標(biāo)檢測等識別技術(shù)進行神態(tài)分析，司機正常駕駛時系統(tǒng)顯示一切正常。

（2）司機核驗

使用人臉識別技術(shù)識別司機的身份，確保司機車輛不會被其他人員非法操作，而且也能記錄司機的實際出勤情況。本司人臉識別算法準(zhǔn)確率達99.8%，99.7@0.001 far。

（3）打哈欠監(jiān)測

通過高精度人臉關(guān)鍵點技術(shù)進行檢測，當(dāng)檢測到司機嘴巴張大到一定程度，且張大嘴巴且持續(xù)3秒時系統(tǒng)需要記錄起來，如果司機一個時間段內(nèi)都如此，則認為司機一直在打哈欠，這時候需要給予司機溫馨提示，建議司機進行休息調(diào)整。

（4）打電話監(jiān)測

通過目標(biāo)檢測算法進行實時檢測，當(dāng)檢測到司機開車打電話，則認為司機駕駛行為不當(dāng)，可給予溫馨提示，如果司機繼續(xù)持續(xù)電話則進行警報提醒。

（5）分心駕駛監(jiān)測

通過高精度人臉關(guān)鍵點算法進行實時檢測。當(dāng)司機持續(xù)的低頭看手機或左顧右盼，則認為司機駕駛分神，可對司機給予溫馨提示，如果現(xiàn)象持續(xù)則給予警報提醒。

（6）吸煙監(jiān)測

通過目標(biāo)檢測算法進行實時檢測，當(dāng)檢測到司機開車抽煙，則認為司機駕駛行為不當(dāng)，可對司機給予溫馨提示，如果現(xiàn)象持續(xù)則給予警報提醒。

（7）偏離駕駛

當(dāng)駕駛員處于離崗狀態(tài)或者駕駛員面部被擋住時，會觸發(fā)系統(tǒng)報警，當(dāng)車輛處于前進檔時，攝像頭沒有探測駕駛員即報警。

（8）長時間閉眼監(jiān)測

通過高精度人臉關(guān)鍵點技術(shù)進行檢測，當(dāng)檢測到司機閉眼睛超過1.5秒則需要立即進行報警，以免造成嚴(yán)重的安全事故。

5.方案搭建

AIoT1808是廣州靈眸科技研發(fā)的一款應(yīng)用于AIoT領(lǐng)域的核心板。核心板基于瑞芯微的RK1808處理器開發(fā)，處理器采用1.6GHz雙核Cortex-A35架構(gòu)，內(nèi)置的NPU峰值算力高達3.0TOPs，支持INT8/INT16/FP16混合運算，并支持TensorFlow/MXNet/PyTorch/Caffe等一系列框架的網(wǎng)絡(luò)模型轉(zhuǎn)換，兼容性強。VPU 視頻處理單元支持1080P視頻編解碼，內(nèi)置ISP，支持麥克風(fēng)陣列，硬件VAD功能，支持低功耗偵聽遠場喚醒。核心板內(nèi)置人臉識別、火焰識別、危險駕駛、智能餐桌等各類算法，并提供完整的Linux開發(fā)包供客戶二次開發(fā)。

AIoT1808參數(shù)描述：

• 內(nèi)核：雙核64位Cortex-A35
• NPU：最大算力為3.0TOPs
• 主頻：1.6GHz
• 操作系統(tǒng)：Linux
• 內(nèi)存：1GB DDR3
• 電子硬盤：4GB EMMC
• 觸摸屏：支持I2C觸摸接口
• 最高顯示分辨率（RGB-LCD接口）：1280*800
• 最高顯示分辨率（MIPI-DSI接口）：1920*1080
• MIPI DSI接口：支持4Lane
• LCD接口（RGB）：支持18bit(與以太網(wǎng)復(fù)用)
• 音頻Codec：集成聲卡,集成1.3W@8ohm功放
• Wi-Fi：可提供方案支持
• 藍牙：可提供方案支持
• UART：8路（含1路調(diào)試串口）
• 以太網(wǎng)：1路千兆
• USB：1路USB3.0、1路USB2.0 Host、1路USB2.0 OTG
• PCIE2.1：支持（與USB3.0復(fù)用）
• I2C：2路(最多)
• SPI：2路(最多）
• MIPI CSI：支持4Lane
• DVP接口：與以太網(wǎng)接口復(fù)用
• TF/SD卡：1路
• RTC時鐘：支持
• 供電電壓：5V
• 機械尺寸：60mm * 51mm
• 對外物理接口：廣瀨連接器（2*80Pin 0.5mm間距）
• 運行環(huán)境溫度：-20℃ ~ +70℃
• 評估底板：AIoT1808-EV-Board

AIoT1808開發(fā)方式

AIoT1808核心板內(nèi)置各類算法，并提供完整的Linux SDK開發(fā)包，既可以作為一個主控核心板，也可以作為算法模塊。下面是對兩種開發(fā)方式的介紹。

（1）算法模塊

客戶可以通過串口通信的方式，在原有硬件平臺的基礎(chǔ)上搭載司機狀態(tài)監(jiān)控系統(tǒng)。使產(chǎn)品能夠快速落地，不需要招聘大批研發(fā)人員，能夠大大減少時間成本與研發(fā)成本的投入。

（2）算法核心板

如果客戶有比較強的嵌入式與算法應(yīng)用開發(fā)能力，可以通過我們的算法SDK和嵌入式平臺BSP進行二次開發(fā)。

聯(lián)系方式：
劉先生：18617322361
郵箱：liuweiwen@easy-eai.com