成像系統(tǒng)設(shè)計(jì)人員根據(jù)時延性能數(shù)據(jù)來幫助確定系統(tǒng)可以多快地處理、分析及在某些應(yīng)用中顯示圖像。低時延能夠?qū)崿F(xiàn)更高速的質(zhì)量檢測,對于在最終用戶需要實(shí)時成像數(shù)據(jù)進(jìn)行決策的領(lǐng)域的應(yīng)用,如圖像引導(dǎo)手術(shù)和軍用車載電子系統(tǒng),至關(guān)重要。
當(dāng)成像系統(tǒng)最初被認(rèn)為是一種網(wǎng)絡(luò)技術(shù)時,以秒計(jì)的時延被認(rèn)為可以接受。例如,在閉路電視監(jiān)控系統(tǒng)(CCTV)安全應(yīng)用中,因?yàn)樾枰獣r間來壓縮視頻,所以2-3秒的時延很常見。隨著以太網(wǎng)已經(jīng)遷移到實(shí)時成像應(yīng)用中,時延或不準(zhǔn)確的傳輸問題不能被容忍。
對實(shí)時未壓縮視頻的需求給網(wǎng)絡(luò)帶來了巨大的負(fù)擔(dān)。在工業(yè)視覺系統(tǒng)中,端到端時延閾值約為130毫秒 (ms) 或更少。對于圖像引導(dǎo)手術(shù)或軍用封閉艙驅(qū)動應(yīng)用,設(shè)計(jì)人員的目標(biāo)是端到端時延為85毫秒或更少。
本文概述了時延的組成要素,并提供了通過GigE Vision鏈路進(jìn)行圖像傳輸?shù)臅r延測試結(jié)果。
系統(tǒng)時延
在視覺應(yīng)用中,有幾個因素影響時延,包括網(wǎng)絡(luò)和協(xié)議架構(gòu)、主計(jì)算機(jī)、資源共享和I/O機(jī)制。當(dāng)系統(tǒng)有一個從觸發(fā)事件到輸出信號的整體活動時,系統(tǒng)本身由許多通常串行的內(nèi)部事件組成。在端到端的應(yīng)用中,時延不僅受到曝光和讀出時間的影響,而且受到顯示器刷新時間、將顏色空間從捕捉到的轉(zhuǎn)換為可在PC監(jiān)視器上顯示的所需的處理時間,甚至桌面主題的影響。
高性能GigE Vision的實(shí)現(xiàn)通過優(yōu)化鏈路發(fā)送和接收端的數(shù)據(jù)包處理過程來彌補(bǔ)以太網(wǎng)固有的時延和抖動。在成像源和計(jì)算端口之間具有專用連接的點(diǎn)對點(diǎn)應(yīng)用應(yīng)該專門配置為具有相對較低的時延和抖動。相比之下,依賴交換機(jī)來互連多個成像源和端點(diǎn)的復(fù)雜視覺應(yīng)用引入了各種延遲機(jī)會。
當(dāng)一個設(shè)備使用公共資源(例如一根以太網(wǎng)電纜)時,其它設(shè)備必須等待資源釋放。了解此時延鏈非常重要,因?yàn)榇说却龝r間會增加事件完成所需時延的抖動量。這種增加是以太網(wǎng)架構(gòu)的直接反映,并與成像網(wǎng)絡(luò)上存在的設(shè)備數(shù)量成正比。
協(xié)議架構(gòu)也影響時延。通過標(biāo)準(zhǔn)的互聯(lián)網(wǎng)流量,TCP確保數(shù)據(jù)在傳輸過程中不會錯誤排序或丟失。由于數(shù)據(jù)經(jīng)常在核心互聯(lián)網(wǎng)路由器上丟失,因此TCP規(guī)定接收者必須正面確認(rèn)數(shù)據(jù)的每個片段。 這造成了完成數(shù)據(jù)傳輸事件所需的時間顯著增加。
相比之下,GigE Vision是在UDP協(xié)議之上實(shí)現(xiàn)的,只有異常情況(數(shù)據(jù)丟失)被接收者所注意。這種輕量級的數(shù)據(jù)傳輸方法可減少時延和抖動,并允許對短的最大保證響應(yīng)時間有更好的確定性。主計(jì)算機(jī)和資源共享對視覺系統(tǒng)時延的影響最大。
主計(jì)算機(jī)上的進(jìn)程共享多種資源,包括總線、內(nèi)存、CPU、操作系統(tǒng),以及核心成像和圖形庫。在考慮系統(tǒng)時延時,軟件任務(wù)所需的CPU使用量常常被忽略。從聯(lián)網(wǎng)成像設(shè)備接收圖像的主計(jì)算平臺必須在該P(yáng)C上的所有服務(wù)之間共享處理時間。在CPU上進(jìn)行高處理量的設(shè)備和軟件可以很容易地引入時延。
端到端時延的測量在人們根據(jù)他們在顯示器上所看到的內(nèi)容而采取行動的任何應(yīng)用中都是至關(guān)重要的。這包括圖像引導(dǎo)手術(shù)和軍用局部態(tài)勢感知應(yīng)用。這個值與沒有顯示的圖像處理無關(guān),因?yàn)轱@示管道是端到端時延的重要因素。
時延測試系統(tǒng)概述
虹科的內(nèi)部時延測試系統(tǒng)由一臺專用工作站PC、一臺示波器、一個由嵌入式處理器驅(qū)動的LED燈,以及一個光電二極管組成。
為了測量端到端時延,示波器捕捉到打開攝像機(jī)前面的LED燈與光電二極管在PC監(jiān)視器上檢測到此光之間的時間延遲。除了時延之外,該捕捉重復(fù)數(shù)百個周期以了解系統(tǒng)抖動。
“引入時延”描述所選視頻接口的時延測量 — 在本測試中,該接口為千兆以太網(wǎng)上的GigE Vision。假設(shè)通過LVDS(例如Camera Link等)和PCIe將圖像傳輸?shù)絇C內(nèi)存所需的時間接近零時延,則這些結(jié)果突出顯示了GigE Vision接口的引入時延。
Fig.1 GigE Vision成像系統(tǒng)中潛在端到端時延元素
引入時延”描述所選視頻接口的時延測量 — 在本測試中,該接口為千兆以太網(wǎng)上的GigE Vision。假設(shè)通過LVDS(例如Camera Link等)和PCIe將圖像傳輸?shù)絇C內(nèi)存所需的時間接近零時延,則這些結(jié)果突出顯示了GigE Vision接口的引入時延。
為了測量這種時延,我們只評估至少部分在Pleora產(chǎn)品控制范圍內(nèi)并且不與其它時延元素重疊的元素。考慮到時延元素(圖1),這意味著時延“時鐘”在傳感器讀數(shù)結(jié)束時開始,并在圖像可供用戶的應(yīng)用程序分析或顯示時結(jié)束。
引入時延測量包括GigE Vision接收器解封GVSP(GigE Vision流協(xié)議)有效載荷數(shù)據(jù)、將數(shù)據(jù)插入在圖像中適當(dāng)坐標(biāo)位置的內(nèi)存中,以及將完整圖像的內(nèi)存復(fù)制到用戶應(yīng)用程序所需的時間。
“引入時延”測量提供了使用LVDS傳輸技術(shù)和GigE Vision的系統(tǒng)之間有價值的比較。
場景一
在本測試中,我們評估了HK iPORT CL-GigE外置式采集卡的引入時延。CL-GigE將來自Camera Link相機(jī)的視頻數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)包并通過GigE鏈路傳輸。GigE支持使用標(biāo)準(zhǔn)的CAT5e/ 6線纜布線距離長達(dá)100米。使用現(xiàn)成的以太網(wǎng)交換機(jī),距離可以不受限制。
Camera Link Base相機(jī)
- 15.897毫秒曝光時間
- 1920 x 1080, mono8
- 40 MHz 像素時鐘
CL-GigE
- 巨型幀(每個以太網(wǎng)幀8k字節(jié))
- 通過千兆以太網(wǎng)直接連接到PC
PC
- Windows 7 Professional,64位
- HP Z230塔式工作站(雙核英特爾酷睿?i5-4590 CPU @ 3.3 GHz,8 GB RAM)
- 60 Hz刷新頻率的1080p監(jiān)視器在約15分鐘內(nèi)的500個數(shù)據(jù)采樣
端到端時延
- 平均(包括曝光時間)= 69.604毫秒
- 最小 = 60.400 毫秒
- 最大 = 78.800 毫秒
- 標(biāo)準(zhǔn)差 = 4.910 毫秒
引入時延
- 平均 = 336 微秒
- 標(biāo)準(zhǔn)差 = 38 微秒
場景二
在本測試中,我們用HK vDisplay外外置式采集卡取代了用于上述場景1中測試的PC;這是一款基于FPGA的GigE Vision接收器。
Camera Link Base相機(jī)
- 15.897毫秒曝光時間
- 1920 x 1080, mono8
- 40 MHz 像素時鐘 — 51 毫秒傳感器讀出時間
CL-GigE
- 巨型幀(每個以太網(wǎng)幀8k字節(jié))
- 通過千兆以太網(wǎng)直接連接到PC
vDisplay外部圖像采集卡
- 單緩存模式
在約15分鐘內(nèi)的500個數(shù)據(jù)采樣
端到端時延
- 平均(包括曝光時間)= 59.92 毫秒
- 最小 = 50.4 毫秒
- 最大 = 69.6 毫秒
- 標(biāo)準(zhǔn)差 = 4.746 毫秒
虹科產(chǎn)品:
外置式圖像采集卡HK-CL-GigE
關(guān)鍵特點(diǎn):
- 通過低延時可預(yù)測的GigE傳輸Camera Link Base模式像機(jī)的數(shù)據(jù)
- 較寬的操作溫度范圍(40°C至+60°C)
- 無需PCI圖像采集卡即可插入各種計(jì)算平臺
- 結(jié)構(gòu)緊湊和功耗低
- 行掃描和面掃描模式
- 板載內(nèi)存120MB,可適應(yīng)數(shù)百萬像素傳感器尺寸
- 支持錄像和重放功能
- 支持IEEE 1588,允許用戶準(zhǔn)確地控制、觸發(fā)和同步外部設(shè)備和多臺像機(jī),系統(tǒng)的GPIO則將電子噪聲的影響降到最低
- PoE、PoCL和外部供電可選
- 可編程邏輯控制器(PLC)允許用戶準(zhǔn)確地測量、同步、觸發(fā)和控制其他視覺系統(tǒng)部件
- 由Pleora功能齊全的eBUS? SDK支持
- GenICam集成開發(fā)包(包含iPORT AutoGen XML生成工具和固件參考設(shè)計(jì)組成)提供一個高效簡潔的GenICam交互界面