加入星計(jì)劃,您可以享受以下權(quán)益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴(kuò)散
  • 作品版權(quán)保護(hù)
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長期合作伙伴
立即加入
  • 正文
  • 相關(guān)推薦
  • 電子產(chǎn)業(yè)圖譜
申請入駐 產(chǎn)業(yè)圖譜

【虹科】了解實(shí)時成像系統(tǒng)中的時延

2022/12/02
2175
閱讀需 10 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點(diǎn)資訊討論

成像系統(tǒng)設(shè)計(jì)人員根據(jù)時延性能數(shù)據(jù)來幫助確定系統(tǒng)可以多快地處理、分析及在某些應(yīng)用中顯示圖像。低時延能夠?qū)崿F(xiàn)更高速的質(zhì)量檢測,對于在最終用戶需要實(shí)時成像數(shù)據(jù)進(jìn)行決策的領(lǐng)域的應(yīng)用,如圖像引導(dǎo)手術(shù)和軍用車載電子系統(tǒng),至關(guān)重要。

當(dāng)成像系統(tǒng)最初被認(rèn)為是一種網(wǎng)絡(luò)技術(shù)時,以秒計(jì)的時延被認(rèn)為可以接受。例如,在閉路電視監(jiān)控系統(tǒng)(CCTV)安全應(yīng)用中,因?yàn)樾枰獣r間來壓縮視頻,所以2-3秒的時延很常見。隨著以太網(wǎng)已經(jīng)遷移到實(shí)時成像應(yīng)用中,時延或不準(zhǔn)確的傳輸問題不能被容忍。

對實(shí)時未壓縮視頻的需求給網(wǎng)絡(luò)帶來了巨大的負(fù)擔(dān)。在工業(yè)視覺系統(tǒng)中,端到端時延閾值約為130毫秒 (ms) 或更少。對于圖像引導(dǎo)手術(shù)或軍用封閉艙驅(qū)動應(yīng)用,設(shè)計(jì)人員的目標(biāo)是端到端時延為85毫秒或更少。

本文概述了時延的組成要素,并提供了通過GigE Vision鏈路進(jìn)行圖像傳輸?shù)臅r延測試結(jié)果。

系統(tǒng)時延

在視覺應(yīng)用中,有幾個因素影響時延,包括網(wǎng)絡(luò)和協(xié)議架構(gòu)、主計(jì)算機(jī)、資源共享和I/O機(jī)制。當(dāng)系統(tǒng)有一個從觸發(fā)事件到輸出信號的整體活動時,系統(tǒng)本身由許多通常串行的內(nèi)部事件組成。在端到端的應(yīng)用中,時延不僅受到曝光和讀出時間的影響,而且受到顯示器刷新時間、將顏色空間從捕捉到的轉(zhuǎn)換為可在PC監(jiān)視器上顯示的所需的處理時間,甚至桌面主題的影響。

高性能GigE Vision的實(shí)現(xiàn)通過優(yōu)化鏈路發(fā)送和接收端的數(shù)據(jù)包處理過程來彌補(bǔ)以太網(wǎng)固有的時延和抖動。在成像源和計(jì)算端口之間具有專用連接的點(diǎn)對點(diǎn)應(yīng)用應(yīng)該專門配置為具有相對較低的時延和抖動。相比之下,依賴交換機(jī)來互連多個成像源和端點(diǎn)的復(fù)雜視覺應(yīng)用引入了各種延遲機(jī)會。

當(dāng)一個設(shè)備使用公共資源(例如一根以太網(wǎng)電纜)時,其它設(shè)備必須等待資源釋放。了解此時延鏈非常重要,因?yàn)榇说却龝r間會增加事件完成所需時延的抖動量。這種增加是以太網(wǎng)架構(gòu)的直接反映,并與成像網(wǎng)絡(luò)上存在的設(shè)備數(shù)量成正比。

協(xié)議架構(gòu)也影響時延。通過標(biāo)準(zhǔn)的互聯(lián)網(wǎng)流量,TCP確保數(shù)據(jù)在傳輸過程中不會錯誤排序或丟失。由于數(shù)據(jù)經(jīng)常在核心互聯(lián)網(wǎng)路由器上丟失,因此TCP規(guī)定接收者必須正面確認(rèn)數(shù)據(jù)的每個片段。 這造成了完成數(shù)據(jù)傳輸事件所需的時間顯著增加。

相比之下,GigE Vision是在UDP協(xié)議之上實(shí)現(xiàn)的,只有異常情況(數(shù)據(jù)丟失)被接收者所注意。這種輕量級的數(shù)據(jù)傳輸方法可減少時延和抖動,并允許對短的最大保證響應(yīng)時間有更好的確定性。主計(jì)算機(jī)和資源共享對視覺系統(tǒng)時延的影響最大。

主計(jì)算機(jī)上的進(jìn)程共享多種資源,包括總線、內(nèi)存、CPU、操作系統(tǒng),以及核心成像和圖形庫。在考慮系統(tǒng)時延時,軟件任務(wù)所需的CPU使用量常常被忽略。從聯(lián)網(wǎng)成像設(shè)備接收圖像的主計(jì)算平臺必須在該P(yáng)C上的所有服務(wù)之間共享處理時間。在CPU上進(jìn)行高處理量的設(shè)備和軟件可以很容易地引入時延。

端到端時延的測量在人們根據(jù)他們在顯示器上所看到的內(nèi)容而采取行動的任何應(yīng)用中都是至關(guān)重要的。這包括圖像引導(dǎo)手術(shù)和軍用局部態(tài)勢感知應(yīng)用。這個值與沒有顯示的圖像處理無關(guān),因?yàn)轱@示管道是端到端時延的重要因素。

時延測試系統(tǒng)概述

虹科的內(nèi)部時延測試系統(tǒng)由一臺專用工作站PC、一臺示波器、一個由嵌入式處理器驅(qū)動的LED燈,以及一個光電二極管組成。

為了測量端到端時延,示波器捕捉到打開攝像機(jī)前面的LED燈與光電二極管在PC監(jiān)視器上檢測到此光之間的時間延遲。除了時延之外,該捕捉重復(fù)數(shù)百個周期以了解系統(tǒng)抖動。

“引入時延”描述所選視頻接口的時延測量 — 在本測試中,該接口為千兆以太網(wǎng)上的GigE Vision。假設(shè)通過LVDS(例如Camera Link等)和PCIe將圖像傳輸?shù)絇C內(nèi)存所需的時間接近零時延,則這些結(jié)果突出顯示了GigE Vision接口的引入時延。

Fig.1 GigE Vision成像系統(tǒng)中潛在端到端時延元素

引入時延”描述所選視頻接口的時延測量 — 在本測試中,該接口為千兆以太網(wǎng)上的GigE Vision。假設(shè)通過LVDS(例如Camera Link等)和PCIe將圖像傳輸?shù)絇C內(nèi)存所需的時間接近零時延,則這些結(jié)果突出顯示了GigE Vision接口的引入時延。

為了測量這種時延,我們只評估至少部分在Pleora產(chǎn)品控制范圍內(nèi)并且不與其它時延元素重疊的元素。考慮到時延元素(圖1),這意味著時延“時鐘”在傳感器讀數(shù)結(jié)束時開始,并在圖像可供用戶的應(yīng)用程序分析或顯示時結(jié)束。

引入時延測量包括GigE Vision接收器解封GVSP(GigE Vision流協(xié)議)有效載荷數(shù)據(jù)、將數(shù)據(jù)插入在圖像中適當(dāng)坐標(biāo)位置的內(nèi)存中,以及將完整圖像的內(nèi)存復(fù)制到用戶應(yīng)用程序所需的時間。

“引入時延”測量提供了使用LVDS傳輸技術(shù)和GigE Vision的系統(tǒng)之間有價值的比較。

場景一

在本測試中,我們評估了HK iPORT CL-GigE外置式采集卡的引入時延。CL-GigE將來自Camera Link相機(jī)的視頻數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)包并通過GigE鏈路傳輸。GigE支持使用標(biāo)準(zhǔn)的CAT5e/ 6線纜布線距離長達(dá)100米。使用現(xiàn)成的以太網(wǎng)交換機(jī),距離可以不受限制。

Camera Link Base相機(jī)

  • 15.897毫秒曝光時間
  • 1920 x 1080, mono8
  • 40 MHz 像素時鐘

CL-GigE

  • 巨型幀(每個以太網(wǎng)幀8k字節(jié))
  • 通過千兆以太網(wǎng)直接連接到PC

PC

  • Windows 7 Professional,64位
  • HP Z230塔式工作站(雙核英特爾酷睿?i5-4590 CPU @ 3.3 GHz,8 GB RAM)
  • 60 Hz刷新頻率的1080p監(jiān)視器在約15分鐘內(nèi)的500個數(shù)據(jù)采樣

端到端時延

  • 平均(包括曝光時間)= 69.604毫秒
  • 最小 = 60.400 毫秒
  • 最大 = 78.800 毫秒
  • 標(biāo)準(zhǔn)差 = 4.910 毫秒

引入時延

  • 平均 = 336 微秒
  • 標(biāo)準(zhǔn)差 = 38 微秒

場景二

在本測試中,我們用HK vDisplay外外置式采集卡取代了用于上述場景1中測試的PC;這是一款基于FPGA的GigE Vision接收器。

Camera Link Base相機(jī)

  • 15.897毫秒曝光時間
  • 1920 x 1080, mono8
  • 40 MHz 像素時鐘 — 51 毫秒傳感器讀出時間

CL-GigE

  • 巨型幀(每個以太網(wǎng)幀8k字節(jié))
  • 通過千兆以太網(wǎng)直接連接到PC

vDisplay外部圖像采集卡

  • 單緩存模式

在約15分鐘內(nèi)的500個數(shù)據(jù)采樣

端到端時延

  • 平均(包括曝光時間)= 59.92 毫秒
  • 最小 = 50.4 毫秒
  • 最大 = 69.6 毫秒
  • 標(biāo)準(zhǔn)差 = 4.746 毫秒

虹科產(chǎn)品:

外置式圖像采集卡HK-CL-GigE

關(guān)鍵特點(diǎn):

  • 通過低延時可預(yù)測的GigE傳輸Camera Link Base模式像機(jī)的數(shù)據(jù)
  • 較寬的操作溫度范圍(40°C至+60°C)
  • 無需PCI圖像采集卡即可插入各種計(jì)算平臺
  • 結(jié)構(gòu)緊湊和功耗低
  • 行掃描和面掃描模式
  • 板載內(nèi)存120MB,可適應(yīng)數(shù)百萬像素傳感器尺寸
  • 支持錄像和重放功能
  • 支持IEEE 1588,允許用戶準(zhǔn)確地控制、觸發(fā)和同步外部設(shè)備和多臺像機(jī),系統(tǒng)的GPIO則將電子噪聲的影響降到最低
  • PoE、PoCL和外部供電可選
  • 可編程邏輯控制器(PLC)允許用戶準(zhǔn)確地測量、同步、觸發(fā)和控制其他視覺系統(tǒng)部件
  • 由Pleora功能齊全的eBUS? SDK支持
  • GenICam集成開發(fā)包(包含iPORT AutoGen XML生成工具和固件參考設(shè)計(jì)組成)提供一個高效簡潔的GenICam交互界面

 

相關(guān)推薦

電子產(chǎn)業(yè)圖譜

虹科是一家資源整合及技術(shù)服務(wù)落地供應(yīng)商,與全球頂尖公司深度技術(shù)合作,專注于制造業(yè)、汽車、生物、醫(yī)藥、測試與測量、廣播電視與媒體、通信、網(wǎng)絡(luò)安全、光電等領(lǐng)域,為客戶提供:智能自動化、工業(yè)物聯(lián)網(wǎng)、智能感知、數(shù)字化+AR、光電、網(wǎng)絡(luò)安全、測試測量、衛(wèi)星與無線通信、醫(yī)藥環(huán)境監(jiān)測與驗(yàn)證、生命科學(xué)、汽車電子、汽車維修診斷、云科技等解決方案。虹科始終致力于為行業(yè)客戶提供創(chuàng)新及前端的產(chǎn)品和技術(shù)解決方案,為科技社會發(fā)展助力加碼。