泛跟蹤與人體全析感知

Hi~ 又見面了。

THINK?BOLD?欄目主要是我的一些階段性技術(shù)思考分享，別的地方看不到哈。

這期基于我對(duì)室內(nèi)雷達(dá)人體感知的部分思考，整理成文做分享~

相對(duì)于車載領(lǐng)域，近幾年毫米波雷達(dá)在民用，工業(yè)領(lǐng)域同樣大放異彩。非車載領(lǐng)域的民用，工業(yè)應(yīng)用相對(duì)來說更繁雜一些，這期主要聚焦于室內(nèi)雷達(dá)應(yīng)用。

我們知道，車載雷達(dá)感知對(duì)象主要是車，傳統(tǒng)車載雷達(dá)感知下的車輛基本認(rèn)為是剛體，我們更關(guān)注的是車輛較大距離范圍內(nèi)的穩(wěn)定跟蹤，從而進(jìn)行相應(yīng)的ADAS功能輸出，并不關(guān)心車輛自身運(yùn)動(dòng)細(xì)節(jié)，比如輪胎轉(zhuǎn)動(dòng)等。

而室內(nèi)雷達(dá)主要感知對(duì)象是人，人作為一種典型的非剛體，其雷達(dá)回波包含極其豐富的人體自身運(yùn)動(dòng)信息，這些信息包含人體宏觀運(yùn)動(dòng)信息（Macro Doppler，宏多普勒），微觀運(yùn)動(dòng)信息（Micro Doppler，微多普勒），以及生命體征信息（Vital Signs）。

▲ 雷達(dá)回波基帶表達(dá)式[4]

具體的，我們觀察上式，對(duì)于傳統(tǒng)車載雷達(dá)回波建模，omiga(pT0) = vt+pvT0，其中v為目標(biāo)宏觀運(yùn)動(dòng)速度；而對(duì)于人體雷達(dá)回波，不僅包含人體宏觀運(yùn)動(dòng)，此時(shí)omiga(pT0) 含有 vt+pvT0，同樣omiga(pT0)也包含微觀運(yùn)動(dòng)信息及生命體征信息(vital signs)。

我們要做的無非是盡可能從人體雷達(dá)回波中，也就是omiga(pT0)，以及常規(guī)意義下的距離，角度中獲得足夠多的有用信息，從而實(shí)現(xiàn)人體全析。

相對(duì)于宏多普勒，微多普勒和vital signs往往更難建模，但卻包含了人體極其豐富的狀態(tài)信息，比如各類肢體活動(dòng)（揮手，擺臂，手勢(shì)，踏步，搖頭等）乃至呼吸，心率變化等等。

借助雷達(dá)，我們可以從各類肢體活動(dòng)信息乃至生命體征信息分析人體實(shí)時(shí)，短期乃至長期的運(yùn)動(dòng)健康數(shù)據(jù)，既可以實(shí)時(shí)監(jiān)控異常事件（跌倒，滯留，vital signs異常等），也可以為早期潛在疾病篩查提供長期參考數(shù)據(jù)支撐，這是一種全天時(shí)的，在不侵犯隱私條件下相對(duì)經(jīng)濟(jì)的方式。這也就是室內(nèi)雷達(dá)的長遠(yuǎn)意義。

需要指出，人體全析往往依賴較高的雷達(dá)分辨率，包括距離，多普勒以及角度分辨率，可以想想為什么。

從以上分析可以得到，人體活動(dòng)實(shí)際上是3種運(yùn)動(dòng)的疊加，簡單說就是宏運(yùn)動(dòng)，微運(yùn)動(dòng)，以及生命體征運(yùn)動(dòng)。站在雷達(dá)算法層面，基于毫米波雷達(dá)如何描述分析人體3種活動(dòng)，尤其是統(tǒng)一得，而非割裂得討論3種運(yùn)動(dòng)是關(guān)鍵課題。本文拋磚引玉，嘗試在一個(gè)統(tǒng)一框架下綜合討論3種運(yùn)動(dòng)。

在講具體的內(nèi)容之前，我們可以對(duì)一些概念做解釋性說明。

宏觀與微觀

所謂宏觀與微觀指的是雷達(dá)的宏觀感知與微觀感知，一般的，宏觀感知結(jié)果是微觀感知的基礎(chǔ)，微觀感知結(jié)果是宏觀感知的重要補(bǔ)充。舉兩個(gè)具體的例子，

如果基于高分辨雷達(dá)實(shí)現(xiàn)室內(nèi)人體宏運(yùn)動(dòng)感知屬于宏觀目標(biāo)感知，而對(duì)于人體揮手，搖頭的感知?jiǎng)t屬于微觀感知；如果基于高分辨雷達(dá)的手臂手勢(shì)識(shí)別屬于宏觀目標(biāo)感知，而對(duì)于手指手勢(shì)識(shí)別則屬于微觀目標(biāo)感知。

因此，我們可以看到，

宏觀與微觀的概念是相對(duì)的；微觀感知往往提供更加豐富的目標(biāo)運(yùn)動(dòng)細(xì)節(jié)；

過去我們可能不太關(guān)注雷達(dá)感知的宏觀與微觀，宏觀與微觀的界限并不清晰，或者完全割裂。

泛跟蹤

傳統(tǒng)的跟蹤觀念基于傳感器量測(cè)數(shù)據(jù)以及目標(biāo)近似動(dòng)力學(xué)模型獲得目標(biāo)運(yùn)動(dòng)狀態(tài)量的在某一優(yōu)化準(zhǔn)則下的最優(yōu)估計(jì)值。

比如針對(duì)傳統(tǒng)車載雷達(dá)，在上述跟蹤觀念下，實(shí)現(xiàn)車輛在各場(chǎng)景，全天候“穩(wěn)”, "準(zhǔn)", "遠(yuǎn)"的跟蹤結(jié)果已實(shí)屬不易，但對(duì)于室內(nèi)人體感知，這樣的跟蹤思想遠(yuǎn)遠(yuǎn)不夠。

下面我嘗試引入泛跟蹤的概念。

▲ FMCW radar processing chain

泛跟蹤((Omni-Tracker，我瞎起的名字)主要由宏跟蹤(Marco Tracker)，微跟蹤(Micro Tracker)以及混合跟蹤（Multi Tracker）組成。其目的是在較長的時(shí)間尺度下，對(duì)人體活動(dòng)全面跟蹤分析，從而獲得人體在姿態(tài)，生命體征等方面的短長期健康價(jià)值數(shù)據(jù)。

宏跟蹤即為傳統(tǒng)意義下的宏運(yùn)動(dòng)跟蹤，比如大家比較熟悉的ti reference design中提供的gtracker等。微跟蹤就要復(fù)雜的多，定義目前我也沒想好，不過微跟蹤往往由微運(yùn)動(dòng)以及生命體征運(yùn)動(dòng)所主導(dǎo)，并且微跟蹤是一種多層次跟蹤，以雷達(dá)高分辨為基礎(chǔ)。

泛跟蹤需要關(guān)注的點(diǎn)主要是

跟蹤融合與切換，比如實(shí)現(xiàn)人體宏運(yùn)動(dòng)，宏手勢(shì)，微手勢(shì)之間的無縫切換。再比如實(shí)現(xiàn)人體頭部，軀干，腿部分層跟蹤解析等。

▲?Finger?Gestures

▲?Hand?Tracking

同樣的，泛跟蹤思想同樣可以遷移至vital signs，可以構(gòu)建vital signs tracker，該tracker的跟蹤對(duì)象是多樣的，比如range bin，對(duì)于FMCW radar，1d fft后需要檢索合適的range bin, 從而獲取相應(yīng)phase做后續(xù)處理。注意這里我用了"合適的"一詞，什么才能算合適的range bin，距離范圍內(nèi)能量最強(qiáng)？或者方差最大？采用某一固定準(zhǔn)則其實(shí)都不合適，尤其當(dāng)人體呈現(xiàn)明顯的擴(kuò)展特性（比如壁裝雷達(dá)監(jiān)測(cè)平躺的人體），構(gòu)建合適的omni-tracker可以解決該問題。

下面我們看兩個(gè)有體現(xiàn)泛跟蹤觀念的例子。

一個(gè)是BOSCH的研究案例，如下圖，BOSCH公司基于毫米波雷達(dá)給出的某種形式的泛跟蹤（當(dāng)然BOSCH公司本身沒有提泛跟蹤的概念），其實(shí)思路很簡單，默認(rèn)條件下毫米波雷達(dá)對(duì)人體進(jìn)行宏跟蹤，當(dāng)人體需要使用手勢(shì)操作時(shí)候，切換至微跟蹤，微跟蹤將跟蹤手臂手勢(shì)（也就是我們說的宏手勢(shì)(Marco Gestures)），當(dāng)然BOSCH目前的研究存在的問題是，宏跟蹤到微跟蹤的切換需要特殊條件或動(dòng)作，而非平滑順其自然的過渡。

另一個(gè)是Google，Google Soli項(xiàng)目自2015年來一直在穩(wěn)步發(fā)展，借助于AI算法，Soli Radar已經(jīng)相當(dāng)"聰明"，在整體宏跟蹤基礎(chǔ)上，Soli能夠自適應(yīng)平滑判斷你的扭頭微動(dòng)作，從而進(jìn)行相應(yīng)的人體意圖判斷，讓雷達(dá)更懂你，了解你。

小結(jié)

本質(zhì)上，泛跟蹤就是一把可伸縮的標(biāo)尺，過去的尺子是固定刻度的，或粗略或精細(xì)，如今我們可以探討一把可伸縮的，自適應(yīng)調(diào)節(jié)刻度的尺子，從宏觀層面的統(tǒng)計(jì)感知與微觀層面的精確感知相配合，盡可能全面得描述人體活動(dòng)。

這期只是初步的介紹了部分重要觀念和概念，尚未設(shè)計(jì)具體算法的探討，坦率講，這部分包括我都是在摸石頭過河，并未形成系統(tǒng)性方法論，不過整體會(huì)是這么個(gè)方向吧，所以始終保持思考與實(shí)踐，保持未來的期待吧~

作者：葉融茶歸

[參考文獻(xiàn)]

[1] https://atap.google.com/soli/products/.

[2] Gu C ,? Wang J ,? Lien J . Motion Sensing Using Radar: Gesture Interaction and Beyond[J]. IEEE Microwave Magazine, 2019, 20(8):44-57.

[3] Santra A ,? Ulaganathan R V ,? Finke T . Short-Range Millimetric-Wave Radar System for Occupancy Sensing Application[J]. IEEE Sensors Letters, 2018, PP(99):1-1.

[4] Patole S M ,? Torlak M ,? Dan W , et al. Automotive Radars: A review of signal processing techniques[J]. IEEE Signal Processing Magazine, 2017, 34(2):22-35.