2813
故障現(xiàn)象
2022年8月24日，某運營商反饋，阜陽A、淮南B、亳州C、宣城D等地市在中興通訊UPF升級改造后，通過大數(shù)據(jù)統(tǒng)計VoNR語音上行RTP的丟包率上升。
2022年9月1日，A、D兩地市的用戶反饋在漫游場景下VoNR語音呼叫質(zhì)差。
故障分析
大數(shù)據(jù)分析1.通過大數(shù)據(jù)觀察，在UPF完成升級改造后的地市，均出現(xiàn)VoNR語音上行RTP丟包率指標質(zhì)差現(xiàn)象，質(zhì)差時間點與UPF升級改造時間點相近，平均每次升級會有約0.12%左右的上行丟包率增長。而EPSFB的上行RTP丟包率基本無變化。地市B和地市C的RTP丟包率分別如下圖所示。
2.大數(shù)據(jù)對于VoNR語音上行RTP丟包判斷條件：通過RTP頭攜帶的RTP序號進行丟包分析，正常是連續(xù)的，出現(xiàn)跳變判斷為丟包。
3.現(xiàn)網(wǎng)VoNR的RTP音頻上行存在報文跳變不連續(xù)，因此用戶的語音質(zhì)量感受會變差。
4.通過收集大數(shù)據(jù)高頻質(zhì)差用戶，進行大量的跟蹤分析：a.用戶正常VoNR呼叫RTP上下行報文均連續(xù)，幾乎沒有丟包或亂序跳變。b.用戶僅在切換、切換取消場景有少量跳變丟包，符合切換丟包范圍，非本次惡化關鍵原因。
用戶場景分析
5.匯總反饋語音呼叫質(zhì)差的用戶，其故障場景均表現(xiàn)為用戶跨市后進行VoNR語音呼叫，此時常會出現(xiàn)通話質(zhì)量差、雜音大、以及單通等語音質(zhì)差特征。異常用戶在重新附著之后，業(yè)務恢復正常。此特征符合VoNR的RTP質(zhì)差惡化現(xiàn)象。
6.VoNR用戶漫游，屬于跨Pool，核心網(wǎng)流程上需要前插IUPF。
7.根據(jù)前述綜合分析，確認VoNR用戶在前插IUPF時易出現(xiàn)故障現(xiàn)象。
8.跟蹤部分經(jīng)常漫游的VoNR語音用戶，確認故障場景。
異常用戶信令分析
9.對跟蹤到的漫游異常呼叫信令進行詳細分析：此用戶由地市C移動到地市A后，進行VoNR語音呼叫，前插地市A的UPF002做為前插IUPF，地市C的UPF002為AUPF，如下圖所示。
10.完成IUPF前插后，SMF會收到VoNR專載規(guī)則并準備下發(fā)給UPF，其中RTP下發(fā)QoS速率為49kbps，RTCP下發(fā)QoS速率為3kbps，如下圖所示。
11.SMF將規(guī)則通過N4接口下發(fā)給UPF，其中RTP、RTCP各建兩個PDR關聯(lián)不同的QER限速策略。RTP、RTCP的匹配規(guī)則通過SDF進行區(qū)分，如下圖所示。
12.對IUPF進行數(shù)據(jù)跟蹤，發(fā)現(xiàn)上行RTP媒體流序列號發(fā)送不連續(xù)，IUPF在處理時內(nèi)部丟包，通過內(nèi)部失敗觀察確認丟包原因為上行限速。由于限速RTP存在跳變，此時大數(shù)據(jù)上統(tǒng)計到的RTP上行丟包數(shù)將會增長，如下圖所示。
13.對上行RTP媒體流發(fā)送速率進行測量，發(fā)現(xiàn)RTP發(fā)送速率無法超過3kbps，規(guī)則下發(fā)中RTP的速率為49kbps，說明上行RTP流被錯誤的限速，如下圖所示。
14.通過上述信令分析得出結論：故障原因為VoNR的RTP被錯誤的限速。根據(jù)發(fā)送速率分析，RTP流限速規(guī)則（49kbps）錯誤的關聯(lián)到RTCP流限速規(guī)則（3kbps）。因此RTP丟包，用戶語音呼叫中會有嚴重質(zhì)差感受。同時大數(shù)據(jù)RTP丟包率也會增長。根因分析15.VoNR呼叫IUPF、AUPF/UPF均會收到相同的規(guī)則，而IUPF會進行錯誤的限速，對IUPF與AUPF實現(xiàn)進行詳細分析，確認根因。16.AUPF/UPF作為錨點，需要進行DPI等深度報文識別匹配，因此在媒體流表建立時采用五元組方式，五元組可以精確識別媒體流信息，如下圖所示。
17.IUPF做為前插單元進行GTP隧道轉發(fā)，通常不需要對報文內(nèi)容進行深度識別，為加快5G流量的高效轉發(fā)速率，改造升級后IUPF在媒體流表建立時采用了隧道信息建流方式，如修下圖所示。18.對于隧道建流方式，加速卡上會生成流表。第一個匹配上流表的媒體流業(yè)務會將規(guī)則信息下發(fā)給加速卡，加速卡對于后續(xù)匹配流表的媒體流都按此規(guī)則生效。19.通過數(shù)據(jù)信令跟蹤分析，VoNR前插異常會話均為先收到RTCP流，此時流表中QER的規(guī)則采用了3kbps限速。后續(xù)收到RTP消息時，由于RTP/RTCP僅五元組發(fā)生變化隧道信息相同，因此RTP匹配相同的流表同樣采用3kbps的限速規(guī)則，如下圖所示。
影響范圍
20.由于VoNR語音業(yè)務在前插IUPF時，會區(qū)分目的端口，下發(fā)不同的限速規(guī)則。而改造升級后UPF在做為IUPF時，流表采用了GTP隧道建流方式，導致IUPF對RTP流錯誤限速。21.經(jīng)分析，當前僅會影響升級改造UPF區(qū)域，VoNR用戶漫游前插場景，有概率出現(xiàn)限速導致通話語音質(zhì)差。異常用戶在重新使用飛行模式后會本地接入，問題恢復。
故障處理
1.UPF執(zhí)行如下命令，關閉IMS APN的MBR限速功能，不再對語音業(yè)務進行限流以解決本次問題。ADD QOSPROFILE:NAME="IMS",ULMBRSWITCH="DISABLE",DLMBRSWITCH="DISABLE" SET DNCFG:DNN="ims",QOS="IMS"
2.關閉IMS的MBR限速開關優(yōu)點：a.可解決本次IUPF對RTP報文限速問題。b.IMS并非流量套餐、流量計費業(yè)務，不需要核心網(wǎng)對音頻流MBR進行速率限制。關閉語音MBR 限制可對用戶帶來更佳語音感受。
3.中興通訊UPF再后續(xù)版本中需要優(yōu)化IUPF基于SDF實現(xiàn)流表規(guī)則匹配，以徹底解決此問題。
