1113
OPPO造芯第二步，馬里亞納Y為什么是“計(jì)算音頻”？
12月14日，在OPPO INNO DAY 2022期間，OPPO正式發(fā)布了自己的第二款自研芯片：馬里亞納??MariSilicon Y（以下簡稱馬里亞納Y）。
在此之前，OPPO的第一款自研芯片馬里亞納X，發(fā)布于2021年12月，是一顆主要瞄準(zhǔn)“計(jì)算影像”領(lǐng)域的NPU。
而本次發(fā)布的馬里亞納Y，則是著眼于“計(jì)算音頻”領(lǐng)域，是一款旗艦級(jí)的藍(lán)牙音頻SoC。
從X到Y(jié)，從影像到音頻，從NPU到SoC，OPPO造芯的一盤大棋已經(jīng)徐徐展開。
【1】
近幾年來，自研芯片已經(jīng)成為每一家手機(jī)大廠的兵家必爭之地。
到目前為止，已經(jīng)發(fā)布的自研芯片，絕大部分都集中在研發(fā)入手容易，用戶需求迫切的“計(jì)算影像”領(lǐng)域。
但這并不意味著，其他領(lǐng)域沒有機(jī)會(huì)。
OPPO此次率先布局的“計(jì)算音頻”，正是一個(gè)極具應(yīng)用潛力的方向。
首先，它有廣闊的市場需求。
Luminate報(bào)告數(shù)據(jù)顯示，在2022年上半年，全球流媒體音樂同比增長了24.7%，而視頻流媒體播放增長了28.1%。
在中國，移動(dòng)音樂用戶規(guī)模更是達(dá)到了7.06億。
同時(shí)，“計(jì)算音頻”也正在越來越多領(lǐng)域，為用戶創(chuàng)造前所未有的聲音體驗(yàn)。
比如主動(dòng)降噪功能，讓用戶可以根據(jù)所處的環(huán)境，選擇聲音體驗(yàn)是隔離外界還是開放通透。
比如空間音頻創(chuàng)造的沉浸式體驗(yàn)，可以讓用戶在轉(zhuǎn)動(dòng)頭部的時(shí)候，聲音獲得跟隨的效果，實(shí)現(xiàn)用戶與內(nèi)容的獨(dú)特交互。
目前，全球的科技公司和研究機(jī)構(gòu)，都已經(jīng)在加速下一代的計(jì)算音頻探索。
比如谷歌，已經(jīng)發(fā)布了全新的音頻生成框架AudioLM，只需要簡短的音頻樣本，就能學(xué)習(xí)生成逼真、高質(zhì)量的語音和音樂。
在這些趨勢下，傳統(tǒng)的音頻硬件已經(jīng)逐漸成為短板。
比如藍(lán)牙的傳輸速率。
基于強(qiáng)大的便捷性和低功耗優(yōu)勢，藍(lán)牙是手機(jī)音頻最主要的無線傳輸方式。
但目前的藍(lán)牙標(biāo)準(zhǔn)，在現(xiàn)實(shí)環(huán)境里基本無法傳輸高于48kHz/24bit品質(zhì)的無損音頻。
同時(shí)，藍(lán)牙耳機(jī)的播放、EQ調(diào)整、編解碼等絕大部分音頻計(jì)算處理，都是通過DSP（數(shù)字信號(hào)處理器）來完成，算力和功耗都無法為AI提供足夠支持。
上游芯片巨頭也已經(jīng)意識(shí)到這些問題，并通過優(yōu)化音頻芯片編解碼、提升無線傳輸速率、主控SoC向音頻開放賦能等方式，強(qiáng)化手機(jī)音頻體驗(yàn)；比如高通推出了S5 Gen 2和S3 Gen 2這樣的獨(dú)立藍(lán)牙音頻芯片。
而OPPO基于對(duì)用戶需求和應(yīng)用場景的深入理解，專門研發(fā)推出了馬里亞納Y，或許意味著“計(jì)算音頻”將成為“計(jì)算影像”之后的下一個(gè)大潮流。
【2】
瞄準(zhǔn)傳統(tǒng)藍(lán)牙音頻設(shè)備的痛點(diǎn)，馬里亞納Y實(shí)現(xiàn)了三大核心突破：
針對(duì)藍(lán)牙傳輸速率瓶頸：
馬里亞納Y通過自研技術(shù)，實(shí)現(xiàn)了12Mbps的全球最快藍(lán)牙速率。
怎么理解這個(gè)數(shù)據(jù)呢？
目前，最新的藍(lán)牙國際標(biāo)準(zhǔn)5.3，支持的最大理論速率僅有3Mbps。
聯(lián)發(fā)科最新推出的天璣9200平臺(tái)，藍(lán)牙音頻傳輸速率的理論峰值，也只有8Mbps。
目前，192kHz/24bit是主流音樂平臺(tái)上，無損音樂的最高規(guī)格。但由于傳輸速率限制導(dǎo)致的延遲和卡頓，用戶無法通過藍(lán)牙設(shè)備來欣賞這個(gè)質(zhì)量的無損音樂。
而現(xiàn)在，馬里亞納Y的12Mbps的傳輸速率，第一次讓藍(lán)牙設(shè)備可以從容傳輸192kHz/24bit無損音頻，讓用戶獲得最巔峰的音樂體驗(yàn)。
值得注意的是，據(jù)OPPO芯片產(chǎn)品高級(jí)總監(jiān)姜波透露，馬里亞納Y中的藍(lán)牙模塊，從協(xié)議定義、架構(gòu)設(shè)計(jì)、技術(shù)實(shí)現(xiàn)，乃至對(duì)其他低速藍(lán)牙協(xié)議的兼容，全部都是由OPPO自研完成的。
此外，馬里亞納Y也首次采用了OPPO自研的音頻編解碼技術(shù)URLC，將無損壓縮率首次提升至50%，并支持80Kbps～10Mbps動(dòng)態(tài)碼率。
這意味著，它可以用更小的體積，傳輸更大的無損音樂文件，并在受到外部環(huán)境的信號(hào)干擾時(shí)，也能更好地確保流暢、穩(wěn)定。
針對(duì)計(jì)算音頻支撐乏力:
作為首個(gè)在耳機(jī)側(cè)集成NPU單元的藍(lán)牙音頻SoC，馬里亞納的算力堪稱恐怖。
僅僅是它的NPU單元算力，就達(dá)到了超前的590 GOPS（科技雜談注：1GOPS=每秒10億次計(jì)算）。
此外，馬里亞納Y集成的DSP單元，算力也達(dá)到了25 GOPS，位于當(dāng)前全行業(yè)性能最強(qiáng)之列。
一個(gè)更容易幫助我們理解的對(duì)比是，目前全球銷量最高的耳機(jī)芯片，算力只有9 GOPS。
即使對(duì)比目前最先進(jìn)的DSP單元，馬里亞納Y也能提供23倍以上的算力，以及16倍以上的計(jì)算能效。
這意味著，大量的計(jì)算工作可以在音頻設(shè)備內(nèi)實(shí)時(shí)完成，而不用在耳機(jī)與手機(jī)之間傳輸，從而最大限度降低延遲。
而且，面向未來更多的AI音頻應(yīng)用，音頻設(shè)備也有了持續(xù)升級(jí)的可能。
比如，依托強(qiáng)大的NPU，馬里亞納Y已經(jīng)首次在音頻端側(cè)實(shí)現(xiàn)“聲音分離”技術(shù)。
該技術(shù)可以從一段完整的音頻數(shù)據(jù)中，識(shí)別和分離人聲或其他特定樂器的聲音，并生成獨(dú)立的音軌。
過去，這樣的操作需要專業(yè)人士，通過多軌音頻工程才能實(shí)現(xiàn)，而現(xiàn)在，AI就可以幫助用戶輕松完成。
用戶可以自定義修改每一條音軌的音量，在虛擬聲音空間中的位置，自由定制只屬于自己的全景聲聽感；也可以無視音頻原本格式，將老音樂重新轉(zhuǎn)化為立體聲、環(huán)繞聲或者全景聲。
據(jù)OPPO透露，在目前階段，“聲音分離”最多可分離生成四條獨(dú)立音軌——人聲、鼓聲、貝斯、其他。
但顯然，這僅僅只是一個(gè)開始。
毫無疑問，有了超強(qiáng)的算力和先進(jìn)的AI算法，馬里亞納Y有望引領(lǐng)一場全新的計(jì)算音頻大潮。
針對(duì)功耗過高：
為了解決傳統(tǒng)低功耗藍(lán)牙音頻芯片大量存在的性能與功耗矛盾，馬里亞納Y率先將N6RF制程工藝引入到了藍(lán)牙芯片當(dāng)中。
N6RF是目前全球最先進(jìn)的射頻芯片工藝，能幫助射頻芯片減少33%的面積，能效提升更是高達(dá)66%。
得益于N6RF的制程，馬里亞納Y能夠令音頻設(shè)備在獲得更高性能的同時(shí)，兼得更低的能耗和更長的續(xù)航。
【3】
就目前來看，無論馬里亞納X，還是馬里亞納Y，都令人驚艷。
在此之前，馬里亞納X以傳統(tǒng)算法難以企及的強(qiáng)大能力，讓實(shí)時(shí)視頻首次達(dá)到了4K清晰度和實(shí)時(shí)景深計(jì)算，幫助首次搭載這顆芯片的OPPO Reno8手機(jī)收獲無數(shù)好評(píng)。
現(xiàn)在，馬里亞納Y，也可以用一張圖來總結(jié)它的顛覆：
但對(duì)于OPPO來說，它們都只是起點(diǎn)。
在12月14日的OPPO INNO DAY 2022上，OPPO副總裁、OPPO研究院院長劉暢表示，OPPO已經(jīng)布局了三大核心底層技術(shù)：
馬里亞納是自研芯片計(jì)劃，是OPPO面向未來的強(qiáng)勁性能心臟；
潘塔納爾是智慧跨端系統(tǒng)，是OPPO與合作伙伴協(xié)同創(chuàng)新的共用“中間件”；
安第斯是終端智能云，是OPPO面向未來的智慧大腦和智慧服務(wù)平臺(tái)。
“這三大技術(shù)是價(jià)值最高、最先進(jìn)、也是難度最大的核心技術(shù)，是OPPO必須啃下的硬骨頭?！眲痴f。
依托三大計(jì)劃，OPPO以芯片為基礎(chǔ)、以多端為載體、以智能云為大腦，“芯-端-云”三位一體，協(xié)同發(fā)展，從而實(shí)現(xiàn)算力融合與數(shù)據(jù)流轉(zhuǎn)，最終帶來一場“芯云一體、多端融合”的智能設(shè)備體驗(yàn)革命。
不久前，OPPO創(chuàng)始人兼首席執(zhí)行官陳明永也曾公開表態(tài)：“我們必須在底層硬件上有自己的能力，最重要的就是做好芯片?！?/p>
這意味著，在OPPO的造芯路上，馬里亞納X和馬里亞納Y只是漫漫長征路上的一個(gè)起點(diǎn)。
對(duì)OPPO來說，這兩顆芯片落地的最大價(jià)值，不僅僅在于大幅提升終端產(chǎn)品能力，更在于為后續(xù)的更多自研芯片趟出一條路。
研發(fā)芯片是一項(xiàng)投入極高、風(fēng)險(xiǎn)極大的工程。OPPO甚至特意用地球最深海溝“馬里亞納”命名其芯片計(jì)劃，來體現(xiàn)自研芯片這項(xiàng)工程的艱難程度。
而兩年時(shí)間，OPPO以極其強(qiáng)大的魄力與實(shí)力，拿出了以上兩顆芯片。
其中挑戰(zhàn)之大，真的令人震憾。
馬里亞納X雖然只是一個(gè)獨(dú)立的NPU單元，但從前端設(shè)計(jì)、后端設(shè)計(jì)、IP設(shè)計(jì)、內(nèi)存架構(gòu)、ARM CPU設(shè)計(jì)方案、算法、到供應(yīng)鏈流片，全部都是由OPPO自己的團(tuán)隊(duì)完成的。
馬里亞納Y更是直接從影像領(lǐng)域跨到了音頻領(lǐng)域，從獨(dú)立的NPU單元擴(kuò)展到了完整的SoC，甚至直接挑戰(zhàn)行業(yè)公認(rèn)技術(shù)最先進(jìn)、難度最高、風(fēng)險(xiǎn)也最高的N6RF射頻工藝制程，并取得成功。
即使對(duì)有著深厚芯片開發(fā)經(jīng)驗(yàn)的團(tuán)隊(duì)，這些挑戰(zhàn)都具有極大風(fēng)險(xiǎn)。
但也正因如此，馬里亞納X和馬里亞納Y的成功完成，讓OPPO團(tuán)隊(duì)擁有了一個(gè)完整的芯片開發(fā)體系，擁有了將先進(jìn)制程工藝應(yīng)用于射頻系統(tǒng)的能力。
一個(gè)簡單例子是，在馬里亞納Y中，也有NPU單元，但根據(jù)計(jì)算音頻和計(jì)算影像的需求差異，它的架構(gòu)、吞吐量等設(shè)計(jì)都和馬里亞納X有所差異，這也體現(xiàn)了OPPO對(duì)于芯片研發(fā)的理解深入。
對(duì)于以“芯云一體、多端融合”為未來目標(biāo)的OPPO來說，未來從芯片到跨端系統(tǒng)再到云，各個(gè)體系的交互將會(huì)越來越深入緊密。
到那時(shí)，一個(gè)普通用戶，在一個(gè)普通場景里的一個(gè)普通操作，可能都會(huì)同時(shí)調(diào)動(dòng)馬里亞納、潘塔納爾和安第斯的全面協(xié)同。
所以，前期對(duì)于芯片能力積累得越充分，未來構(gòu)建完整體系的時(shí)候，就會(huì)越從容。
用陳明永的話來說就是，OPPO這盤棋，正在用一步步的本手積累妙手。
“好的芯片難做，我們做了，才能長期在用戶體驗(yàn)上形成優(yōu)勢。這個(gè)過程不是那么輕松的，需要花時(shí)間，過程中還會(huì)有很多質(zhì)疑，但我們必須保持平常心，尊重客觀規(guī)律，一步一腳印走得扎扎實(shí)實(shí)。”陳明永說。
