國產(chǎn)數(shù)據(jù)庫迎來黃金時代。
企業(yè)走向數(shù)字化,離不開一個關(guān)鍵的基礎(chǔ)軟件——數(shù)據(jù)庫。顧名思義,數(shù)據(jù)庫猶如一個存儲、組織、管理所有數(shù)據(jù)的檔案館,是企業(yè)、醫(yī)院、人社、銀行等各種信息系統(tǒng)不可或缺的地基。這樣一個執(zhí)掌數(shù)據(jù)命脈的軟件,卻長期被西方大廠所壟斷。
數(shù)據(jù)庫商業(yè)化的起點可以追溯至1977年,33歲的美國商業(yè)奇才拉里·埃里森敏銳嗅到關(guān)系型數(shù)據(jù)庫的商機,創(chuàng)立“軟件開發(fā)實驗室”,它就是日后的全球最大企業(yè)級軟件公司甲骨文。第二年,中國人民大學薩師煊教授第一次將“數(shù)據(jù)庫”寫在黑板上,這拉開了數(shù)據(jù)庫概念在中國普及的序幕。
40余年后,中國眾多網(wǎng)民參與的雙11購物節(jié),創(chuàng)造了全球最大流量洪峰。在科技創(chuàng)新戰(zhàn)略及大數(shù)據(jù)發(fā)展的激勵下,承擔起越來越多關(guān)鍵業(yè)務場景的國產(chǎn)數(shù)據(jù)庫,正迎來最好時代。
熱潮之中,國產(chǎn)數(shù)據(jù)庫行業(yè)漸成百家爭鳴之勢,其中雙11背后的關(guān)鍵功臣OceanBase,也在繼獨立運作、開源核心代碼后,邁向新的階段。“過去一年,OceanBase的客戶數(shù)實現(xiàn)翻倍達到400多家,其中來自非金融類客戶的營收占比超過三成。”在1月6日舉行的DC2021分布式數(shù)據(jù)庫開發(fā)者大會上,OceanBase CEO楊冰首次對外披露其關(guān)鍵營收信息。這個勢頭正猛的國產(chǎn)數(shù)據(jù)庫主力,正從金融走向人社、能源、通信等各行各業(yè)。經(jīng)過11年的磨礪,OceanBase不再僅僅作為螞蟻核心業(yè)務的幕后英雄,而成長為觀察國產(chǎn)數(shù)據(jù)庫摸索前路和嘗試突圍的一個絕佳樣本。
01.從企業(yè)內(nèi)部賬本,到互聯(lián)網(wǎng)靈魂支柱
數(shù)據(jù)庫主要做三件事,記賬、審賬、算賬。早期數(shù)據(jù)庫主要被用于封閉環(huán)境,比如醫(yī)院存檔病例信息、企業(yè)記錄員工檔案。而隨著互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)的浪潮接棒登場,淘寶等用戶可以無限擴張的環(huán)境對數(shù)據(jù)庫的擴展性提出更高要求。當單機數(shù)據(jù)庫難以滿足數(shù)據(jù)暴增所帶來的高并發(fā)量需求,靈活可擴展、更高性價比、可實現(xiàn)多地多中心部署的分布式數(shù)據(jù)庫成為新趨勢。
如果將單機數(shù)據(jù)庫比作燃油車,分布式數(shù)據(jù)庫就好比新能源電動車。燃油車處理能力有限,但非常成熟;電動車雖未成熟,但有巨大的擴展能力和發(fā)展空間,在一些體驗上甚至超過燃油車。2021年是分布式數(shù)據(jù)庫大發(fā)展的元年。根據(jù)Gartner的數(shù)據(jù),2021年全球分布式數(shù)據(jù)庫市場規(guī)模達到38.4億美元,2025年將達到72.8億美元。Gartner最新發(fā)布的白皮書認為,以OceanBase為代表的原生分布式數(shù)據(jù)庫正引領(lǐng)數(shù)據(jù)管理技術(shù)發(fā)展趨勢。
如圖所示,分布式數(shù)據(jù)庫經(jīng)歷了三代演變:前兩代分布式存儲系統(tǒng)(NoSQL)、分布式數(shù)據(jù)庫(可擴展的SQL)都在一定程度上犧牲了單機性能、成本和企業(yè)級功能。相比之下,第三代原生分布式數(shù)據(jù)庫通過一體化架構(gòu),既支持完整的企業(yè)級SQL功能,享受到分布式技術(shù)無限擴展、永遠在線的技術(shù)紅利,又能兼容集中式數(shù)據(jù)庫功能,實現(xiàn)與集中式相當?shù)膯螜C性能,逐漸成為企業(yè)核心系統(tǒng)升級的首選。
從2010年開始立項的OceanBase,一直是原生分布式數(shù)據(jù)庫的信仰者、開拓者。OceanBase曾連續(xù)8年支撐雙11,并承擔會員、交易、支付、賬務等螞蟻集團的核心業(yè)務板塊,數(shù)據(jù)量達到數(shù)百PB,服務器核數(shù)過百萬。這打磨了它在金融級場景的堅實工程基礎(chǔ)。
目前全國TOP200的頭部金融機構(gòu)中,有1/4都將OceanBase作為核心系統(tǒng)升級的首選。以工商銀行為例,自投入使用OceanBase以來,工商銀行法人理財支撐著企業(yè)客戶萬億級別的資產(chǎn)實現(xiàn)兩地三中心的城市級容災方案,達到5級容災要求,做到7x24小時實時服務。核心業(yè)務系統(tǒng)數(shù)據(jù)庫分布式改造后,數(shù)據(jù)庫服務器資源利用率達到75%,在系統(tǒng)處理能力遭遇瓶頸的時候,可進行便捷的水平擴展,增加集群計算資源來提升處理能力。
在IT168和ITPUB的《國產(chǎn)分布式數(shù)據(jù)庫選型及滿意度調(diào)查》中,OceanBase的用戶滿意度在國產(chǎn)分布式數(shù)據(jù)庫中排名第一。另據(jù)Forrester最新研報,OceanBase是中等營收規(guī)模賽道中唯一一家來自中國的數(shù)據(jù)庫廠商,也是全球唯三具備實現(xiàn)Forrester定義的分布式數(shù)據(jù)庫細分功能、全覆蓋能力的廠商。
▲IT168&ITPUB調(diào)查顯示,16.67%的受訪者表示其所在企業(yè)已使用或計劃采用OceanBase
02.撐起雙11的同款技術(shù),被應用到各行各業(yè)
扛住金融級場景的嚴苛考驗后,OceanBase亦憑借穩(wěn)定出色的性能,高可靠性和高性價比,逐步深入應用至通信、政務、能源等關(guān)系國計民生的重要領(lǐng)域。根據(jù)OceanBase最新披露營收狀況,2021年,其客戶數(shù)量同比實現(xiàn)翻倍,達到400多家,其中來自其非金融類客戶的營收占比已達到OceanBase總營收的35%,且在快速增長中。以山東移動為例,對于這個用戶規(guī)模排名第二的省級運營商來說,計費系統(tǒng)是其一大核心業(yè)務系統(tǒng),日處理各類詳單數(shù)據(jù)130億條,數(shù)據(jù)處理性能和準確性至關(guān)重要。
2020年,山東移動數(shù)據(jù)庫幾乎沒改業(yè)務代碼,就全部遷移至OceanBase。這使其詳單處理效率提升30%,存儲投入成本降低90%,硬件和維保成本大幅降低,并實現(xiàn)RPO=0的機房級別容災能力。同時源系統(tǒng)數(shù)據(jù)類型、對象、存儲過程僅少量修改達成應用適配,1小時完成應用切割,實現(xiàn)應用系統(tǒng)平滑遷移。
此外,OceanBase已經(jīng)在支撐多個省市人社系統(tǒng)的“社保系統(tǒng)省級大集中”。比如2021年12月,江西人社系統(tǒng)在全國人社領(lǐng)域內(nèi)首個開展國產(chǎn)化試點,使用OceanBase數(shù)據(jù)庫運行其機關(guān)養(yǎng)老、企業(yè)養(yǎng)老、工傷保險、失業(yè)保險、職業(yè)年金及財務等核心社保數(shù)據(jù)。系統(tǒng)遷移至OceanBase后,可實現(xiàn)征繳計劃生成從16小時降至最快9分鐘。基于OceanBase多數(shù)據(jù)副本分布式架構(gòu),可確保數(shù)據(jù)萬無一失,7x24無間斷對外提供社保信息實時查詢功能。
面向能源企業(yè)的數(shù)字化轉(zhuǎn)型需求,OceanBase將23套分散加油卡系統(tǒng)數(shù)據(jù)庫全部集中到OceanBase的1套新加油卡系統(tǒng)中,為中石化節(jié)省了大量成本。同時,新系統(tǒng)可支撐近3萬家加油站,實現(xiàn)一張加油卡全國通用,支持交易流水由“天”級降低到“秒”級,實現(xiàn)一體化班日結(jié)和報表需求,有力推進中石化生活綜合服務商戰(zhàn)略轉(zhuǎn)型。
與國家電網(wǎng)的合作中,傳統(tǒng)數(shù)據(jù)庫升級到OceanBase數(shù)據(jù)庫后,在電費發(fā)行場景、電費提取場景、自動化抄表場景等核心業(yè)務實現(xiàn)性能的大幅度提升。在實現(xiàn)降本增效之余,以OceanBase為代表的原生分布式數(shù)據(jù)庫正通過合作提高業(yè)務效率,改善大眾日常生活的體驗。
03.背后技術(shù)邏輯起底,想讓用戶用腳投票
達成上述的成績,離不開OceanBase長達11年的技術(shù)積累。
“我們想做的事情就是讓用戶拿腳投票。”陽振坤教授是OceanBase創(chuàng)始人,早在2010年立項時便計劃做一種可擴展的、能一體化處理交易與分析的系統(tǒng),“我們的成本可能只有別人的不到一半,關(guān)鍵是我們一些使用的便利性。”在陽振坤眼里,一個好的分布式數(shù)據(jù)庫,是“一個”可水平擴展且一份數(shù)據(jù)存儲既進行交易處理又進行分析處理的數(shù)據(jù)庫。它具備“一個數(shù)據(jù)庫”、可水平擴展和HTAP的三個重要特性。
此前數(shù)據(jù)庫系統(tǒng)通常分別沿著事務處理、數(shù)據(jù)分析兩條路走,而OceanBase想要走一條將兩者兼顧的路,為此,它經(jīng)歷了雙11、支付寶等大量業(yè)務場景的磨煉,以不斷驗證其足夠穩(wěn)定成熟。對于許多客戶,數(shù)據(jù)庫關(guān)乎生死,因此必須確保從遷移到運維都萬無一失。在對客戶友好的一體化架構(gòu)基礎(chǔ)上,OceanBase創(chuàng)新地推出“三地五中心”城市級容災新標準,具備高可用、高擴展、高兼容、部署靈活、高性價比等特點,并通過Paxos協(xié)議保證數(shù)據(jù)一致性,數(shù)據(jù)不丟失。
1月6日,在DC2021分布式數(shù)據(jù)庫開發(fā)者大會上,楊冰公布OceanBase的全新使命:“用技術(shù)讓海量數(shù)據(jù)的管理和使用更簡單。”在楊傳輝看來:“只有自主研發(fā),才能完全掌控內(nèi)核。只有完全掌控內(nèi)核,才能夠持續(xù)在原生分布式數(shù)據(jù)庫領(lǐng)域開拓創(chuàng)新。”100%自研,使得OceanBase具備隨時升級調(diào)優(yōu)能力,能敏捷響應用戶需求,實現(xiàn)快速迭代。以前傳統(tǒng)數(shù)據(jù)庫受限于業(yè)務模式和技術(shù),對客戶需求響應較慢,易出現(xiàn)出現(xiàn)尾大不掉的情況。而OceanBase能做到完全以客戶為中心,用最快的速度響應客戶需求。過去一年,OceanBase共迭代了8個版本,代碼提交5300多次。這也成為了OceanBase非常重要的業(yè)務模式——產(chǎn)品驅(qū)動增長。
“產(chǎn)品力始終是OceanBase的立足根本。”楊冰相信,“只有好的技術(shù),才能創(chuàng)造好的產(chǎn)品,才能真正幫助客戶。而在大量客戶的個性化需求之下,產(chǎn)品也要反過來不斷迭代優(yōu)化,最終形成良性循環(huán),促進業(yè)務發(fā)展。”為了方便客戶使用,OceanBean持續(xù)降低企業(yè)部署數(shù)據(jù)庫的門檻,一方面提供覆蓋安裝、部署、評估、遷移、研發(fā)、運維等全過程的一整套工具體系,另一方面用普通PC服務器即可部署,不依賴特定硬件和服務,無需SAN存儲。
隨著產(chǎn)品不斷迭代,OceanBase的客戶結(jié)構(gòu)也在持續(xù)優(yōu)化,大量中小客戶開始青睞原生分布式數(shù)據(jù)庫,占比達到66%。2021年是OceanBase獨立公司化運作的第二年,這一年,它的核心產(chǎn)品技術(shù)繼續(xù)精進,主要取得了五個方面的突破:
(1)從OLTP到HTAP:TPC-H整體性能提升620%,30TB刷新世界記錄,自此OceanBase成為唯一在事務處理(TPC-C測試)和數(shù)據(jù)分析(TPC-H測試)都刷新世界記錄的國產(chǎn)原生分布式數(shù)據(jù)庫;
(2)單核性價比大幅提升:sysbench整體性能提升68%,支持小規(guī)格部署,性價比在全球分布式數(shù)據(jù)庫領(lǐng)域遙遙領(lǐng)先;
(3)更強跑批能力:支持超大事務,一套引擎能同時處理交易和跑批,確保跑批負載不會影響正在進行的交易業(yè)務,并行DML和大數(shù)據(jù)導入性能分別提升270%和58%;
(4)Oracle平滑遷移:OceanBase是業(yè)內(nèi)首個支持平滑遷移Oracle的原生分布式數(shù)據(jù)庫,具備Oracle和MySQL兩種兼容能力并提供遷移工具,得到多行業(yè)核心業(yè)務場景的應用證明;
(5)易用性提升:支持不依賴單點的分布式主動死鎖檢測,能通過全鏈路監(jiān)控來大幅降低問題排查成本。重要的基礎(chǔ)軟件創(chuàng)新往往在開源社區(qū)。2021年6月,OceanBase向開源邁出一小步——面向社區(qū)完全開放300萬行核心代碼,并發(fā)布社區(qū)版。楊傳輝說,開源版不落于2020年雙11使用的版本。據(jù)他分享,借助其一鍵部署工具,即便是沒有寫過代碼的小白,部署OceanBase總共可能也只需半個小時。
目前該社區(qū)已經(jīng)吸引全球超過2.3萬名社區(qū)用戶,有逾100位外部開發(fā)者,每3個月,OceanBase就會發(fā)布一個新的開源版本。最新社區(qū)版將電商秒殺場景性能大幅提升300%,并兼容自主操作系統(tǒng)統(tǒng)信UOS。除了技術(shù)熱情外,楊傳輝也考慮實施一種將開源代碼與云服務結(jié)合的商業(yè)模式,使開源這件事能夠持續(xù)推進。楊傳輝向智東西透露,在2022年,OceanBase會做一個更加輕量的一體化架構(gòu),使用戶部署成本更低,使用更小的CPU、內(nèi)存,同時支持更高指標的數(shù)據(jù)量,并獲得更優(yōu)性能。OceanBase還將進一步提升偏分析的性能,集合開源提升易用性,面向多云做更多優(yōu)化,以及支持多模數(shù)據(jù)類型。
04.結(jié)語:國產(chǎn)數(shù)據(jù)庫后浪崛起
無限擴展,永遠在線,讓客戶無需擔心容量和故障問題,OceanBase已朝這個目標奮斗了多年。楊傳輝相信,這將是對傳統(tǒng)數(shù)據(jù)庫的一個顛覆。盡管美國數(shù)據(jù)庫大廠已筑就深厚的技術(shù)和生態(tài)壁壘,但大數(shù)據(jù)、云計算等新興技術(shù)正助推國內(nèi)企業(yè)在分布式數(shù)據(jù)庫等新型數(shù)據(jù)庫賽道的發(fā)展。自研技術(shù)和培育生態(tài)注定要翻山越嶺,路還長,國內(nèi)數(shù)據(jù)庫企業(yè)們已經(jīng)積極行動起來。
作者 | 心緣
編輯 | 漠影