1633
金磊 楊凈 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
經(jīng)典技術(shù)OCR（光學(xué)字符識別），在大模型時代下要“變味”了。
怎么說？
我們都知道OCR這個技術(shù)在日常生活中已經(jīng)普及開了，像各類文件、身份證、路標(biāo)等識別，可以說統(tǒng)統(tǒng)都離不開它。
而隨著近幾年大模型的不斷發(fā)展，OCR也迎來了它的“新生機”——
憑借自身可以將文本從圖片、掃描文檔或其他圖像形式提取出來的看家本領(lǐng)，成為大語言模型的一個重要入口。
在這個過程中，一個關(guān)鍵問題便是“好用才是硬道理”。
過去人們會普遍認(rèn)為，像OCR這種涉及圖像預(yù)處理、字符分割、特征提取等步驟的技術(shù)，堆GPU肯定是首選嘛。
不過朋友，有沒有想過成本和部署的問題？還有一些場景甚至連GPU資源都沒得可用的問題？
這時又有朋友要說了，那CPU也不見得很好用啊。
不不不。
現(xiàn)在，大模型時代之下，CPU或許還真是OCR落地的一種新解法。
例如在醫(yī)保AI業(yè)務(wù)中，在CPU的加持之下，醫(yī)療票據(jù)識別任務(wù)的響應(yīng)延時指標(biāo)，在原有基礎(chǔ)上提升達(dá)25倍！
△數(shù)據(jù)來源：英特爾合作伙伴
為什么會有如此大的轉(zhuǎn)變？
一言蔽之，因為此前做OCR任務(wù)的時候，CPU的計算潛能并沒有完全釋放出來。
OCR，進(jìn)入CPU時代
那么到底是誰家的CPU，能讓經(jīng)典OCR產(chǎn)生這般變化。
不賣關(guān)子。
它正是來自英特爾的第四代至強???可擴(kuò)展處理器。
據(jù)了解，第四代至強可擴(kuò)展處理器增加了每個時鐘周期的指令，每個插槽多達(dá)60個核心，支持8通道DDR5內(nèi)存。
在內(nèi)存寬帶方面實現(xiàn)了50%的性能提升，并通過每PCIe 5.0（80個通道）實現(xiàn)了2 倍的PCIe帶寬提升，整體可實現(xiàn)60%的代際性能提升。
但解鎖如此能力的，可不僅僅是一顆CPU這么簡單，是加成了英特爾軟件層面上的優(yōu)化；換言之，就是“軟硬一體”后的結(jié)果。
而且這種打法也不是停留在PPT階段，而是已經(jīng)實際用起來的那種。
例如國內(nèi)廠商用友便在自家OCR業(yè)務(wù)中采用了這種方案。
性能比較上，用友在第三/第四代英特爾???至強???可擴(kuò)展處理器上進(jìn)行了算法對比，推理性能提升達(dá)優(yōu)化前的3.42倍：
而在INT8量化后的性能更是提升到原來的7.3倍：
值得一提的是，OCR的響應(yīng)時間直接降低到了3秒以內(nèi)，還是切換架構(gòu)不影響業(yè)務(wù)，用戶無感知的那種。
除了用友之外，像亞信科技在自家OCR-AIRPA方案中，也是采用了英特爾的這套打法。
與用友類似的，亞信科技實現(xiàn)了從FP32到INT8/BF16的量化，從而在可接受的精度損失下，增加吞吐量并加速推理。
從結(jié)果上來看，相比傳統(tǒng)人工方式，成本降到了1/5到1/9之間，而且效率還提升了5-10倍。
由此可見，釋放了AI加速“洪荒之力”的CPU，在OCR任務(wù)上完全不亞于傳統(tǒng)GPU的方案。
那么問題來了：
英特爾是如何釋放CPU計算潛力的？
實際應(yīng)用過程中，企業(yè)通常選擇自己使用CPU來做OCR處理，但由于缺乏對CPU硬件加速和指令集的了解，就會發(fā)現(xiàn)CPU處理性能與理想峰值相差甚遠(yuǎn)，OCR程序也就沒有得到很好的優(yōu)化。
至于以往更常見的GPU解決方案，始終存在著成本和部署的難題。一來成本通常較高，且很多情況下，業(yè)務(wù)現(xiàn)場沒有GPU資源可以使用。
但要知道OCR本身應(yīng)用廣泛、部署場景多樣，比如公有云、私有云，以及邊緣設(shè)備、終端設(shè)備上……而且隨著大模型時代的到來，作為重要入口的OCR，更多潛在場景將被挖掘。
于是，一種性價比高、硬件適配性強的解決方案成為行業(yè)剛需。
既然如此，英特爾又是如何解決這一痛點的呢？
簡單歸結(jié)：第四代至強???可擴(kuò)展處理器及其內(nèi)置的AI加速器，以及OpenVINO?? 推理框架打輔助。
當(dāng)前影響AI應(yīng)用性能的要素?zé)o非兩個：算力和數(shù)據(jù)訪問速度。第四代至強???可擴(kuò)展處理器的單顆CPU核數(shù)已經(jīng)增長到最高60核。
而在數(shù)據(jù)訪問速度上，各級緩存大小、內(nèi)存通道數(shù)、內(nèi)存訪問速度等都有一定程度的優(yōu)化，另外部分型號還集成了HBM高帶寬內(nèi)存技術(shù)。
此外，在CPU指令集上也做了優(yōu)化，內(nèi)置了英特爾???高級矩陣擴(kuò)展（英特爾???AMX）等硬件加速器，負(fù)責(zé)矩陣計算，加速深度學(xué)習(xí)工作負(fù)載。
這有點類似于GPU里的張量核心（Tensor Core）。
AMX由兩部分組成，一部分是1kb大小的2D寄存器文件，另一部分是TMUL模塊，用來執(zhí)行矩陣乘法指令。
它可同時支持INT8和BF16數(shù)據(jù)類型，且BF16相較于FP32計算性能更優(yōu)。
有了AMX指令集加持，性能比矢量神經(jīng)網(wǎng)絡(luò)指令集VNNI提升達(dá)8倍。
除了核心硬件平臺外，實際情況中幫助OCR在CPU上落地的，還有推理框架OpenVINO???。
市面上大部分AI框架都是同時支持訓(xùn)練和推理，OpenVINO???則是刪減了很多訓(xùn)練部分所需的冗余計算，主要支持推理部分。
而且也是專門針對英特爾硬件打造的優(yōu)化框架。框架替換也不復(fù)雜，只需5行代碼就可以完成原有框架的替換。
用戶可以針對不同業(yè)務(wù)場景，來優(yōu)化OpenVINO???運行參數(shù)。
比如用友OCR業(yè)務(wù)涉及文字檢測和文字識別兩個AI模型，優(yōu)化方向有所不同。
前者對單次推理要求高，后者需要整個系統(tǒng)吞吐量的優(yōu)化，那么OpenVINO???分別采用單路同步模式和多路異步模式。單一模塊優(yōu)化后，再針對整體流程的優(yōu)化。
這樣一套軟硬件組合拳打下來，英特爾充分釋放了CPU計算潛力，在實際場景中也實現(xiàn)了與GPU同等性能。
不再是你以為的CPU
以往談到AI加速、AI算力，大眾經(jīng)常想到的就是GPU，又或者是專用TPU。
至于通用架構(gòu)芯片CPU，受到計算單元和內(nèi)存帶寬的限制，始終無法適應(yīng)于計算數(shù)據(jù)龐大的深度學(xué)習(xí)。
但現(xiàn)在的CPU，已經(jīng)不再是“你以為的你以為”了：
它可以深入到各個行業(yè)當(dāng)中，輕松Hold住各種場景應(yīng)用。
尤其在AMX加速引擎加持下，能將深度學(xué)習(xí)訓(xùn)練和推理性能提升高達(dá)10倍。
比如，媒體娛樂場景中，能幫助個性化內(nèi)容推薦速度提升達(dá)6.3倍；零售行業(yè)里，能將視頻分析速度提升高達(dá)至2.3倍，還有像工業(yè)缺陷檢測、醫(yī)療服務(wù)也都能從容應(yīng)對。
即便是在前沿探索領(lǐng)域，CPU也已經(jīng)成為不容忽視的存在：
像是在生命科學(xué)和醫(yī)藥方向，在某些場景下的表現(xiàn)效果甚至比GPU還要好。
英特爾用CPU速刷AlphaFold2，結(jié)果力壓AI專用加速芯片，去年發(fā)布的第三代至強???可擴(kuò)展處理器經(jīng)過優(yōu)化后就能使其端到端的通量足足提升到了原來的23.11倍。今年基于第四代至強???可擴(kuò)展處理器再次把性能提升到了上一代產(chǎn)品的3.02倍。
不過要實現(xiàn)CPU加速，背后也并非簡單的硬件優(yōu)化。
而是軟硬件融合協(xié)同，從底層到應(yīng)用的一整套技術(shù)創(chuàng)新，以及產(chǎn)業(yè)鏈上合作伙伴的支撐。
隨著大模型時代的到來和深入，這種解決思路也正在成為共識。
像一些大模型玩家要實現(xiàn)大模型優(yōu)化和迭代，并不能依靠以往單純?nèi){馬車來解決，而是需要從底層芯片到模型部署端到端的系統(tǒng)優(yōu)化。
在算力加速層面的玩家，一方面擺脫不了摩爾定律的極限，另一方面要在應(yīng)用場景中充分釋放計算潛力，就需要與軟件適配快速部署。
有意思的是，在最近OCR主題的《至強實戰(zhàn)課》中，英特爾人工智能軟件架構(gòu)師桂晟曾這樣形容英特爾的定位：
英特爾不僅僅是一個硬件公司，同時也擁有著龐大的軟件團(tuán)隊。
在整個人工智能生態(tài)中，不論是從底層的計算庫，到中間的各類組件，框架和中間件，再到上層的應(yīng)用，服務(wù)和解決方案都有英特爾軟件工程師的參與。
CPU加速，不再是你以為的加速。英特爾，也不再是以往所認(rèn)知中的硬件公司。
但如果你以為英特爾只有CPU來加速AI，那你又單純了。
針對AI的專用加速芯片Habana???Gaudi 2???即將迎來首秀；而通用加速芯片，同時兼顧科學(xué)計算和AI加速的英特爾???數(shù)據(jù)中心GPU Max系列也剛剛結(jié)束了它在阿貢實驗室Aurora系統(tǒng)中的部署，即將走近更多客戶。
以這些多樣化、異構(gòu)的芯片為基石，英特爾也將形成更全面的硬件產(chǎn)品布局，并配之以跨異構(gòu)平臺、易用的軟件工具組合（oneAPI）為整個應(yīng)用鏈上的合作伙伴及客戶提供應(yīng)用創(chuàng)新的支持，為各行各業(yè)AI應(yīng)用的開發(fā)、部署、優(yōu)化和普及提供全方位支持。
下載ECAD模型
