809
近日，國(guó)內(nèi)領(lǐng)先的大模型廠商智譜在智譜清言的官網(wǎng)發(fā)布了智譜清言英特爾酷睿Ultra專享版，這個(gè)版本可以利用英特爾酷睿Ultra處理器提供的澎湃的AI算力，在不聯(lián)網(wǎng)的情況下就可在PC本地運(yùn)行智譜的端側(cè)模型，為廣大用戶提供高隱私、重安全的、在弱網(wǎng)或斷網(wǎng)情況下依然可以使用的AI助手。
智譜清言是擁有海量用戶的端側(cè)應(yīng)用，涵蓋了移動(dòng)及PC端，是基于云端大模型的人工智能助手，并有很多附加功能，深受用戶喜愛(ài)。在PC上使用時(shí)，有些用戶會(huì)有一些個(gè)人或者組織的隱私數(shù)據(jù)或者有一定安全要求的數(shù)據(jù)希望在本地處理，避免相關(guān)數(shù)據(jù)的泄密風(fēng)險(xiǎn)，同時(shí)在某些弱網(wǎng)或斷網(wǎng)情況下，很多用戶也有在PC上使用大模型的AI助手的需求。
英特爾自2023年12月發(fā)布了命名為酷睿Ultra第一代AI PC處理器，為在PC端側(cè)運(yùn)行AI應(yīng)用提供了優(yōu)秀平臺(tái)。在這一代的處理器中，創(chuàng)新的增加了專門的AI處理單元：NPU，也就是神經(jīng)網(wǎng)絡(luò)處理單元。同時(shí)第一代的酷睿Ultra處理器又大幅度的提升了內(nèi)建顯卡的算力，為圖形計(jì)算和AI運(yùn)算提供了澎湃的算力。加上傳統(tǒng)的CPU，在這一代的酷睿Ultra處理器上就通過(guò)CPU+NPU+iGPU (內(nèi)建圖形處理單元)為不同的AI負(fù)載提供了合適的算力引擎。其中CPU適合一些對(duì)延遲性要求較高的AI應(yīng)用，而一些持續(xù)性的、低負(fù)載的AI應(yīng)用適合運(yùn)行在NPU上，iGPU更適合運(yùn)行一些大吞吐量的AI運(yùn)算。
結(jié)合英特爾酷睿Ultra的強(qiáng)大AI算力，智譜結(jié)合自己在云和端側(cè)豐富的模型和應(yīng)用開發(fā)經(jīng)驗(yàn)，很早就與英特爾的工程技術(shù)人員開始了聯(lián)合開發(fā)。雙方團(tuán)隊(duì)緊密溝通，充分發(fā)揮雙方在軟、硬件上優(yōu)勢(shì)，在本地模型的選擇上確保了模型參數(shù)與準(zhǔn)確性的平衡，同時(shí)采用了合理的量化技術(shù)確保了合理的模型文件尺寸，另外在性能調(diào)優(yōu)上選取了優(yōu)秀的工具鏈確保了本地模型運(yùn)行高效的運(yùn)行在處理器之中的AI引擎上。
這個(gè)版本會(huì)自動(dòng)檢測(cè)PC平臺(tái)的配置，在滿足條件的英特爾酷睿Ultra PC上會(huì)自動(dòng)下載合適的端側(cè)模型，通過(guò)這個(gè)端側(cè)模型，用戶可以利用英特爾酷睿Ultra的本地AI算力，為用戶提供端側(cè)的個(gè)人助手，包括知識(shí)問(wèn)答、文檔撰寫、創(chuàng)意生成等工作。比如：可以將若干篇存在PC本地的文檔通過(guò)在RAG（Retrieval-augmented Generation，檢索增強(qiáng)生成）形成專有的知識(shí)庫(kù)，并通過(guò)自然語(yǔ)言查詢，而輸出的內(nèi)容既包含了來(lái)自本地文檔的專業(yè)信息，同時(shí)輸出內(nèi)容也更加自然并有邏輯。另外，智譜清言的英特爾酷睿Ultra專享版還可以完成本地長(zhǎng)文檔的摘要等工作，極大的提升了生產(chǎn)效率，形成了用戶身邊的、隨時(shí)隨地的“AI助手”。
隨著英特爾不斷推出酷睿Ultra處理器新品，相關(guān)的AI算力也在不斷提升。英特爾將持續(xù)攜手包括智譜在內(nèi)的國(guó)內(nèi)領(lǐng)先的AI應(yīng)用廠商推出更多的適合國(guó)內(nèi)用戶的AI PC應(yīng)用，豐富AI PC生態(tài)圈。
