155
2021 年世界人工智能大會(huì)（WAIC）于 7 月 8 日 在上海世博中心拉開(kāi)帷幕。九章云極DataCanvas董事長(zhǎng)方磊受邀參加由世界人工智能大會(huì)組委會(huì)主辦、機(jī)器之心承辦的“2021 WAIC·AI開(kāi)發(fā)者論壇”，并發(fā)表“Hypernets：自動(dòng)化機(jī)器學(xué)習(xí)的基礎(chǔ)框架”主題演講。
本次論壇以「后深度學(xué)習(xí)的 AI 時(shí)代」為主題，作為本屆 WAIC 開(kāi)發(fā)者單元的主力軍，WAIC· AI開(kāi)發(fā)者論壇與 WAIC·開(kāi)發(fā)者日一脈相承，連續(xù)三年始終專(zhuān)注 AI 技術(shù)人員與開(kāi)發(fā)者。本次論壇邀請(qǐng)了15位學(xué)術(shù)界和產(chǎn)業(yè)界重磅嘉賓，覆蓋多模態(tài)機(jī)器學(xué)習(xí)及大規(guī)模自動(dòng)生成技術(shù)、AutoML框架、智能社區(qū)的多模態(tài)數(shù)據(jù)融合、智能制造中的算法平臺(tái)以及下一代 AI 基礎(chǔ)軟件能力等話(huà)題，共同探討AI前沿技術(shù)。九章云極DataCanvas董事長(zhǎng)方磊圍繞AutoML框架的重要性和基本抽象、Hypernets的概念模型和重要特性、Hypernets的具體示例三部分向廣大開(kāi)發(fā)者奉獻(xiàn)了一場(chǎng)干貨滿(mǎn)滿(mǎn)的技術(shù)福利。
?
AutoML框架的本質(zhì)是空間搜索
AutoML技術(shù)的研發(fā)與應(yīng)用是一個(gè)持之以恒的課題，隨著對(duì)其研發(fā)的深入，很多AutoML工具的各部分高度耦合，只能針對(duì)特定問(wèn)題，難以擴(kuò)展。方磊表示，AutoML框架的本質(zhì)就是空間搜索，在這里面很重要的思想就是抽象性和層級(jí)的必要。
AutoML框架是對(duì)AutoML領(lǐng)域面對(duì)的問(wèn)題解構(gòu)和抽象后形成的基礎(chǔ)性支撐，無(wú)論是超參數(shù)優(yōu)化、Full-Pipeline搜索還是神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索(NAS)問(wèn)題，主要圍繞3個(gè)基本部分：搜索空間(Search Space)、搜索策略(Search Strategy)和評(píng)估策略(EstimationStrategy)。AutoML框架應(yīng)對(duì)各部分高度解耦以實(shí)現(xiàn)各部分自由擴(kuò)展，開(kāi)發(fā)者可以在此之上不斷豐富搜索算法，設(shè)計(jì)多樣搜索空間，避免共性問(wèn)題重復(fù)開(kāi)發(fā)，針對(duì)非共性問(wèn)題實(shí)現(xiàn)靈活擴(kuò)展，加速迭代效率，大幅低于降低自動(dòng)機(jī)器學(xué)習(xí)的準(zhǔn)入門(mén)檻，能夠讓開(kāi)發(fā)者快速實(shí)現(xiàn)自動(dòng)機(jī)器學(xué)習(xí)的搜索。
?
?
Hypernets——開(kāi)發(fā)者的朋友
一款優(yōu)秀的AutoML框架應(yīng)當(dāng)在上述三個(gè)部分具有：富有表現(xiàn)力的搜索空間描述語(yǔ)言、支持高維空間的高效搜索算法和高性能的評(píng)估策略。Hypernets作為一個(gè)自動(dòng)機(jī)器學(xué)習(xí)的底層通用框架，滿(mǎn)足單節(jié)點(diǎn)及分布式高性能的模型訓(xùn)練需求，可以在不同的空間進(jìn)行搜索與訓(xùn)練，結(jié)合各種機(jī)器學(xué)習(xí)和深度學(xué)習(xí)框架開(kāi)發(fā)專(zhuān)用自動(dòng)機(jī)器學(xué)習(xí)工具，幫助用戶(hù)快速開(kāi)發(fā)專(zhuān)用領(lǐng)域的AutoML工具。同時(shí)，Hypernets支持最新的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS）算法，可以實(shí)現(xiàn)深度學(xué)習(xí)的網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)自動(dòng)化。
方磊表示，Hypernets與目前眾多的機(jī)器學(xué)習(xí)、深度學(xué)習(xí)框架相結(jié)合更快更好的生成自動(dòng)機(jī)器學(xué)習(xí)工具。用5-10行代碼完全可以搜索模型，因此Hyperents一個(gè)定位就非常清晰，不管開(kāi)發(fā)一個(gè)訓(xùn)練框架還是開(kāi)發(fā)應(yīng)用模型，都是開(kāi)發(fā)者的朋友。開(kāi)發(fā)訓(xùn)練框架可以讓框架使用Hypernets很容易結(jié)合出框架本身的自動(dòng)機(jī)器學(xué)習(xí)能力；如果是開(kāi)發(fā)應(yīng)用模型，可以組合不同學(xué)習(xí)訓(xùn)練框架的同時(shí)，在上面使用Hypernets，端到端整個(gè)pipeline上進(jìn)行自動(dòng)機(jī)器學(xué)習(xí)的參數(shù)搜索，就會(huì)得到非常較好的模型。經(jīng)過(guò)大量在行業(yè)上的應(yīng)用，在特征豐富情況下，Hypernets在搜索能力包括分布式計(jì)算能力體現(xiàn)出來(lái)很多優(yōu)勢(shì)，搜索時(shí)間短，算力僅需普通訓(xùn)練的20-30倍，就能夠得到一個(gè)性能大大提升的模型。
簡(jiǎn)單快速精準(zhǔn)的自動(dòng)機(jī)器學(xué)習(xí)開(kāi)發(fā)過(guò)程
開(kāi)發(fā)者通過(guò)Hypernets設(shè)計(jì)不同的模塊空間(Module Space)和相應(yīng)的參數(shù)空間(Parameter Space)，通過(guò)不同的連接方式(Connection Space)將各個(gè)模塊空間組合成為一個(gè)高維的豐富動(dòng)態(tài)搜索空間(Search Space)。遺傳算法作為搜索策略的一個(gè)例子，是一種非常有效的尋找局部最優(yōu)的方法，也可以與其他各類(lèi)算法組合使用，實(shí)現(xiàn)更為強(qiáng)大的策略，例如在空間切分搜索的時(shí)候，使用遺傳算法加速子空間中的迭代。評(píng)估策略的核心在于高效：在評(píng)估不精確的情況下，通過(guò)指導(dǎo)搜索方向、節(jié)省預(yù)處理時(shí)間、防止過(guò)擬合三種方式，減少計(jì)算量，高效地利用自動(dòng)機(jī)器學(xué)習(xí)找到更好的模型。作為Hypernets的一個(gè)具體實(shí)例，HyperGBM在多個(gè)公開(kāi)數(shù)據(jù)集上和真實(shí)業(yè)務(wù)場(chǎng)景上，超過(guò)或達(dá)到了人類(lèi)專(zhuān)家和其他AutoML工具的水平。
?
強(qiáng)大的自動(dòng)機(jī)器學(xué)習(xí)開(kāi)源框架：Hypernets家族
Gartner在2020年十大科技趨勢(shì)中，將以AutoML為代表的AI普及化作為數(shù)據(jù)與分析領(lǐng)域的重要戰(zhàn)略技術(shù)之一。作為幫助用戶(hù)快速開(kāi)發(fā)專(zhuān)用領(lǐng)域的AutoML工具，Hypernets于2019年在GitHub進(jìn)行開(kāi)源，結(jié)合各種機(jī)器學(xué)習(xí)和深度學(xué)習(xí)框架開(kāi)發(fā)專(zhuān)用自動(dòng)機(jī)器學(xué)習(xí)工具，率先突破了機(jī)器學(xué)習(xí)建模過(guò)程中不均衡數(shù)據(jù)、概念漂移、模型泛化能力和大規(guī)模數(shù)據(jù)等諸多挑戰(zhàn)，提供開(kāi)放的訓(xùn)練服務(wù)框架，降低了AutoML工具的開(kāi)發(fā)門(mén)檻，實(shí)現(xiàn)深度學(xué)習(xí)的網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)自動(dòng)化。
方磊提到，AutoML的核心內(nèi)容是降低門(mén)檻構(gòu)建模型?；贖ypernets框架，九章云極DataCanvas自主研發(fā)的HyperGBM不僅能夠解決生產(chǎn)化困擾，同時(shí)實(shí)現(xiàn)了數(shù)據(jù)預(yù)處理、特征衍生、特征篩選、模型超參數(shù)優(yōu)化、模型選擇、模型融合全過(guò)程的全自動(dòng)機(jī)器學(xué)習(xí)，僅需5行代碼就可以實(shí)現(xiàn)高質(zhì)量的模型，擁有開(kāi)箱即用、簡(jiǎn)單易用等特點(diǎn)，解決企業(yè)在結(jié)構(gòu)化數(shù)據(jù)建模的需求。
為避免共性問(wèn)題重復(fù)開(kāi)發(fā)，其研發(fā)的HyperKeras支持神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索和超參數(shù)優(yōu)，專(zhuān)注非共性問(wèn)題，實(shí)現(xiàn)靈活高效擴(kuò)展。此外，九章云極DataCanvas對(duì)AutoML技術(shù)不斷探索，開(kāi)源項(xiàng)目DeepTables榮獲全球知名國(guó)際性競(jìng)賽第一名，全新定義了深度學(xué)習(xí)技術(shù)在結(jié)構(gòu)化數(shù)據(jù)分析領(lǐng)域的價(jià)值。
Hypernets家族開(kāi)源地址
?
Hypernets
https://github.com/DataCanvasIO/Hypernets
?
HyperGBM
https://github.com/DataCanvasIO/HyperGBM
?
HyperKeras
https://github.com/DataCanvasIO/HyperKeras
隨著人工智能時(shí)代對(duì)于AutoML需求的增加，九章云極DataCanvas將運(yùn)用Hypernets框架融合更多的深度學(xué)習(xí)框架，推動(dòng)神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的前沿發(fā)展，助力實(shí)際應(yīng)用場(chǎng)景中的深度學(xué)習(xí)模型落地，并且通過(guò)在AutoML、AutoDL領(lǐng)域不斷的技術(shù)創(chuàng)新，為金融、通信、政府等眾多行業(yè)實(shí)現(xiàn)數(shù)智化升級(jí)提供新動(dòng)能。
?
