為數(shù)據(jù)、分析和AI提供統(tǒng)一平臺
北京2024年12月10日?/美通社/ -- 亞馬遜云科技在2024 re:Invent全球大會上,宣布推出新一代Amazon SageMaker,將客戶所需的快速SQL分析、PB級大數(shù)據(jù)處理、數(shù)據(jù)探索和集成、模型開發(fā)和訓(xùn)練以及生成式人工智能(AI)等功能統(tǒng)一到一個(gè)集成平臺上。
- 全新的Amazon SageMaker Unified Studio使客戶能夠輕松查找和訪問整個(gè)組織的數(shù)據(jù),并匯集了亞馬遜云科技專門構(gòu)建的分析、機(jī)器學(xué)習(xí)(ML)和AI功能,客戶可以在Amazon Q Developer的協(xié)助下,為各種類型的常見數(shù)據(jù)用例選擇最合適的工具處理數(shù)據(jù)。
- Amazon SageMaker Catalog和內(nèi)置的治理功能確保合適的用戶以正確目的訪問合適的數(shù)據(jù)、模型和開發(fā)組件。
- 全新的Amazon SageMaker Lakehouse統(tǒng)一了數(shù)據(jù)湖、數(shù)據(jù)倉庫、運(yùn)營數(shù)據(jù)庫和企業(yè)應(yīng)用程序中的數(shù)據(jù),使客戶可以輕松訪問和處理Amazon SageMaker Unified Studio中的數(shù)據(jù),并使用其熟悉的AI和ML工具或與Apache Iceberg兼容的查詢引擎。
- 全新zero-ETL與領(lǐng)先的軟件即服務(wù)(SaaS)應(yīng)用程序的集成,讓客戶無需復(fù)雜的數(shù)據(jù)管道,即可在Amazon SageMaker Lakehouse和Amazon Redshift中訪問第三方SaaS應(yīng)用程序的數(shù)據(jù),并進(jìn)行分析或機(jī)器學(xué)習(xí)。
- 眾多客戶和合作伙伴包括Adastra、Confluence、Etleap、idealista、Informatica、Lennar、Natera、NatWest Group、NTT Data、羅氏、Tableau、豐田北美公司等已經(jīng)在使用新一代Amazon SageMaker,整合他們的數(shù)據(jù)、分析和AI項(xiàng)目。
亞馬遜云科技人工智能和數(shù)據(jù)副總裁Swami Sivasubramanian博士表示:"分析和AI正在融合,從歷史分析到ML模型訓(xùn)練和生成式AI應(yīng)用程序,客戶以越來越互聯(lián)的方式使用數(shù)據(jù)。為了支持這些工作負(fù)載,許多客戶已經(jīng)在使用我們專門構(gòu)建的分析和ML工具組合,例如,已成為處理數(shù)據(jù)和構(gòu)建ML模型事實(shí)標(biāo)準(zhǔn)的Amazon SageMaker、Amazon EMR、Amazon Redshift、Amazon S3數(shù)據(jù)湖和Amazon Glue的組合。新一代Amazon SageMaker將這些功能匯集到一起,同時(shí)還加入了一些令人興奮的新特性,為客戶提供數(shù)據(jù)處理、SQL分析、ML模型開發(fā)和訓(xùn)練以及構(gòu)建生成式AI所需的所有工具。"
使用Amazon SageMaker Unified Studio更快地協(xié)作和構(gòu)建
如今,數(shù)十萬客戶使用Amazon SageMaker來構(gòu)建、訓(xùn)練和部署ML模型。許多客戶還依賴亞馬遜云科技提供的一整套專門構(gòu)建的分析服務(wù)來支持各種工作負(fù)載,包括SQL分析、搜索分析、大數(shù)據(jù)處理和流式分析。越來越多的客戶不再孤立地使用這些工具,相反,他們正在將分析、ML和生成式AI相結(jié)合來獲取洞察并為用戶提供新體驗(yàn)。這些客戶將受益于一個(gè)統(tǒng)一的環(huán)境——匯集了客戶熟悉的亞馬遜云科技分析、ML和生成式AI工具,不但可以輕松訪問他們的所有數(shù)據(jù),還能夠與團(tuán)隊(duì)或組織的其他成員輕松協(xié)作處理數(shù)據(jù)項(xiàng)目。
新一代Amazon SageMaker包括一個(gè)新的、統(tǒng)一的工作室,為客戶提供一個(gè)單一的數(shù)據(jù)和AI開發(fā)環(huán)境,用戶可以在其中查找和訪問其組織中的所有數(shù)據(jù),為各種常見的數(shù)據(jù)用例選擇最佳的工具,并將數(shù)據(jù)和AI項(xiàng)目擴(kuò)展至團(tuán)隊(duì)內(nèi)及不同分工角色以實(shí)現(xiàn)協(xié)作。Amazon SageMaker Unified Studio整合了在Amazon Bedrock、Amazon EMR、Amazon Redshift、Amazon Glue和現(xiàn)有Amazon SageMaker Studio中客戶喜歡使用的一系列獨(dú)立"工作室"、查詢編輯器和可視化工具的功能和工具。這使客戶可以輕松訪問和使用這些功能來發(fā)現(xiàn)和準(zhǔn)備數(shù)據(jù)、編寫查詢或代碼、處理數(shù)據(jù)以及構(gòu)建ML模型。Amazon Q Developer全程協(xié)助支持開發(fā)任務(wù),包括數(shù)據(jù)發(fā)現(xiàn)、編碼、SQL生成和數(shù)據(jù)集成等。例如,用戶可以詢問Amazon Q:"我應(yīng)該使用哪些數(shù)據(jù)來更好地了解產(chǎn)品銷售情況?"或"生成SQL來計(jì)算按照產(chǎn)品類別分類的總收入。"用戶可以安全地發(fā)布數(shù)據(jù)、模型、應(yīng)用程序和其他構(gòu)件并與其團(tuán)隊(duì)或組織成員共享,從而加快對數(shù)據(jù)資產(chǎn)的可發(fā)現(xiàn)性和使用率。借助Amazon SageMaker Unified Studio中與Amazon Bedrock集成的開發(fā)環(huán)境(IDE),用戶可以使用Amazon Bedrock精選的高性能基礎(chǔ)模型和工具(例如Agents、Guardrails、Knowledge Bases和Flows),快速、輕松地構(gòu)建和部署生成式AI應(yīng)用程序。Amazon SageMaker Unified Studio內(nèi)置數(shù)據(jù)發(fā)現(xiàn)、共享和治理功能,因此分析師、數(shù)據(jù)科學(xué)家和工程師可以輕松搜索和找到其用例所需的正確數(shù)據(jù),同時(shí)應(yīng)用所需的安全控制和權(quán)限,維護(hù)訪問控制,并保護(hù)他們的數(shù)據(jù)安全。
NatWest Group是英國一家領(lǐng)先的銀行,為超過1900萬客戶提供服務(wù),使用多種工具進(jìn)行數(shù)據(jù)工程、SQL分析、ML和生成式AI工作負(fù)載。借助Amazon SageMaker Unified Studio,NatWest Group將在整個(gè)組織內(nèi)擁有一個(gè)統(tǒng)一的環(huán)境來支持這些工作負(fù)載,并預(yù)計(jì)其數(shù)據(jù)用戶訪問分析和AI功能所需的時(shí)間將減少50%,從而使他們花更少的時(shí)間管理多個(gè)服務(wù),將更多的時(shí)間用于客戶創(chuàng)新。
通過Amazon SageMaker數(shù)據(jù)和AI治理滿足企業(yè)安全需求
新一代Amazon SageMaker簡化了整個(gè)組織內(nèi)數(shù)據(jù)和AI的發(fā)現(xiàn)、治理和協(xié)作。借助基于Amazon DataZone構(gòu)建的Amazon SageMaker Catalog,管理員可以使用具有精細(xì)控制的單一權(quán)限模型,定義和實(shí)施一致的訪問策略,這樣跨團(tuán)隊(duì)的數(shù)據(jù)工作人員可以安全地發(fā)現(xiàn)和訪問經(jīng)過批準(zhǔn)的數(shù)據(jù)和模型,這些數(shù)據(jù)和模型包含由生成式AI創(chuàng)建的業(yè)務(wù)上下文元數(shù)據(jù)。管理員可以輕松地定義和實(shí)施跨模型、工具和數(shù)據(jù)源的權(quán)限,而定制的安全措施有助于確保AI應(yīng)用程序的安全性和合規(guī)性??蛻暨€可以通過Amazon SageMaker中的數(shù)據(jù)分類、毒舌檢測(toxicity detection)、防護(hù)欄(guardrails)和負(fù)責(zé)任的AI策略來保護(hù)其AI模型。
Amazon SageMaker Lakehouse減少數(shù)據(jù)孤島并統(tǒng)一數(shù)據(jù)
如今,超過一百萬個(gè)數(shù)據(jù)湖構(gòu)建在Amazon Simple Storage Service(Amazon S3)上,使客戶能夠集中其數(shù)據(jù)資產(chǎn),并通過亞馬遜云科技分析、AI和ML工具獲取價(jià)值。數(shù)據(jù)湖使客戶能夠按原樣存儲數(shù)據(jù),從而輕松組合來自多個(gè)來源的數(shù)據(jù)。客戶的數(shù)據(jù)可能分布在多個(gè)數(shù)據(jù)湖以及數(shù)據(jù)倉庫中,用一種簡單的方法統(tǒng)一所有這些數(shù)據(jù)將讓客戶受益。
Amazon SageMaker Lakehouse可統(tǒng)一訪問存儲在Amazon S3數(shù)據(jù)湖、Redshift數(shù)據(jù)倉庫和聯(lián)合數(shù)據(jù)源中的數(shù)據(jù),無論數(shù)據(jù)的存儲方式和物理位置在哪,都可以減少數(shù)據(jù)孤島并讓查詢更容易。借助Amazon SageMaker中與Apache Iceberg兼容的全新數(shù)據(jù)湖倉功能,客戶可以從Amazon SageMaker Unified Studio中,使用他們熟悉的與Apache Iceberg開放標(biāo)準(zhǔn)兼容的AI和ML工具以及查詢引擎,訪問和處理他們的所有數(shù)據(jù)?,F(xiàn)在,無論數(shù)據(jù)以何種方式存儲以及存儲位置,客戶可以使用他們喜歡的分析和ML工具對數(shù)據(jù)進(jìn)行處理,以支持包括SQL分析、即席查詢、數(shù)據(jù)科學(xué)、ML和生成式AI在內(nèi)的用例。Amazon SageMaker Lakehouse提供集成的精細(xì)訪問控制,這些訪問控制一致地應(yīng)用于Lakehouse中所有分析和AI工具中的數(shù)據(jù),客戶只需定義一次權(quán)限即可在整個(gè)組織中安全地共享數(shù)據(jù)。
羅氏(Roche)是一家制藥和診斷領(lǐng)域的先鋒企業(yè),致力于推進(jìn)科學(xué)進(jìn)步以改善人們的生活。該公司將使用Amazon SageMaker Lakehouse統(tǒng)一來自Amazon Redshift和Amazon S3數(shù)據(jù)湖的數(shù)據(jù),以消除數(shù)據(jù)孤島,增強(qiáng)團(tuán)隊(duì)之間的協(xié)作,并允許用戶無縫利用數(shù)據(jù),無需昂貴的數(shù)據(jù)移動(dòng)或重復(fù)的安全訪問控制。借助Amazon SageMaker Lakehouse,Roche預(yù)計(jì)數(shù)據(jù)處理時(shí)間將減少40%,這讓他們減少數(shù)據(jù)管理工作,而將精力更多用于推動(dòng)業(yè)務(wù)發(fā)展。
全新zero-ETL集成SaaS應(yīng)用程序,可快速、輕松地訪問SaaS數(shù)據(jù)
為了在運(yùn)營中真正利用數(shù)據(jù),企業(yè)需要無縫訪問所有數(shù)據(jù),無論這些數(shù)據(jù)位于何處。這就是亞馬遜云科技不斷發(fā)展zero-ETL的原因。zero-ETL使數(shù)據(jù)集成不再是繁瑣的手動(dòng)工作,客戶可以輕松地在需要的地方獲取數(shù)據(jù)。這包括Amazon Aurora MySQL和PostgreSQL、Amazon RDS for MySQL以及Amazon DynamoDB與 Amazon Redshift的zero-ETL集成,幫助客戶快速輕松地訪問在Amazon Redshift和Amazon SageMaker Lakehouse中的常用的關(guān)系和非關(guān)系數(shù)據(jù)庫中的數(shù)據(jù),并用于分析和ML。除了運(yùn)營數(shù)據(jù)庫和數(shù)據(jù)湖,許多客戶還將關(guān)鍵企業(yè)數(shù)據(jù)存儲在SaaS應(yīng)用程序中,客戶將從輕松訪問所有這些數(shù)據(jù)進(jìn)行分析和ML中受益。
客戶使用與SaaS應(yīng)用程序集成的全新zero-ETL,可以輕松地訪問Amazon SageMaker Lakehouse中的Zendesk和SAP等應(yīng)用程序以及Amazon Redshift中的數(shù)據(jù),并用于分析和AI。這消除了對數(shù)據(jù)管道的需求,數(shù)據(jù)管道的構(gòu)建本身就具有挑戰(zhàn)性且成本高昂,而且數(shù)據(jù)管道管理復(fù)雜,容易出錯(cuò)而讓客戶無法及時(shí)獲得想要的見解。集成SaaS應(yīng)用程序的zero-ETL包含數(shù)據(jù)同步、增量更新和刪除檢測以及目標(biāo)merge的最佳實(shí)踐。
來自不同行業(yè)、各種規(guī)模的組織機(jī)構(gòu),包括Infosys、Intuit和 Woolworths,已經(jīng)受益于亞馬遜云科技zero-ETL集成,無需構(gòu)建和管理數(shù)據(jù)管道,即可快速輕松地連接和分析數(shù)據(jù)。例如,通過集成SaaS應(yīng)用程序的zero-ETL,在線房地產(chǎn)平臺idealista將能夠簡化其數(shù)據(jù)提取和攝取流程,無需多個(gè)管道來訪問存儲在第三方SaaS應(yīng)用程序中的數(shù)據(jù),并使他們的數(shù)據(jù)工程團(tuán)隊(duì)能夠?qū)W⒂趶臄?shù)據(jù)中獲得可操作的見解,而不是構(gòu)建和管理基礎(chǔ)設(shè)施。
新一代Amazon SageMaker現(xiàn)已可用,Amazon SageMaker Unified Studio目前推出預(yù)覽并很快可用。