亞馬遜(Amazon)旗下Amazon Web Services(AWS)在2024年re:Invent全球大會上,宣布推出新一代Amazon SageMaker,將客戶所需的快速SQL分析、PB級資料處理、資料探索和整合、模型開發和訓練、生成式人工智慧(AI)等功能統一到一個整合平台上。

全新的Amazon SageMaker Unified Studio使客戶能夠輕鬆尋找和使用整個組織的資料,並匯集了AWS專門建構的分析、機器學習(ML)和AI功能,客戶可以在Amazon Q Developer的協助下,為各類常見的應用案例選擇最合適的工具處理資料。
Amazon SageMaker Catalog和內建的治理功能確保合適的使用者以正確目的使用合適的資料、模型和開發成品。

全新的Amazon SageMaker Lakehouse統一了資料湖、資料倉儲、營運資料庫和企業應用程式中的資料,使客戶可以輕鬆使用和處理Amazon SageMaker Unified Studio中的資料,並使用熟悉的AI和ML工具或與Apache Iceberg相容的查詢引擎。
全新零ETL(zero-ETL)與領先的軟體即服務(SaaS)應用程式整合,讓客戶無需複雜的資料管道,即可在Amazon SageMaker Lakehouse和Amazon Redshift中使用合作廠商SaaS應用程式的資料,以進行分析或用於機器學習。
眾多客戶和合作夥伴包括Adastra、Confluence、Etleap、idealista、Informatica、Lennar、Natera、NatWest Group、NTT Data、Roche、Tableau、Toyota Motor North America等企業已經將新一代Amazon SageMaker用於整合資料、分析和AI專案。

AWS AI和資料全球副總裁Swami Sivasubramanian表示:「分析和AI正在融合,從歷史分析到ML模型訓練和生成式AI應用程式,客戶以越來越互連的方式使用資料。為了支援這些工作負載,許多客戶已經在使用我們專門建構的分析和ML工具組合,例如,已成為處理資料和建構ML模型業界標準的Amazon SageMaker、Amazon EMR、Amazon Redshift、Amazon Simple Storage Service(Amazon S3)資料湖和AWS Glue的組合。新一代Amazon SageMaker匯集這些功能,同時還加入了一些令人興奮的新功能,為客戶提供資料處理、SQL分析、ML模型開發和訓練、建構生成式AI所需的所有工具。」

如今,數十萬客戶使用Amazon SageMaker來建構、訓練和部署ML模型。許多客戶依賴AWS提供的一整套專門建構的分析服務來支援各種工作負載,包括SQL分析、搜尋分析、大數據處理和串流分析。越來越多的客戶不再單獨地使用這些工具,而是正在將分析、機器學習和生成式AI結合來獲取洞察,並為用戶提供新體驗。這些客戶將受益於統一的環境,匯集客戶熟悉的AWS分析、ML和生成式AI工具,不僅可以輕鬆使用所有資料,還能夠與團隊或組織的其他成員輕鬆合作處理專案。

新一代Amazon SageMaker包括一個新的、統一的編輯器,為客戶提供單一的資料和AI開發環境,用戶可以在其中尋找和使用組織中的所有資料,為各種常見的資料應用案例選擇最佳的工具,並與不同團隊和角色合作,以擴展資料和AI專案。Amazon SageMaker Unified Studio整合了在Amazon Bedrock、Amazon EMR、Amazon Redshift、AWS Glue和現有Amazon SageMaker Studio中客戶喜歡使用的一系列獨立編輯器、查詢和視覺化功能與工具。這使客戶可以輕鬆使用這些功能來探索和準備資料、編寫需求或程式碼、處理資料以及建構ML模型。Amazon Q Developer能全程協助開發任務,包括資料探索、編寫程式碼、SQL生成和資料整合等。例如,用戶可以詢問Amazon Q:「我應該使用哪些資料來更了解產品銷售情況?」或「生成SQL來計算按照產品分類的總收入。」使用者可以安全地分享資料、模型、應用程式和其他成品,與團隊和組織成員共用,進而提升資料資產的易尋性和使用率。借助Amazon SageMaker Unified Studio中與Amazon Bedrock整合開發環境(IDE),用戶可以使用Amazon Bedrock精選的高效能基礎模型和工具(例如Agents、Guardrails、Knowledge Bases及Flows),快速、輕鬆地建構和部署生成式AI應用程式。Amazon SageMaker Unified Studio內建資料探索、共用和治理功能,因此分析師、資料科學家和工程師可以輕鬆搜尋和找到應用案例所需的正確資料,同時使用所需的安全控制和權限,確保掌握存取控制權,並保護資料安全。

NatWest Group是英國一家領先的銀行,為超過1900萬客戶提供服務,使用多種工具進行資料工程、SQL分析、ML和生成式AI工作負載。借助Amazon SageMaker Unified Studio,NatWest Group將在組織內打造一個統一的環境來支援這些工作負載,並預計資料使用者使用分析和AI功能所需的時間將減少50%,使員工花更少的時間管理多項服務,將更多的時間用於為客戶實現創新。

新一代Amazon SageMaker簡化了組織內資料和AI的探索、治理及合作。借助基於Amazon DataZone建構的Amazon SageMaker Catalog,管理員可以使用具有精細控制的單一許可模型,定義和實施一致的使用策略,跨團隊的資料工作人員便可以安全地探索和使用經過批准的資料和模型,這些資料和模型包含由生成式AI打造的業務上下文中繼資料。管理員可以輕鬆地定義和實施跨模型、工具和資料來源的權限,而客製化的安全措施有助於確保AI應用程式的安全性和合規性。客戶還可以透過Amazon SageMaker中的資料分類、毒性偵測(toxicity detection)、安全防護措施(guardrails)和負責任的AI策略來保護AI模型。

如今,超過一百萬個資料湖建構在Amazon Simple Storage Service(Amazon S3)上,使客戶能夠集中資料資產,並透過AWS的分析、AI和ML工具獲取價值。資料湖使客戶能夠按原樣儲存資料,並輕鬆組合來自多個來源的資料。客戶的資料可能分布在多個資料湖以及資料倉儲中,客戶將受益於用一種簡單的方法統一所有資料。

Amazon SageMaker Lakehouse可統一使用儲存在Amazon S3資料湖、Redshift資料倉儲和聯合資料來源中的資料,包含不同的資料儲存方式和物理位置,減少資料孤島並讓查詢變得更容易。借助Amazon SageMaker中與Apache Iceberg相容的全新資料湖功能,客戶可以從Amazon SageMaker Unified Studio中,使用與Apache Iceberg開放標準相容的AI和ML工具以及查詢引擎,以使用和處理所有資料。現在,無論資料的儲存方式和儲存位置,客戶可以使用喜歡的分析和ML工具處理資料,以支援SQL分析、特定查詢(ad-hoc querying)、資料科學、ML和生成式AI的應用案例。Amazon SageMaker Lakehouse提供整合的精細存取控制,這些存取控制一致地應用於資料湖中所有分析和AI工具的資料,客戶只需定義一次權限,即可在整個組織中安全地共用資料。

Roche是製藥和診斷領域的領導者,致力於推動科學進步以改善人們的生活。Roche將使用Amazon SageMaker Lakehouse統一來自Amazon Redshift和Amazon S3資料湖的資料,以消除資料孤島,增強團隊之間的合作,並允許使用者無縫運用資料,無需昂貴的資料移動或重複的安全存取控制。借助Amazon SageMaker Lakehouse,Roche預計資料處理時間將減少40%,這幫助他們減少資料管理工作,能將更多的精力用於推動業務發展。

為了在營運中真正運用資料,企業需要能無縫使用所有資料,無論這些資料位於何處。這就是AWS不斷發展零ETL的原因,零ETL使資料整合不再是繁瑣的手動工作,客戶可以輕鬆地在需要的地方使用資料。Amazon Aurora MySQL和PostgreSQL、Amazon RDS for MySQL以及Amazon DynamoDB與Amazon Redshift的零ETL整合,能幫助客戶快速且輕鬆地使用Amazon Redshift和Amazon SageMaker Lakehouse中常用的關聯式和非關聯式資料庫中的資料,並用於分析和機器學習。除了營運資料庫和資料湖,許多客戶也將關鍵企業資料儲存在SaaS應用程式中,而客戶將受益於輕鬆使用這些資料進行分析和機器學習。

客戶使用與SaaS應用程式整合的全新零ETL,將能輕鬆地使用Amazon SageMaker Lakehouse中的Zendesk和SAP等應用程式以及Amazon Redshift中的資料,並用於分析和AI。這消除了資料管道的需求,資料管道的建構本身就具有挑戰性且成本高昂,而且資料管道管理複雜,容易出錯而讓客戶無法及時獲得想要的洞察。整合SaaS應用程式的零ETL包含資料同步、檢測增量更新和刪除、合併目標的最佳實踐。

來自不同產業、各種規模的組織,包括Infosys、Intuit和Woolworths,都已經受益於AWS的零ETL整合,無需建構和管理資料管道,即可快速且輕鬆地連接和分析資料。例如,透過整合SaaS應用程式的零ETL,線上房地產平台idealista能簡化資料擷取流程,無需多個管道來儲存合作廠商SaaS應用程式中的資料,使資料工程團隊能夠專注於從資料中獲得可執行的洞察,而不是建構和管理基礎設施。

新一代Amazon SageMaker現已可用,Amazon SageMaker Unified Studio目前可供預覽,並即將可用。

Tags: