iT邦幫忙

2025 iThome 鐵人賽

0
自我挑戰組

找工作期間不要讓自己太廢系列 第 50

DAY 50 Data Wrangler&Feature Store

  • 分享至 

  • xImage
  •  

Data Wrangler(SageMaker Studio 的一部分)

  • 資料處理工具,用來準備tabular與image資料供ML使用
  • 進行feature engineering、資料準備、transformation
  • 資料選取、清理、探索、以圖形方式視覺化,並進行資料處理
  • Data Wrangler提供SQL語法支援
  • 內建資料品質分析工具,比如格式是否正確、是否缺值等
  • import data: 可以從不同來源匯入資料(ex:Amazon S3)
  • preview data: 設定欄位名稱與資料型別
  • visualize data: 建立圖表理解資料集的內容與分布
  • transform data: 定義要對資料套用的函數、要移除或新增的欄位
  • quick model: 快速測試模型
  • export data flow: 匯出整個資料流程,使他能在SageMaker Pipeline中自動化執行

Feature Store(SageMaker Studio 的一部分)

  • 公司內不同資料集中的feature可以被集中管理,可以總覽所有已存在的feature
  • 可直接定義資料轉換流程或Data Wrangler處理後的特徵直接發佈至Feature Store
  • feature在SageMaker Studio中是可被搜尋與共享的,有助於團隊協作

Data Wrangler(資料準備與轉換);Feature Store(特徵儲存與管理)


上一篇
DAY 49 Amazon SageMaker
系列文
找工作期間不要讓自己太廢50
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言