iT邦幫忙

data science相關文章
共有 238 則文章
鐵人賽 AI & Data DAY 4

技術 [Day 4] 資料產品第二層 - 資料加工術 - 資料驗證與清洗

稻米就算採收,也無法直接食用,需要經過一系列的加工才能送到消費者的手裡。 (圖片來源:富里鄉農會) 這個流程跟加工資料的流程並沒有什麼太大的差異,常見的資料基...

鐵人賽 自我挑戰組 DAY 21

技術 Day 21|Pandas 一招帶你快速製圖

  簡報時,我們常會聽到「用數字說話」這句話,面對主管、同事真的是講出每個數字就能讓聆聽者理解嗎?錯!大部分的人單看數字都容易眼花撩亂,想讓對方理解你的報告,圖...

技術 AutoML應用分享║DataRobot 年度線上大會 2021

一年一次關注全球AI實踐家怎麼想 不知道大家習不習慣註冊業界大廠辦的活動?撇除我們自己是DataRobot台灣代理商而協助推廣外真心覺得是一個可以偶爾打開格局眼...

鐵人賽 AI & Data DAY 3

技術 [Day 3] 資料產品第一層 - 原始資料的類型

原始資料可能來自非常多不同的地方,我們可以根據資料產生的方式來加以分類 感應器資料 這邊泛指各種 Sensor 測量得到的資料。Sensor 是普遍用來將資訊資...

鐵人賽 AI & Data DAY 14

技術 [Day 14] 資料產品生命週期管理-描述型模型

特別把描述模型和預測模型分開來寫是因為兩者在開發與驗證階段有不小的差異。(https://ubiq.co/analytics-blog/create-opera...

鐵人賽 AI & Data DAY 19

技術 [Day 19] 無法分類的其他圖表們1

接下來我們來看看一些,沒辦法分在前面介紹過的四個類別中,但又很適合在特定情境做使用的圖表吧。首先要來介紹的是一些在專案管理中,常用來做視覺化的圖表。 甘特圖...

鐵人賽 AI & Data DAY 25

技術 [Day 25] Spotify 使用 NLP 以助於 Podcast 搜尋

近幾年,Podcast 越發熱門,Spotify 的用戶也越來越頻繁地使用關鍵字搜尋相關節目,希望找到自己有興趣的 Podcast 內容。不過,Podcast...

鐵人賽 AI & Data DAY 12

技術 [Day 12] 資料產品生命週期管理-加工資料(一)

加工資料泛指各種處理資料的行為,這部分要一篇文章寫完真滴難,所以就也只能蜻蜓點水的各介紹一點,讓大家有個整體的概觀。 Initiate 在啟動階段,目標當然是弄...

鐵人賽 AI & Data DAY 15

技術 [Day 15] 改善 Airbnb 的房源排序模型(中) - ABCD 改善方案

在昨天的文章中,我們提到 Airbnb 為了做出更好的房源排序模型,決定跳脫「讀文獻 -> 實作 -> A/B testing」的迴圈,提出「ABC...

鐵人賽 AI & Data DAY 19

技術 [Day 19] Uber 使用 RADAR 模型偵測詐騙行為

昨天看完 Uber 如何預測抵達時間,今天來聊聊另外一個主題,看看 Uber 的詐騙偵測(fraud detection)吧! 無論是什麼產業,防止詐騙行為都...

鐵人賽 AI & Data DAY 5

技術 [Day 5] Instagram 如何產出要讓用戶探索(Explore)的內容?(下)

在前一天的內容中,我們介紹 Instagram 為了推薦用戶其他公眾帳號,設計三個工具以節省運算資源、快速找到相似帳號。此三工具分別為:IGQL、account...

鐵人賽 AI & Data DAY 11

技術 [Day 11] Spotify 怎麼知道「每週新發現」中要推薦什麼歌給你?(上)Multi-Armed Bandit

今天 Skylar 在出差的路上,一邊開著車,一邊聽著歌。在遙遙無期的路途中,他突然想到今天是禮拜一,Spotify 會推薦「每週新發現」的歌單,因此他滿懷期待...

鐵人賽 AI & Data DAY 16

技術 [Day 16] 資料產品生命週期管理-預測模型的部署與管理(MLOps)

昨天提到了怎麼開發預測模型,但模型絕對不是開發完就好,後續還有非常多的事情得做。 Deployment 模型在部署時真的非常麻煩。 Build 出來的模型往往...

鐵人賽 AI & Data DAY 14

技術 資料處理 Python Pandas 好用的function - Part 2

繼續上一章資料處理 Python Pandas 好用的function - Part 1 #1. pd.to_datetime(df['Date']) /pd....

鐵人賽 自我挑戰組 DAY 12

技術 Day 12|觀察資料中的缺失值

  資料在產生或蒐集時可能因為各種原因出現缺失值(Missing Value),導致資料集中缺少某些觀測值或該值無法表示或測量,因此,處理缺失值是數據分析中很重...

鐵人賽 AI & Data DAY 10

技術 [Day 10] 每家公司都有資料產品

(https://www.manmonthly.com.au/news/graphene-helps-enhance-wear-resistance-minin...

鐵人賽 AI & Data DAY 24

技術 [Day 24] 視覺化圖表的 Dos & Don'ts 1

前面我們看過了有哪些可以挑選更適合的圖表方法,做出更棒的圖表之後,今天我們換個角度來看看再進行圖表的設計與選擇時,有哪些錯誤是應該要避免掉的。 避免使用立體圖...

鐵人賽 AI & Data DAY 20

技術 [Day 20] 購物網站處理詐騙攻擊的方式

在昨天的文章中,我們聊到 Uber 如何使用 RADAR 系統偵測詐騙行為。今天,讓我們再擴大應用場域,看看跟現今生活密不可分的購物網站是如何處理詐騙問題吧!...

鐵人賽 AI & Data DAY 6

技術 [Day 6] Instagram 藉由 Suggested Post,讓用戶「Feels Like Home」

Skylar 一如往常地在滑著 Instagram 時,突然發現在首頁,除了他原本追蹤的帳號以外,也多了一些貼文來自他沒有追蹤的帳號,那些貼文的左上角都寫著「S...

鐵人賽 AI & Data DAY 21
人機結合 數據與學習 系列 第 21

技術 資料庫

人的科技文明發展始終來自於人性 在大數據的世界裡,"資料庫"是一個非常重要的心臟,也是所有一切的根本,而所有的資訊與應用也都建立在資料庫上,...

鐵人賽 AI & Data DAY 18

技術 [Day 18] 資料分布的圖表3 - 地圖

接下來則是資料分佈圖表的最後一篇,就是地理相關的圖表。除了平常常見的氣象相關圖表,例如雨量圖等等,其實還有很多不同的呈現資料分佈的方式,就讓我們來一個一個介紹吧...

鐵人賽 AI & Data DAY 21

技術 [Day 21] 資料產品與 DataOps 原則

今天來細看 DataOps 的原則,盡量會搭配過去實作的經驗一起做說明。 1. 持續地滿足客戶需求 我們最優先的任務是透過及早並持續地交付有價值的分析洞察來滿足...

技術 免費票║AI Experience Worldwide兩日線上全球大會

分享免費線上活動 由DataRobot舉辦,內容與AutoML 與 Advanced Analytics相關 光看邀請到的Keynote Speaker,覺得跟...

鐵人賽 AI & Data DAY 10

技術 [Day 10] 做一個 A/B testing 要如何部署各種版本的 app?以 Uber 為例

經過統計的疲勞轟炸,今天來聊一點輕鬆的內容吧。 Netflix 是一間勇於嘗試、大膽做實驗的公司,無論是廣告、付款方式、給客戶的訊息(例如 email)、聲音及...

鐵人賽 AI & Data DAY 7

技術 [Day 7] 資料產品第三層 - 預測模型

大部分的人對於資料開始產生興趣,不外乎就是因為想要預測未來。 (https://www.livebitcoinnews.com/bitcoin-price-an...

鐵人賽 AI & Data DAY 3

技術 『Day3』Data team 的組成以及資料工程師的角色

團隊的合作方式從古至今總是不斷的演變當中,雖然工程師的歷史並沒有很長,但是變化卻十分快速。就像是網站工程師一般,過去也沒有這麼細分為前端禍後端,常常每個人都是全...

鐵人賽 AI & Data DAY 29

技術 [Day 29] Booking.com 從成功模型中學到的經驗(上)

終於到了鐵人賽的尾聲,在經過一個月、看過各大公司依據不同目的、場景設計的演算法後,我們學到了什麼呢?而每間公司在研發並使用各式各樣的模型後,有沒有什麼珍貴的經驗...

鐵人賽 AI & Data DAY 13

技術 [Day 13] 更貼近消費者需求的購物網站搜尋結果 - Alicoco

國慶連假快到了,Skylar 和 Kristina 預計要去三天兩夜的露營,於是 Skylar 決定在購物網站採購一些露營相關的用具。他拿出事先列好的商品清單,...

鐵人賽 AI & Data DAY 23

技術 [Day 23] 資料產品在設計與開發階段的五個大坑

過了需求訪談後,在設計和開發階段也有要注意的事項。 第一坑 資料不熟悉 當組織規模一大,設計資料產品的人可能需要從其他人的手伸認識資料,這種時候就會發生很多誤解...