iT邦幫忙

鐵人檔案

2017 iT 邦幫忙鐵人賽
回列表
Big Data

從Data Engineer、Data Architecture到Data Science 系列

今年我因緣際會,得到一個在start up 中建構RTB(Real Time Bidding)的廣告即時競標系統的職位。

而我藉著各種雲端服務的幫助,建構了一套系統對廣告做競標、收集數據、整理數據、與建構機器學習模型。我希望藉著這個機會,記錄今年的收穫。

參賽天數 3 天 | 共 8 篇文章 | 10 人訂閱 訂閱系列文 RSS系列文
DAY 1

序言

今年我因緣際會,得到一個在start up 中建構RTB(Real Time Bidding)的廣告即時競標系統的職位。憑藉著過去的經驗,我一直很期待能依照自己...

2016-12-16 ‧ 由 wush978 分享
DAY 2

資料系統的挑戰 --- 專屬的工程能量

我在剛開始工作時,公司讓一名很忙的工程師與我搭配。主管說:「你就開需求,看要收集什麼資料,讓工程師來收集吧!」 這是很標準的工程面的想法:確定需求、開發、驗收。...

2016-12-17 ‧ 由 wush978 分享
DAY 3

能應付變化的資料格式

在專案進行中,我們需要決定資料格式。 一開始,我們採用json作為資料的傳輸格式。主因是我們串接的SSP也都是使用json作為資料交換的格式,另一個主因則是我們...

2016-12-18 ‧ 由 wush978 分享
DAY 3

第四天就忘記了

今天趕工另一個Open Source Project就忘記了 只好明天再補發兩篇 跟各位讀者說個抱歉...

2016-12-20 ‧ 由 wush978 分享
DAY 3

能應付變化的資料格式(續)

在專案的開始,我們選擇json作為資料的格式後,慢慢的也體驗到這個選擇的問題了。 在其他工具上的效能問題 json雖然在nodejs上非常方便,讀取與寫入的效能...

2016-12-20 ‧ 由 wush978 分享
DAY 3

線上系統與分析系統對數據效能的不同需求

前面兩篇以系統的觀點分享數據系統儲存與傳輸資料的格式。今天我想分享我對數據分析所使用的格式的看法。 以系統的觀點,資料很自然的是一筆一筆做處理的。這是因為系統在...

2016-12-22 ‧ 由 wush978 分享
DAY 3

資料分析所採用的資料格式

數據分析已經是一個悠久的需求,也因此對於數據分析所需的需求,其實也有很多解法了。分析可以分成已知需求的分析與未知需求的分析。前者常常被分類到BI的範疇,而後者則...

2016-12-24 ‧ 由 wush978 分享
DAY 3

機器學習系統需要的資料格式

之前我分享了對於一般線上系統與分析系統對於資料的不同需求,並且針對他們不同的需求,提出我個人認為,在工程資源有限時比較好的選擇。接下來我想拿機器學習系統的需求與...

2016-12-27 ‧ 由 wush978 分享