iT邦幫忙

鐵人檔案

2019 iT 邦幫忙鐵人賽
回列表
AI & Data

AI無法一步登天,讓我們先從專有名詞定義開始。 系列

寫程式講究踏實與深度理解後的融會貫通,本系列文預計分成兩個主要部分:

1. 清楚定位專有名詞:什麼是Data Mining?什麼是Big Data?本系列文不再隨波逐流,將以一道【蘿蔔排骨湯】作為輔助譬喻,清楚說明資料處理的所有步驟,盼能將所有相關專有名詞,分門別類並歸納收斂至一個大家能接受的解釋與說法。更期待未來若有教程,能以此為起點。

2. 以SQL迴圈製作購物籃分析統計資料:首先期許自己以更零距離的方式,教會大家寫SQL迴圈。其次,市面執行購物籃分析,通常已有套件可直接使用;此部分將一步一腳印,以原理說明如何mining出這些數據。往後若尚有空檔,將執行文字雲的底階資料實作。

鐵人鍊成 | 共 31 篇文章 | 107 人訂閱 訂閱系列文 RSS系列文
DAY 1

前言

近年來資料科學興起,一堆看似很厲害的專有名詞:大數據(Big Data)、資料採礦(Data Mining)、人工智慧(A.I. Artificial Inte...

2018-10-01 ‧ 由 張小馬~ 分享
DAY 2

基本框架

資料收集與處理過程 本系列文有什麼營養嗎? 前20天會針對主題【專有名詞定義】去說明 後10天會以SQL迴圈做出【購物籃分析所需的統計值】和【文字雲所需的...

2018-10-02 ‧ 由 張小馬~ 分享
DAY 3

資料匯入(Data EL)

步驟B-1:資料匯入(Data EL) 將完整的原始食材送到同一個地方,將資料送到同一個地方。 資料匯入、資料傳輸、資料運送,至今仍沒有一個廣為人使用的中文...

2018-10-03 ‧ 由 張小馬~ 分享
DAY 4

資料清洗(Data Cleansing)

步驟B-2:資料清洗(Data Cleansing) 清洗是非常重要的,不管是對豬、蘿蔔,還是資料。 先別說客人喝蘿蔔排骨湯的時候咬到泥土,下湯時泥土就會把...

2018-10-04 ‧ 由 張小馬~ 分享
DAY 5

資料採礦(Data Mining) -1.定義

步驟B-3:資料採礦(Data Mining) 備料,不是烹飪食材的過程,而是烹飪食材前的步驟。採礦,不是雕琢原石的過程,而是雕琢原石前的步驟。 因為是觀念...

2018-10-05 ‧ 由 張小馬~ 分享
DAY 6

資料採礦(Data Mining) -2.實例

今天實際舉例會寫到SQL,必須先說明一下...... 資料庫中的資料是成千上萬...上百萬筆,而不是如下僅10筆的sample data,往後小馬只要寫到程...

2018-10-06 ‧ 由 張小馬~ 分享
DAY 7

資料採礦(Data Mining) -3.推薦商品

「推薦商品」背後的運作原理是什麼呢? 當你瀏覽網站,瀏覽過程,網頁下方會跳出【你可能會喜歡】、【其他人也瀏覽了...】、【推薦商品】、【熱銷商品】;或是去七...

2018-10-07 ‧ 由 張小馬~ 分享
DAY 8

資料採礦(Data Mining) -4.小結

「資料採礦(Data Mining)」今已談到第四天,應能明顯區別出來,它並不是資料清洗,因為並沒有特別針對【不可用資料】有任何進一步的處理,甚至它【每一筆資料...

2018-10-08 ‧ 由 張小馬~ 分享
DAY 9

資料分析(Data Analysis) -1.定義

步驟B-4:資料分析(Data Analysis) 針對【清洗乾淨且依照料理所需準備的食材】做料理針對【清洗乾淨且依照分析需求做出的資料】做分析 終於,我們...

2018-10-09 ‧ 由 張小馬~ 分享
DAY 10

資料分析(Data Analysis) -2.分群(分類)

簡單說明一下不同的分析方法,讓初心者明白其中差別。再次重申,本系列文著重在名詞解釋,故以下不會細談實作。 用會員分群做舉例。 1. 分類分析(Classific...

2018-10-10 ‧ 由 張小馬~ 分享