iT邦幫忙

鐵人檔案

2019 iT 邦幫忙鐵人賽
回列表
AI & Data

AI無法一步登天,讓我們先從專有名詞定義開始。 系列

寫程式講究踏實與深度理解後的融會貫通,本系列文預計分成兩個主要部分:

1. 清楚定位專有名詞:什麼是Data Mining?什麼是Big Data?本系列文不再隨波逐流,將以一道【蘿蔔排骨湯】作為輔助譬喻,清楚說明資料處理的所有步驟,盼能將所有相關專有名詞,分門別類並歸納收斂至一個大家能接受的解釋與說法。更期待未來若有教程,能以此為起點。

2. 以SQL迴圈製作購物籃分析統計資料:首先期許自己以更零距離的方式,教會大家寫SQL迴圈。其次,市面執行購物籃分析,通常已有套件可直接使用;此部分將一步一腳印,以原理說明如何mining出這些數據。往後若尚有空檔,將執行文字雲的底階資料實作。

鐵人鍊成 | 共 31 篇文章 | 107 人訂閱 訂閱系列文 RSS系列文
DAY 21

SQL迴圈實作 -1.慣用寫法

SQL的基本寫法,在此只會簡單帶過,往後的部分,會當作大家已經懂一定程度的資料庫知識和SQL基本語法: select:選取這個table中的欄位 from:從...

2018-10-21 ‧ 由 張小馬~ 分享
DAY 22

SQL迴圈實作 -2.二種迴圈

要製作迴圈,一定要先針對它的定義有共識。常見迴圈有2種不同的架構過程,要知道自己在做的是哪一種。 1. 同樣一套底階資料,同樣一套處理方式,但不同的變數,重複一...

2018-10-22 ‧ 由 張小馬~ 分享
DAY 23

SQL迴圈實作 -3.關聯分析的處理工廠1

以下開始,我們要透過SQL,把購物籃分析的統計值給寫出來。先說明的是,達到目標的寫法不只一種,有時候為了解說方便,我會以比較長但脈絡更清楚的語法製作。 原始資料...

2018-10-23 ‧ 由 張小馬~ 分享
DAY 24

SQL迴圈實作 -4.關聯分析的處理工廠2

0.ithelp_asso_source 要做到購物籃分析,實際上只需要二個欄位: 一、籃子或消費者:兩者的差異在於,籃子是以訂單為主、消費者是以人為主;以訂單...

2018-10-24 ‧ 由 張小馬~ 分享
DAY 25

SQL迴圈實作 -5.關聯分析的處理工廠3

4.ithelp_asso_t4_loopfunction t4要做的事 將t3那串SQL丟進迴圈裡,很明顯的,t3中的編號2和編號6,是t4語法裡,迴圈的變數...

2018-10-25 ‧ 由 張小馬~ 分享
DAY 26

SQL迴圈實作 -6.英文文字雲的處理工廠1

我知道昨天早上文章的收尾是說今天要繼續談內迴圈,然後要做中文文字雲。但經過了重新編排和改寫後,在36小時後的現在決定,為了順序上比較完整、加上讓系列文談到的涵蓋...

2018-10-26 ‧ 由 張小馬~ 分享
DAY 27

SQL迴圈實作 -7.英文文字雲的處理工廠2

今天,我們要一口氣把原始的英文文字,轉成文字雲的底階資料。 步驟說明 對原始資料初步清洗(改成適合mining的長相) 把要分送到不同位置的字串給切開 把要...

2018-10-27 ‧ 由 張小馬~ 分享
DAY 28

SQL迴圈實作 -8.中文文字雲的處理工廠1

文字探勘(Text Mining) 針對data的處理我們稱為data cleansing, data mining;那針對文字的處理,想當然爾,就是text...

2018-10-28 ‧ 由 張小馬~ 分享
DAY 29

SQL迴圈實作 -9.中文文字雲的處理工廠2

0.ithelp_text_mand_source 這次拿來當示範的文章,是「報導者-【普悠瑪18死事故】2通簡訊示警,關鍵53分鐘危機處理待調查」。唉這起事故...

2018-10-29 ‧ 由 張小馬~ 分享
DAY 30

SQL迴圈實作 -10.中文文字雲的處理工廠3

承接前篇,透過寫好的外迴圈程式ithelp_wordcloudmand_2(),得到了ithelp_wordcloudmand_t3_goalwarehouse...

2018-10-30 ‧ 由 張小馬~ 分享