資料分析正夯,爬蟲大家也都聽過,接下來的幾天我會用實際的範例教大家簡單地爬資料,那這次我選擇了農產品交易行情當實例。
我們選用csv格式當作目標,看到csv 的說明文件,可以知道API 位置跟參數。
接下來,我們可以用download.file() 這個方法來下載網路上的檔案,第一個參數是url,destfile參數是下載後要存放的資料夾路徑,method使用最常用的curl 就可以。
url <- "http://data.coa.gov.tw/Service/OpenData/FromM/FarmTransData.aspx?FOTT=CSV"
download.file(url, destfile = "downloaded/result.csv" , method = "curl")
下載的result.csv 表格。
這樣就完成爬蟲最基本的方法,不過我們下載下來的資料的範圍只有今天當天,下一篇教學會帶大家如何爬取更多歷史資料。
ref
day11原始碼