iT邦幫忙

第 12 屆 iThome 鐵人賽

DAY 7
1
AI & Data

門外漢通識:資料科學無痛入門磚系列 第 7

Power Query 實務應用 #筆記一

  • 分享至 

  • xImage
  •  

前幾天介紹完了 Power Pivot、Power View,今天要進入 Power Query 的簡介。舊版(2013 以前的版本)Excel 需要上網下載安裝 (https://www.microsoft.com/zh-TW/download/details.aspx?id=39379 )才能使用 Power Query,2016 版就變成內建功能,放在索引標籤底下,不需要安裝就能直接啟用。Power Query 有哪些用途呢?主要有以下幾項:

  • 多面向資料的收集:各種平台的資料可以直接匯入
  • 分散式資料表的整合
  • 資料型態的調整與設定
  • 資料行分割與合併
  • 資料表結構正規化

Power Query 的資料來源,必須要是資料庫型態的結構,包含網路上公開資料(如政府開放資料,房屋實價登錄)、CSV 檔案、文字檔、Excel 活頁簿、資料夾中多個檔案做整合、關連式資料庫、網路上資料 Web (Json)、Facebook… 等,都可以進來。

如果想用 Excel 活頁簿的資料開始處理,這篇文章會用 2016 版來做簡介。先打開空白活頁簿,找到資料索引標籤中「新查詢」(2013 以前的舊版,Power Query 會是一個和資料這個索引標籤平起平坐的新索引標籤),選從檔案 ➪ 從活頁簿 ➪ 點選我們要的檔案。如果我們的檔案有多張資料表、也都想要匯入,在導覽器中要點選「選取多個項目」,把我們要的資料表勾起來 ➪ 編輯,就可以看到資料表們的內容。要注意的是,Power Query 不能建立資料表之間的關連,如果想建立必須丟到 Power Pivot 去處理。逐一調整後,按左上的「關閉並匯入」,實體的資料表就跑到前台了,產生多個獨立存在的查詢(有幾個就端視我們前面勾選了幾張資料表);這時資料表之間沒有關連,想要建立的話,點 Power Pivot 的「加入至資料模型」,把我們想要建立關連的資料表一個個加進去。

以前檔案如果在資料夾裡,幾乎都要用複製貼上來操作,超麻煩又費時,而 Power Query 能夠自動化這些流程,幾十個資料庫的匯入瞬間變得相當方便又人性化,但前提是每個資料庫的結構都要相同;如果不相同的話,只會處理有相同的欄位,不相同的會留成空白。匯入資料操作的方式稍有不同,資料索引標籤中「新查詢」 ➪ 從檔案 ➪ 從資料夾 ➪ 瀏覽 ➪ 點選我們要的資料夾 ➪ 確定,接著看到頁面中最左邊第一個 Column「Content」的右邊有個小小雙箭頭按鈕,點下去後就會把六個檔案自動匯入、且完成整合,成為大型資料庫,讓我們能進行後續處理。右側的「查詢設定」可以在屬性重新設定查詢的名稱,底下的查詢步驟也能修改或檢視前面的步驟,左側的程式碼(M 語言)展開後可收集做後續運用。左側查詢的導覽窗格可以看到查詢項目,正規化的步驟就在右側了,如果資料中有些 Column 是我們不需要的,點選後按上方「移除資料行」就能把它們拿掉,刪錯的話右側的步驟欄位裡,把「已移除資料行」點叉叉就能復原原來的資料行啦~


上一篇
Power View 實務應用 #筆記
下一篇
Power Query 實務應用 #筆記二
系列文
門外漢通識:資料科學無痛入門磚30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言