iT邦幫忙

第 12 屆 iThome 鐵人賽

DAY 22
1

Dataprep本身是google GCP與Trifacta提供的服務,著重於資料

  • Visually Exploring
  • Cleaning
  • Preparing structured and unstructured data for analysis, reporting, and machine learning.
    首先進GCP搜尋Dataprep,

    右上有提供主要的兩個服務
  • import data : 負責導入資料
  • create flow : 讓你設計資料的處理與流程

    第一步import data 提供三種方式
  • upload : 本地上傳。
  • GCS : 可以使用firebase storage內的檔案。
  • Big Query : 可以使用big query內的檔案。

    下一步使用creat flow

    點擊右側,使用library 加入你已import的data

    產生data後,點擊他右側的+號:
  • add new recipe : 資料處理。
  • add join : 進行不同欄位合併。
  • add union : 進行同欄位資料增加。

    進行 edit recipe

    會出現key與另一欄位,key會記錄專案名稱及路徑而另一欄位為document資訊,點擊後進行unnest及名稱修改即可產生如下圖:

    之後依您需求進行join及union,之後進recipe右上即可執行run job,點擊action可改變產生得檔案

    這邊我選擇進行產生json,再進行run job即可。

上一篇
Day21 導出firebase資料(using dataflow)
下一篇
Day23 sql查詢指令
系列文
手拉手教自己用樹梅派、GoogleHome、GCP做一個AI智慧提醒機器人!30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言