技術文章
技術問答
My Project
iT 徵才
聊天室
2026 鐵人賽
登入/註冊
文章
問答
Tag
邦友
鐵人賽
搜尋
第 12 屆 iThome 鐵人賽
DAY
22
1
IoT
手拉手教自己用樹梅派、GoogleHome、GCP做一個AI智慧提醒機器人!
系列 第
22
篇
Day22 Dataprep
12th鐵人賽
A Li
2020-10-07 13:01:34
1284 瀏覽
分享至
Dataprep本身是google GCP與Trifacta提供的服務,著重於資料
Visually Exploring
Cleaning
Preparing structured and unstructured data for analysis, reporting, and machine learning.
首先進GCP搜尋Dataprep,
右上有提供主要的兩個服務
import data : 負責導入資料
create flow : 讓你設計資料的處理與流程
第一步import data 提供三種方式
upload : 本地上傳。
GCS : 可以使用firebase storage內的檔案。
Big Query : 可以使用big query內的檔案。
下一步使用creat flow
點擊右側,使用library 加入你已import的data
產生data後,點擊他右側的+號:
add new recipe : 資料處理。
add join : 進行不同欄位合併。
add union : 進行同欄位資料增加。
進行 edit recipe
會出現key與另一欄位,key會記錄專案名稱及路徑而另一欄位為document資訊,點擊後進行unnest及名稱修改即可產生如下圖:
之後依您需求進行join及union,之後進recipe右上即可執行run job,點擊action可改變產生得檔案
這邊我選擇進行產生json,再進行run job即可。
留言
追蹤
檢舉
上一篇
Day21 導出firebase資料(using dataflow)
下一篇
Day23 sql查詢指令
系列文
手拉手教自己用樹梅派、GoogleHome、GCP做一個AI智慧提醒機器人!
共
30
篇
目錄
RSS系列文
訂閱系列文
6
人訂閱
26
Day 26 我們來寫個網頁吧(Angular)
27
Day27 firbase hosting
28
Day28 firebase authentication
29
Day29 利用web發送訊息(上)
30
Day30 利用web發送訊息(下)
完整目錄
熱門推薦
{{ item.subject }}
{{ item.channelVendor }}
|
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
929
組
團體組數
32
組
累計文章數
13356
篇
完賽人數
159
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
15th鐵人賽
16th鐵人賽
13th鐵人賽
17th鐵人賽
14th鐵人賽
12th鐵人賽
18th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
linux
windows server
css
熱門問題
六個語言的 README,要一比一翻完整,還是只寫到「裝得起來」就好?
「相容 MySQL 協議」的引擎,你們是怎麼做能力偵測的?我們試了 42 種,結論有點慘
本地跑模型做評測,你們是怎麼給 context 長度設上限的?我們沒設,7.1 GB 的模型吃掉了 51 GB
熱門回答
六個語言的 README,要一比一翻完整,還是只寫到「裝得起來」就好?
本地跑模型做評測,你們是怎麼給 context 長度設上限的?我們沒設,7.1 GB 的模型吃掉了 51 GB
熱門文章
用 Gemini 打造《智數 Sudoku Master》網頁數獨:能推理、能拍照解答的科技結晶,只有一處美中不足?
桌面、手機、網站都要接 OAuth2 登入,能用同一套嗎?
密碼學基礎複習:Hash、非對稱加密與數位簽章在區塊鏈的應用
講到 IT 監控,你一定聽過 SolarWinds--但你真的了解它在做些什麼嗎?
Want_To_Cry勒索病毒 處理歷程(預防下一次?)
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}