iT邦幫忙

第 11 屆 iThome 鐵人賽

DAY 23
0
Google Developers Machine Learning

Google ML 菜鳥日記系列 第 23

Google ML日記 23(Apache beam做Lab&網截說明

  • 分享至 

  • xImage
  •  

不知道在幹嘛的一天
看看行程,可以預想到連假會有多懷疑人生了。


關於各種還沒做就爆掉的Lab之 提醒:Coursera和qwiklabs都要看,不然可能和我一樣不是東漏西漏就是不知道在衝x小ㄛ!
沒 要有氣質。
不過說真,只看Lab操作蠻容易不知道自己在幹嘛,而只看影片的話又有點容易漏東西(#
ㄜ 或是只有我有這個問題?(咦
好ㄉ 反正就是做完Apache beam然後還是不知道那是什麼的廢物日子。然後我就去爬文ㄌ!(・∀・)
https://blog.gcp.expert/apache-beam-dataflow/
然後...然後 我明天再讀好惹。就算混至少也要讀個歐趴(超廢orz
各位學生們讀書加油R


關於Apache beam

1.統一處理 batch 資料及 streaming 資料
2.能在任何 engine 上運行
這些為數據提供了統一的模型,同時包含資料提取、資料處理、資料整合。為了整合這些實作,Apache Beam 設計了 The Dataflow SDK (如圖二),整合目前市面上的所有大數據工具,無論是想使用MapReduce做batch檔案的處理、還是使用 Spark 處理 streaming 檔案都沒有關係。因為您只需專注於撰寫好 pipeline,在最後 runtime 執行時,選擇任何一款:Flink, Spark, Pipeline, Google Cloud Dataflow 都可以。

Pipeline 第一 ‧ Runtime 第二:您僅需要專注於 Dataflow SDK。
可攜性:可在跨 runtime 之間攜帶,增加擴充性。
統一整合的模型:batch 資料與 streaming 資料都可以使用。
開發者工具:都是開發者導向的工具,包含程式庫(libraries)、開源工具等。
其中 pipeline為一個資料管線,該管線由一組可以讀取輸入的數據源,轉換數據(data transformation)以及輸出結果的操作所組成。管線中的數據和變換對於該管線是唯一的,並且屬於該管線。您的程序可以創建多個管線,但這些管線不能共享數據或轉換。

from上面網址


好ㄉ 結果發完考卷英文萬年5X分,數學三角函數爆掉。(悽慘
好像大部分人是明天考,加油啊!

然後 乾 文稿要用完ㄌ然後又撞一堆事情,完蛋
祝我最後幾天順利啊啊啊

(難得千字 ((廢


上一篇
Google ML日記22(很多很多事aka碎碎念
下一篇
Google ML日記 24(最後一篇課程心得
系列文
Google ML 菜鳥日記30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言