技術問答
技術文章
iT 徵才
Tag
聊天室
2023 鐵人賽
登入/註冊
問答
文章
Tag
邦友
鐵人賽
搜尋
2021 iThome 鐵人賽
DAY
27
0
DevOps
中台化轉型
系列 第
27
篇
大數據平台:分散式計算
13th鐵人賽
HO-HSUN
2021-09-27 00:16:04
702 瀏覽
分享至
Spark
支援批次資料、查詢分析、資料流、機器學習及圖處理(Graph Processing),以「彈性分散式資料集(Resilient Distributed Datasets, RDD)支援「資料切片」及「資料回朔」等特點,實現了「記憶體內計算(In-memory computing)」及「流程優化(Processes Optimization)」等功能。
Flink
分散式資料流計算架構,在即時的資料查詢、反詐欺、資料分析、線上模型訓練和業務流程監控等場景,提供毫秒等級的運算滿足業務需求。
Beam
一個分散式計算的通用架構,定義了了資料批次處理和資料流處理的「程式編程接口(Application Programming Interface, API)」統一標準,可以對接 Spark 及 Flink。
PCollection
代表資料及與資料流的資料集,只能唯讀循序讀取,每筆資料都會附加時間戳記(Timestamp)。
PTransform
採用函式語言程式設計(Functional Programming)提高系統的可測試性與平行處理效能。
Pipeline
由 PCollection 以及 PTransform 資料處裡的運算流程圖。
留言
追蹤
檢舉
上一篇
大數據平台:資料倉儲
下一篇
大數據平台:分散式檔案
系列文
中台化轉型
共
30
篇
目錄
RSS系列文
訂閱系列文
6
人訂閱
26
大數據平台:資料倉儲
27
大數據平台:分散式計算
28
大數據平台:分散式檔案
29
大數據平台:訊息中介
30
大數據平台:叢集管理
完整目錄
直播研討會
{{ item.subject }}
{{ item.channelVendor }}
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
1123
組
團體組數
52
組
累計文章數
23096
篇
完賽人數
656
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
看更多
15th鐵人賽
13th鐵人賽
14th鐵人賽
12th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
2018鐵人賽
javascript
2017鐵人賽
python
windows
php
c#
windows server
linux
css
程式設計
react
vue.js
熱門問題
公司有人常常亂改IP位置(想問有甚麼辦法可以將IP鎖住不給更改)
DDR3記憶體 只抓到一半
請問我晚上開發一款工具,早上給公司使用,沒特別條款,法律知識產權還是我的嗎?
和朋友討論不出來 ,關鍵字搜尋方法,我也想學EXCEL了
請教外網如何連到家裡內部裝置
自家官網連線不到 (已解決)
請問公司網路通暢,卻部分固定的使用者無法連到特定網頁 ,求救~~~
API網址列 網址問題
Alma Linux與Rocky Linux,選擇哪一個比較好?
請教各位前輩關於 IT 管理者為 User 重設 AD 帳號的密碼的行政流程
熱門回答
公司有人常常亂改IP位置(想問有甚麼辦法可以將IP鎖住不給更改)
和朋友討論不出來 ,關鍵字搜尋方法,我也想學EXCEL了
DDR3記憶體 只抓到一半
Alma Linux與Rocky Linux,選擇哪一個比較好?
自家官網連線不到 (已解決)
熱門文章
筆電Wifi不見後, 筆電該怎麼上網?
在任何雲端上運行:雲端的可移植性你有考慮過嗎?
量子計算「基礎」3. 量子操作
[C#] Remove Element 解法
FileZilla Server
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}