技術問答
技術文章
iT 徵才
Tag
聊天室
2024 鐵人賽
登入/註冊
問答
文章
Tag
邦友
鐵人賽
搜尋
2021 iThome 鐵人賽
DAY
27
0
DevOps
中台化轉型
系列 第
27
篇
大數據平台:分散式計算
13th鐵人賽
HO-HSUN
2021-09-27 00:16:04
778 瀏覽
分享至
Spark
支援批次資料、查詢分析、資料流、機器學習及圖處理(Graph Processing),以「彈性分散式資料集(Resilient Distributed Datasets, RDD)支援「資料切片」及「資料回朔」等特點,實現了「記憶體內計算(In-memory computing)」及「流程優化(Processes Optimization)」等功能。
Flink
分散式資料流計算架構,在即時的資料查詢、反詐欺、資料分析、線上模型訓練和業務流程監控等場景,提供毫秒等級的運算滿足業務需求。
Beam
一個分散式計算的通用架構,定義了了資料批次處理和資料流處理的「程式編程接口(Application Programming Interface, API)」統一標準,可以對接 Spark 及 Flink。
PCollection
代表資料及與資料流的資料集,只能唯讀循序讀取,每筆資料都會附加時間戳記(Timestamp)。
PTransform
採用函式語言程式設計(Functional Programming)提高系統的可測試性與平行處理效能。
Pipeline
由 PCollection 以及 PTransform 資料處裡的運算流程圖。
留言
追蹤
檢舉
上一篇
大數據平台:資料倉儲
下一篇
大數據平台:分散式檔案
系列文
中台化轉型
共
30
篇
目錄
RSS系列文
訂閱系列文
6
人訂閱
26
大數據平台:資料倉儲
27
大數據平台:分散式計算
28
大數據平台:分散式檔案
29
大數據平台:訊息中介
30
大數據平台:叢集管理
完整目錄
直播研討會
{{ item.subject }}
{{ item.channelVendor }}
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
1064
組
團體組數
40
組
累計文章數
22183
篇
完賽人數
597
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
看更多
15th鐵人賽
16th鐵人賽
13th鐵人賽
14th鐵人賽
12th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
windows server
linux
css
react
vue.js
熱門問題
請教舊電腦架網站的防護措施
qr code生成多功能系統
如何用指令自動偵測有插網線的網卡IP
administrators群組成員的管理員權限不見
JS 是否可以匯入「.xls」
請示ip位置的問題
大量寄信伺服器詢問
Web Application 與Web Service 的差異
AB兩點網路使用LTE數據機做連接
如何自製搜尋引擎
熱門回答
請教舊電腦架網站的防護措施
administrators群組成員的管理員權限不見
AB兩點網路使用LTE數據機做連接
JS 是否可以匯入「.xls」
如何讓在中國的同事可以穩定的使用台灣總部的系統服務
熱門文章
Python 中的控制流:讓程式更靈活
Win11 24H2 終於對 NTLM 動手了(感動
Microservice Pattern 犧牲了什麼?
卷 31:iThome 鐵人賽寫作攻略——新手必看指南
Python for in 迴圈與 Tuple 解構
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}