iT邦幫忙

鐵人檔案

2021 iThome 鐵人賽
回列表
DevOps

中台化轉型 系列

中台是數位化轉型的關鍵系統。
將企業的服務及資料整合,提升創新效率及驅動業績成長,實現數位化轉型的目標。

鐵人鍊成 | 共 30 篇文章 | 6 人訂閱 訂閱系列文 RSS系列文
DAY 21

分散式資料庫:分散式理論

分區容錯性(Partition Tolerance)是分散式資料庫最重要的特性,"BASE理論"以"最終一致性(Eventual...

2021-09-21 ‧ 由 HO-HSUN 分享
DAY 22

分散式資料庫:分散式策略

資料分片(Sharding)選擇適當的架構才能確保可用性及運行效能。 評量要素 均勻分布 組態設定 路由規則 彈性伸縮(Auto Scaling) 遷移成...

2021-09-22 ‧ 由 HO-HSUN 分享
DAY 23

分散式資料庫:一致性協定

基於訊息傳遞的一致性協定,只能保證資料的「最終一致性」,都無法處理「拜占庭将军问题(Byzantine Generals Problem)」 流言(Gossi...

2021-09-23 ‧ 由 HO-HSUN 分享
DAY 24

大數據平台:技術架構 - 相關技術列舉

大數據的價值在於技術的發展與應用,提升資料採擷、儲存及計算能力,才能提升企業核心競爭力。 大數據平台是資料庫系統、機器學習平台的技術支援,NoSQL 和 New...

2021-09-24 ‧ 由 HO-HSUN 分享
DAY 25

大數據平台:分散式協調

分散式系統是解決網際網路業務承載量問題的基本方法,伺服器的記憶體、硬碟故障、伺服器之間的網路線路故障。多個節點間如何就資料一致性問題可以以「Paxos 演算法」...

2021-09-25 ‧ 由 HO-HSUN 分享
DAY 26

大數據平台:資料倉儲

Hive適用於 PB 等級大數據的儲存,分析和查詢,處李日誌分析和用戶行為模型訓練。 SQL 語法支援將查詢語法轉換為「抽象語法樹(Abstract Sy...

2021-09-26 ‧ 由 HO-HSUN 分享
DAY 27

大數據平台:分散式計算

Spark支援批次資料、查詢分析、資料流、機器學習及圖處理(Graph Processing),以「彈性分散式資料集(Resilient Distribut...

2021-09-27 ‧ 由 HO-HSUN 分享
DAY 28

大數據平台:分散式檔案

在網路之上的多個伺服器節點建立了個巨量儲存空間和高吞吐(Throughput)的檔案系統,使用時無須關心檔案的物理儲存方式,可以像使用本地檔案系統一樣管理檔案及...

2021-09-28 ‧ 由 HO-HSUN 分享
DAY 29

大數據平台:訊息中介

訊息佇列(Message Queue)是大數據生態圈中不可或缺的中介軟體,為資訊的生產者(Producer)及生產者(Consumer)間提供了高效的非同步資料...

2021-09-29 ‧ 由 HO-HSUN 分享
DAY 30

大數據平台:叢集管理

YARNYARN(Yet Another Resource Negotiator) 是 Hadoop 生態圈中的叢集管理系統,負責資源管理並具有高度擴展性,...

2021-09-30 ‧ 由 HO-HSUN 分享