iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

2 Like 0 留言 26408 瀏覽

鐵人賽 Cloud、Big Data DAY 14

分散式資料處理，以Stream Computing為例系列第 14 篇

技術 Day 14: Apache Kafka (2)

先來介紹一下Kafka的基本架構吧 (以下圖片都取自Kafka documentation)。基本上Kafka是一個broker的角色，仲介producer與...

ccshih ‧ 2014-10-12

0 Like 0 留言 12051 瀏覽

鐵人賽 Cloud、Big Data DAY 13

分散式資料處理，以Stream Computing為例系列第 13 篇

技術 Day 13: Apache Kafka

Apache Kafka 是一個 Distributed Queue 的實現，很多 Stream Computing 平台都支援 Kafka 作為 data s...

ccshih ‧ 2014-10-11

0 Like 0 留言 9667 瀏覽

鐵人賽 Cloud、Big Data DAY 15

分散式資料處理，以Stream Computing為例系列第 15 篇

技術 Day 15: Apache Kafka (3)

以下是Kafka的設計所帶來的限制： Consumer Group裡的consumer數量不能小於 partition 數量。不然就會有partition裡...

ccshih ‧ 2014-10-13

0 Like 0 留言 7386 瀏覽

鐵人賽 Cloud、Big Data DAY 18

分散式資料處理，以Stream Computing為例系列第 18 篇

技術 Day 18: Apache Kafka 與 Stream Computing

至於為什麼 Kafka 適合搭配 Stream Computing呢？因為 Stream Computing 本質上也是一種可平行處理、易擴充的分散式處理架構...

ccshih ‧ 2014-10-16

0 Like 0 留言 6940 瀏覽

鐵人賽 Cloud、Big Data DAY 16

分散式資料處理，以Stream Computing為例系列第 16 篇

技術 Day 16: Apache Kafka (4)

今天來講一下Kafka的replication機制 Kafka的replication是以partition做單位，方法也很簡單，就是讓replica去訂閱要追...

ccshih ‧ 2014-10-14

1 Like 0 留言 6698 瀏覽

鐵人賽 Modern Web DAY 2

『卡夫卡的藏書閣』- 程序猿必須懂的Kafka開發與實作系列第 2 篇

技術卡夫卡的藏書閣【Book2】- 學習資源介紹和Kafka架構微介紹

居高臨下遠眺百塔之城布拉格的高堡區，卡夫卡的衣冠冢就藏身其中就讓每天一點的卡夫卡陪伴我們熬過這30天的鐵人賽吧 “A book must be the axe...

daniel_ho ‧ 2021-09-16

0 Like 0 留言 6457 瀏覽

鐵人賽 Cloud、Big Data DAY 17

分散式資料處理，以Stream Computing為例系列第 17 篇

技術 Day 17: Apache kafka (5)

啊哈，沒想到Kafka可以寫到第五篇啊... 今天要講的是ack，ack問題在stream computing裡也會遇到，這邊就來先提一下。 stream co...

ccshih ‧ 2014-10-15

0 Like 2 留言 6250 瀏覽

鐵人賽 Modern Web DAY 6

『卡夫卡的藏書閣』- 程序猿必須懂的Kafka開發與實作系列第 6 篇

技術卡夫卡的藏書閣【Book6】- Kafka 實作新增 Topic

IT 這行真的學無止境，理想上可以主動追技術，比被技術追上好“I am free and that is why I am lost.”― Franz Kaf...

daniel_ho ‧ 2021-09-20

2 Like 0 留言 5643 瀏覽

鐵人賽 DevOps DAY 8

其實我真的沒想過只是把服務丟上 kubernetes 就有這麼多問題只好來參加30天分享那些年我怎麼在 kubernetes 上踩雷各項服務系列第 8 篇

技術 Kafka HA 2 - Introduction

Kafka HA on Kubernetes Deploy kafka-ha Kafka Introduction 應用使用 kafka 的設定 kafka...

Che-Chia (David) Chang ‧ 2019-09-23 ‧團隊Kubernetes 帝王 - Bared Director

0 Like 0 留言 5151 瀏覽

鐵人賽 Modern Web DAY 3

『卡夫卡的藏書閣』- 程序猿必須懂的Kafka開發與實作系列第 3 篇

技術卡夫卡的藏書閣【Book3】- Kafka 訊息與主題 Record and Topic

半夜的蘋果發表會，想起了賈伯斯的那句“Stay Hungry. Stay Foolish”“Youth is happy because it has the...

daniel_ho ‧ 2021-09-17

1 Like 1 留言 5018 瀏覽

鐵人賽 DevOps DAY 10

其實我真的沒想過只是把服務丟上 kubernetes 就有這麼多問題只好來參加30天分享那些年我怎麼在 kubernetes 上踩雷各項服務系列第 10 篇

技術 Kafka HA 4 - Run operation scripts

Kafka HA on Kubernetes Deploy kafka-ha Kafka Introduction kafka 基本使用 kafka ope...

Che-Chia (David) Chang ‧ 2019-09-25 ‧團隊Kubernetes 帝王 - Bared Director

2 Like 3 留言 4899 瀏覽

鐵人賽 DevOps DAY 9

其實我真的沒想過只是把服務丟上 kubernetes 就有這麼多問題只好來參加30天分享那些年我怎麼在 kubernetes 上踩雷各項服務系列第 9 篇

技術 Kafka HA 3 - Run a basic app

Kafka HA on Kubernetes Deploy kafka-ha Kafka Introduction kafka 基本使用 kafka uti...

Che-Chia (David) Chang ‧ 2019-09-24 ‧團隊Kubernetes 帝王 - Bared Director

1 Like 0 留言 3933 瀏覽

鐵人賽 DevOps DAY 11

其實我真的沒想過只是把服務丟上 kubernetes 就有這麼多問題只好來參加30天分享那些年我怎麼在 kubernetes 上踩雷各項服務系列第 11 篇

技術 Kafka HA 5 - High Availability Topology

2020 It邦幫忙鐵人賽系列文章 Kafka HA on Kubernetes Deploy kafka-ha Kafka Introduction k...

Che-Chia (David) Chang ‧ 2019-09-26 ‧團隊Kubernetes 帝王 - Bared Director

0 Like 0 留言 3858 瀏覽

鐵人賽 Cloud、Big Data DAY 19

分散式資料處理，以Stream Computing為例系列第 19 篇

技術 Day 19: 分散式資料系統 vs. 科層組織

讓我們用科層組織來類比分散式資料系統，作為分散式資料系統的小節吧。我們從 partition 和 replication 談起，partition 就像科層組...

ccshih ‧ 2014-10-17

2 Like 1 留言 3683 瀏覽

鐵人賽 DevOps DAY 7

其實我真的沒想過只是把服務丟上 kubernetes 就有這麼多問題只好來參加30天分享那些年我怎麼在 kubernetes 上踩雷各項服務系列第 7 篇

技術 Kafka HA 1 - Deployment

Kafka HA on Kubernetes Deploy kafka-ha 應用使用 kafka 的設定 kafka utility scripts, t...

Che-Chia (David) Chang ‧ 2019-09-22 ‧團隊Kubernetes 帝王 - Bared Director

0 Like 0 留言 3443 瀏覽

技術 Kafka 訊息訂閱發布系統簡介 - 完整架構介紹及總結

上次入門篇介紹了針對Kafka做了基本介紹，還沒看過的朋友可以先前往：Kafka 訊息訂閱發布系統簡介 - 入門篇接下來文章將會圖解Kafka的詳細架構、總結...

打工人莎莉 ‧ 2023-04-08

0 Like 0 留言 2835 瀏覽

鐵人賽 Cloud、Big Data DAY 26

分散式資料處理，以Stream Computing為例系列第 26 篇

技術 Day 26: Stream Computing 框架的組成角色

雖然Day 25有提到好幾種Stream Computing框架，但是這些這些框架都有一些共通的組成元素：從角色來看，分成幾組：處理 client 提出...

ccshih ‧ 2014-10-24

1 Like 0 留言 2243 瀏覽

鐵人賽 DevOps DAY 12

其實我真的沒想過只是把服務丟上 kubernetes 就有這麼多問題只好來參加30天分享那些年我怎麼在 kubernetes 上踩雷各項服務系列第 12 篇

技術 Kafka HA 6 - High Avaiability Continued

Kafka HA on Kubernetes Deploy kafka-ha Kafka Introduction kafka 基本使用 kafka oper...

Che-Chia (David) Chang ‧ 2019-09-27 ‧團隊Kubernetes 帝王 - Bared Director

3 Like 0 留言 1932 瀏覽

技術 Kafka 訊息訂閱發布系統簡介 - 入門篇

什麼是Kafka？ Kafka是由Apache軟體基金會開發的一個開源流處理平台，由Scala和Java編寫。該專案的目標是為處理即時資料提供一個統一、高...

打工人莎莉 ‧ 2022-12-15

0 Like 0 留言 1843 瀏覽

鐵人賽自我挑戰組 DAY 17

淺入淺出分散式儲存系列第 17 篇

技術 Day17 Middleware - Kafka & Redis

Kafka 簡單來說，我們可以稱後端和後端之間溝通的橋樑稱為Middleware，就如我們的Lab，API層與Data層溝通的橋樑，我們使用的是Kafka這種單...

kaichiaboy ‧ 2021-09-17

1 Like 0 留言 1173 瀏覽

技術讓API 返回 Kafka- producer.send 事件 use Promise

這邊使用的是nodejs(egg)一張圖簡介一下 ELK+kafka做什麼用 (用於數據分析,log分析)kafka 用做數據寫入前的緩衝佇列ES 數據最後寫入...

nlstudio ‧ 2021-07-08

0 Like 0 留言 959 瀏覽

鐵人賽 Software Development DAY 12

每天罵爆一隻 Kafka Pull Request 系列第 12 篇

技術 KAFKA-17540: Create floating tag on trunk for CI cache

https://github.com/apache/kafka/pull/17204 背景故事今天我們來聊聊 Kafka CI，參與過 Apache 專案的開...

chia7712 ‧ 2024-09-26 ‧團隊os4y00

0 Like 0 留言 854 瀏覽

鐵人賽 Software Development DAY 30

每天罵爆一隻 Kafka Pull Request 系列第 30 篇

技術 [ANNOUNCE] New Kafka PMC Member: Chia-Ping Tsai

https://lists.apache.org/thread/w507tzzfvopjyl1tplt523jq3ntqdohz 最後一篇來回憶一下成為comm...

chia7712 ‧ 2024-10-14 ‧團隊os4y00

0 Like 0 留言 588 瀏覽

技術 Kafka UI Filter 客製化以JsonArray舉例

Kafka UI 是一個open source的 kafka UI 介面工具．主要是可以讓你查看Kakfa內各topic狀態、partition內資料訊息內容....

嫩嫩的EveryEnd工程師 ‧ 2024-07-25

0 Like 0 留言 586 瀏覽

鐵人賽 Software Development DAY 9

每天罵爆一隻 Kafka Pull Request 系列第 9 篇

技術 KAFKA-17459 Stabalize reassign_partitions_test.py

https://issues.apache.org/jira/browse/KAFKA-17459 故事背景 Kafka為了降低使用者對分散式系統的恐懼，因此以...

chia7712 ‧ 2024-09-23 ‧團隊os4y00

0 Like 0 留言 526 瀏覽

鐵人賽 Software Development DAY 19

每天罵爆一隻 Kafka Pull Request 系列第 19 篇

技術 KAFKA-17613 Remove ZK migration code

https://github.com/apache/kafka/pull/17293 背景故事今天颱風攜風帶雨而來，但我卻忍不住想起一個關於告別的故事。很久...

chia7712 ‧ 2024-10-03 ‧團隊os4y00

0 Like 0 留言 469 瀏覽

鐵人賽 Software Development DAY 17

每天罵爆一隻 Kafka Pull Request 系列第 17 篇

技術 KAFKA-12895 KIP-751: Drop support for Scala 2.12 in Kafka 4.0 (deprecate in 3.0) part 2

https://github.com/apache/kafka/pull/17313#discussion_r1781495806 背景故事今天延續上一篇的文...

chia7712 ‧ 2024-10-01 ‧團隊os4y00

2 Like 0 留言 458 瀏覽

鐵人賽 Software Development DAY 1

每天罵爆一隻 Kafka Pull Request 系列第 1 篇

技術 KAFKA-15859 Make RemoteListOffsets call an async operation

JiraPull Request 故事背景 KIP-405引入了 Remote storage 讓偉大的 Kafka 再次偉大， Remote storage...

chia7712 ‧ 2024-09-15 ‧團隊os4y00

0 Like 0 留言 447 瀏覽

鐵人賽 Software Development DAY 18

每天罵爆一隻 Kafka Pull Request 系列第 18 篇

技術 KAFKA-17589 Move JUnit extensions to test-common module

https://github.com/apache/kafka/pull/17318 背景故事今天來講講Gradle的建置優化，大家手上有沒有肥嫩嫩到睡醒都還...

chia7712 ‧ 2024-10-02 ‧團隊os4y00

0 Like 0 留言 383 瀏覽

鐵人賽 Software Development DAY 22

用 Airflow & Flink 來開發 ETL 吧系列第 22 篇

技術來寫一個 Flink Streaming Job 吧 - Day22

前面講了一些基本概念，我們來看一個比較完整的案例吧講到 Streaming，有一個很好用的工具叫 Kafka，應該也是大多數工程師或公司會用的工具。所以我們來...

kaihg1028 ‧ 2023-09-22 ‧團隊今天截止日