iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 0 留言 110 瀏覽

鐵人賽 Software Development DAY 6

每天罵爆一隻 Kafka Pull Request 系列第 6 篇

技術 KAFKA-17505 New consumer seekToBeginning/End should run in background thread

https://issues.apache.org/jira/browse/KAFKA-17505 背景故事今天我們來聊聊 Consumer 三個用來調整 o...

chia7712 ‧ 2024-09-20 ‧團隊os4y00

0 Like 0 留言 144 瀏覽

鐵人賽 Software Development DAY 5

每天罵爆一隻 Kafka Pull Request 系列第 5 篇

技術 KIP-1090 Flaky Test Management

https://lists.apache.org/thread/d4r4g9hqfmwpckdk9j01n7dh5y25j11n 背景故事俗話說的好人在江湖走...

chia7712 ‧ 2024-09-19 ‧團隊os4y00

0 Like 0 留言 203 瀏覽

鐵人賽 Software Development DAY 4

每天罵爆一隻 Kafka Pull Request 系列第 4 篇

技術 KAFKA-17492 skip features with minVersion of 0 instead of replacing 0 with 1

https://github.com/apache/kafka/pull/17128 背景故事相信每個 Kafka 的重度使用者都遇過 rolling upg...

chia7712 ‧ 2024-09-18 ‧團隊os4y00

1 Like 0 留言 135 瀏覽

鐵人賽 Software Development DAY 3

每天罵爆一隻 Kafka Pull Request 系列第 3 篇

技術 KAFKA-17066 new consumer updateFetchPositions all in background thread

Pull Request: https://github.com/apache/kafka/pull/16885 背景故事 Kafka Consumer 曾經帶...

chia7712 ‧ 2024-09-17 ‧團隊os4y00

0 Like 0 留言 217 瀏覽

鐵人賽 Software Development DAY 2

每天罵爆一隻 Kafka Pull Request 系列第 2 篇

技術 KIP-1064: Upgrade slf4j to 2.x

https://cwiki.apache.org/confluence/plugins/servlet/mobile?contentId=311627137#c...

chia7712 ‧ 2024-09-16 ‧團隊os4y00

2 Like 0 留言 397 瀏覽

鐵人賽 Software Development DAY 1

每天罵爆一隻 Kafka Pull Request 系列第 1 篇

技術 KAFKA-15859 Make RemoteListOffsets call an async operation

JiraPull Request 故事背景 KIP-405引入了 Remote storage 讓偉大的 Kafka 再次偉大， Remote storage...

chia7712 ‧ 2024-09-15 ‧團隊os4y00

0 Like 0 留言 199 瀏覽

鐵人賽 Software Development DAY 25

30 天系統設計學習筆記：建立思考的 SOP 系列第 25 篇

技術 [Day 25] Message Queue (三)

昨天介紹了 Message Queue 的基本功能與架構, 今天繼續介紹在此之上延伸出更具擴展性的 Event Streaming Platform (ESP)...

erichung0404 ‧ 2024-08-25

0 Like 0 留言 149 瀏覽

鐵人賽 Software Development DAY 23

30 天系統設計學習筆記：建立思考的 SOP 系列第 23 篇

技術 [Day 23] Message Queue (一)

我們已經擴展了外部和內部的 API Service, 透過均衡負載器分散流量給每一個伺服器, 可以說我們透過均衡負載器將外部服務和內部服務 "解...

erichung0404 ‧ 2024-08-23

0 Like 0 留言 258 瀏覽

鐵人賽 Software Development DAY 21

從實戰中學習：Take Home Assignment review & refactor 系列第 21 篇

技術 [Day 21] 作業4：Bitcoin Trading Bot Design - 設計文件 review

Bitcoin Trading Bot Design - 設計文件 review 今天來reviewBitcoin Trading Bot Design 設計文...

Moscle.dev ‧ 2023-10-05

0 Like 0 留言 340 瀏覽

鐵人賽 Software Development DAY 22

用 Airflow & Flink 來開發 ETL 吧系列第 22 篇

技術來寫一個 Flink Streaming Job 吧 - Day22

前面講了一些基本概念，我們來看一個比較完整的案例吧講到 Streaming，有一個很好用的工具叫 Kafka，應該也是大多數工程師或公司會用的工具。所以我們來...

kaihg1028 ‧ 2023-09-22 ‧團隊今天截止日

0 Like 0 留言 283 瀏覽

鐵人賽 Software Development DAY 4

C++ 實務基礎經驗系列第 10 篇

技術第三方套件 librdkafka

第三方套件 librdkafka 今天來介紹kafka的客戶端函式庫，kafka是個提供高效一致性的消息隊列平台。環境環境需要建立一個kafka的環境(使用...

steven715 ‧ 2023-09-18

0 Like 0 留言 3278 瀏覽

技術 Kafka 訊息訂閱發布系統簡介 - 完整架構介紹及總結

上次入門篇介紹了針對Kafka做了基本介紹，還沒看過的朋友可以先前往：Kafka 訊息訂閱發布系統簡介 - 入門篇接下來文章將會圖解Kafka的詳細架構、總結...

打工人莎莉 ‧ 2023-04-08

0 Like 0 留言 526 瀏覽

技術 Kafka UI Filter 客製化以JsonArray舉例

Kafka UI 是一個open source的 kafka UI 介面工具．主要是可以讓你查看Kakfa內各topic狀態、partition內資料訊息內容....

嫩嫩的EveryEnd工程師 ‧ 2024-07-25

3 Like 0 留言 1873 瀏覽

技術 Kafka 訊息訂閱發布系統簡介 - 入門篇

什麼是Kafka？ Kafka是由Apache軟體基金會開發的一個開源流處理平台，由Scala和Java編寫。該專案的目標是為處理即時資料提供一個統一、高...

打工人莎莉 ‧ 2022-12-15

0 Like 2 留言 6116 瀏覽

鐵人賽 Modern Web DAY 6

『卡夫卡的藏書閣』- 程序猿必須懂的Kafka開發與實作系列第 6 篇

技術卡夫卡的藏書閣【Book6】- Kafka 實作新增 Topic

IT 這行真的學無止境，理想上可以主動追技術，比被技術追上好“I am free and that is why I am lost.”― Franz Kaf...

daniel_ho ‧ 2021-09-20

0 Like 0 留言 4986 瀏覽

鐵人賽 Modern Web DAY 3

『卡夫卡的藏書閣』- 程序猿必須懂的Kafka開發與實作系列第 3 篇

技術卡夫卡的藏書閣【Book3】- Kafka 訊息與主題 Record and Topic

半夜的蘋果發表會，想起了賈伯斯的那句“Stay Hungry. Stay Foolish”“Youth is happy because it has the...

daniel_ho ‧ 2021-09-17

0 Like 0 留言 1795 瀏覽

鐵人賽自我挑戰組 DAY 17

淺入淺出分散式儲存系列第 17 篇

技術 Day17 Middleware - Kafka & Redis

Kafka 簡單來說，我們可以稱後端和後端之間溝通的橋樑稱為Middleware，就如我們的Lab，API層與Data層溝通的橋樑，我們使用的是Kafka這種單...

kaichiaboy ‧ 2021-09-17

1 Like 0 留言 6489 瀏覽

鐵人賽 Modern Web DAY 2

『卡夫卡的藏書閣』- 程序猿必須懂的Kafka開發與實作系列第 2 篇

技術卡夫卡的藏書閣【Book2】- 學習資源介紹和Kafka架構微介紹

居高臨下遠眺百塔之城布拉格的高堡區，卡夫卡的衣冠冢就藏身其中就讓每天一點的卡夫卡陪伴我們熬過這30天的鐵人賽吧 “A book must be the axe...

daniel_ho ‧ 2021-09-16

1 Like 0 留言 1159 瀏覽

技術讓API 返回 Kafka- producer.send 事件 use Promise

這邊使用的是nodejs(egg)一張圖簡介一下 ELK+kafka做什麼用 (用於數據分析,log分析)kafka 用做數據寫入前的緩衝佇列ES 數據最後寫入...

nlstudio ‧ 2021-07-08

1 Like 0 留言 2214 瀏覽

鐵人賽 DevOps DAY 12

其實我真的沒想過只是把服務丟上 kubernetes 就有這麼多問題只好來參加30天分享那些年我怎麼在 kubernetes 上踩雷各項服務系列第 12 篇

技術 Kafka HA 6 - High Avaiability Continued

Kafka HA on Kubernetes Deploy kafka-ha Kafka Introduction kafka 基本使用 kafka oper...

Che-Chia (David) Chang ‧ 2019-09-27 ‧團隊Kubernetes 帝王 - Bared Director

1 Like 0 留言 3903 瀏覽

鐵人賽 DevOps DAY 11

其實我真的沒想過只是把服務丟上 kubernetes 就有這麼多問題只好來參加30天分享那些年我怎麼在 kubernetes 上踩雷各項服務系列第 11 篇

技術 Kafka HA 5 - High Availability Topology

2020 It邦幫忙鐵人賽系列文章 Kafka HA on Kubernetes Deploy kafka-ha Kafka Introduction k...

Che-Chia (David) Chang ‧ 2019-09-26 ‧團隊Kubernetes 帝王 - Bared Director

1 Like 1 留言 4968 瀏覽

鐵人賽 DevOps DAY 10

其實我真的沒想過只是把服務丟上 kubernetes 就有這麼多問題只好來參加30天分享那些年我怎麼在 kubernetes 上踩雷各項服務系列第 10 篇

技術 Kafka HA 4 - Run operation scripts

Kafka HA on Kubernetes Deploy kafka-ha Kafka Introduction kafka 基本使用 kafka ope...

Che-Chia (David) Chang ‧ 2019-09-25 ‧團隊Kubernetes 帝王 - Bared Director

2 Like 3 留言 4853 瀏覽

鐵人賽 DevOps DAY 9

其實我真的沒想過只是把服務丟上 kubernetes 就有這麼多問題只好來參加30天分享那些年我怎麼在 kubernetes 上踩雷各項服務系列第 9 篇

技術 Kafka HA 3 - Run a basic app

Kafka HA on Kubernetes Deploy kafka-ha Kafka Introduction kafka 基本使用 kafka uti...

Che-Chia (David) Chang ‧ 2019-09-24 ‧團隊Kubernetes 帝王 - Bared Director

2 Like 0 留言 5609 瀏覽

鐵人賽 DevOps DAY 8

其實我真的沒想過只是把服務丟上 kubernetes 就有這麼多問題只好來參加30天分享那些年我怎麼在 kubernetes 上踩雷各項服務系列第 8 篇

技術 Kafka HA 2 - Introduction

Kafka HA on Kubernetes Deploy kafka-ha Kafka Introduction 應用使用 kafka 的設定 kafka...

Che-Chia (David) Chang ‧ 2019-09-23 ‧團隊Kubernetes 帝王 - Bared Director

2 Like 1 留言 3651 瀏覽

鐵人賽 DevOps DAY 7

其實我真的沒想過只是把服務丟上 kubernetes 就有這麼多問題只好來參加30天分享那些年我怎麼在 kubernetes 上踩雷各項服務系列第 7 篇

技術 Kafka HA 1 - Deployment

Kafka HA on Kubernetes Deploy kafka-ha 應用使用 kafka 的設定 kafka utility scripts, t...

Che-Chia (David) Chang ‧ 2019-09-22 ‧團隊Kubernetes 帝王 - Bared Director

0 Like 0 留言 2822 瀏覽

鐵人賽 Cloud、Big Data DAY 26

分散式資料處理，以Stream Computing為例系列第 26 篇

技術 Day 26: Stream Computing 框架的組成角色

雖然Day 25有提到好幾種Stream Computing框架，但是這些這些框架都有一些共通的組成元素：從角色來看，分成幾組：處理 client 提出...

ccshih ‧ 2014-10-24

0 Like 0 留言 3833 瀏覽

鐵人賽 Cloud、Big Data DAY 19

分散式資料處理，以Stream Computing為例系列第 19 篇

技術 Day 19: 分散式資料系統 vs. 科層組織

讓我們用科層組織來類比分散式資料系統，作為分散式資料系統的小節吧。我們從 partition 和 replication 談起，partition 就像科層組...

ccshih ‧ 2014-10-17

0 Like 0 留言 7348 瀏覽

鐵人賽 Cloud、Big Data DAY 18

分散式資料處理，以Stream Computing為例系列第 18 篇

技術 Day 18: Apache Kafka 與 Stream Computing

至於為什麼 Kafka 適合搭配 Stream Computing呢？因為 Stream Computing 本質上也是一種可平行處理、易擴充的分散式處理架構...

ccshih ‧ 2014-10-16

0 Like 0 留言 6418 瀏覽

鐵人賽 Cloud、Big Data DAY 17

分散式資料處理，以Stream Computing為例系列第 17 篇

技術 Day 17: Apache kafka (5)

啊哈，沒想到Kafka可以寫到第五篇啊... 今天要講的是ack，ack問題在stream computing裡也會遇到，這邊就來先提一下。 stream co...

ccshih ‧ 2014-10-15

0 Like 0 留言 6892 瀏覽

鐵人賽 Cloud、Big Data DAY 16

分散式資料處理，以Stream Computing為例系列第 16 篇

技術 Day 16: Apache Kafka (4)

今天來講一下Kafka的replication機制 Kafka的replication是以partition做單位，方法也很簡單，就是讓replica去訂閱要追...

ccshih ‧ 2014-10-14