iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 0 留言 771 瀏覽

鐵人賽 Software Development DAY 30

每天罵爆一隻 Kafka Pull Request 系列第 30 篇

技術 [ANNOUNCE] New Kafka PMC Member: Chia-Ping Tsai

https://lists.apache.org/thread/w507tzzfvopjyl1tplt523jq3ntqdohz 最後一篇來回憶一下成為comm...

chia7712 ‧ 2024-10-14 ‧團隊os4y00

0 Like 0 留言 156 瀏覽

鐵人賽 Software Development DAY 29

每天罵爆一隻 Kafka Pull Request 系列第 29 篇

技術 KAFKA-17778 Add listener to remove client instances on connection disconnect

https://github.com/apache/kafka/pull/17474 背景故事這期延續之前的telemetry題目，大家有沒有想過說既然要支援...

chia7712 ‧ 2024-10-13 ‧團隊os4y00

0 Like 0 留言 136 瀏覽

鐵人賽 Software Development DAY 28

每天罵爆一隻 Kafka Pull Request 系列第 28 篇

技術 KIP-714 Client metrics and observability

https://cwiki.apache.org/confluence/display/KAFKA/KIP-714%3A+Client+metrics+and+...

chia7712 ‧ 2024-10-12 ‧團隊os4y00

0 Like 0 留言 156 瀏覽

鐵人賽 Software Development DAY 27

每天罵爆一隻 Kafka Pull Request 系列第 27 篇

技術 KAFKA-17686 AsyncKafkaConsumer.offsetsForTimes() fails with NullPointerException

https://github.com/apache/kafka/pull/17353 背景故事今天來聊聊一個有點小但意義深遠的故事，大家有用過時間戳記來查找資...

chia7712 ‧ 2024-10-11 ‧團隊os4y00

0 Like 0 留言 123 瀏覽

鐵人賽 Software Development DAY 26

每天罵爆一隻 Kafka Pull Request 系列第 26 篇

技術 KAFKA-17738 upgrade base image from jdk8 to jdk11

https://github.com/apache/kafka/pull/17432 背景故事時光飛逝，2014年JDK8釋出到現在也十個年頭，作為Java生...

chia7712 ‧ 2024-10-10 ‧團隊os4y00

0 Like 0 留言 86 瀏覽

鐵人賽 Software Development DAY 25

每天罵爆一隻 Kafka Pull Request 系列第 25 篇

技術 KAFKA-17714 Fix StorageTool.scala to compile under Scala 2.12

https://github.com/apache/kafka/pull/17400 背景故事不知道大家開始使用基於KRaft的版本了沒？如果還沒用過，麻煩務...

chia7712 ‧ 2024-10-09 ‧團隊os4y00

0 Like 0 留言 142 瀏覽

鐵人賽 Software Development DAY 24

每天罵爆一隻 Kafka Pull Request 系列第 24 篇

技術 KAFKA-17663: Add metadata caching in PartitionLeaderStrategy

https://github.com/apache/kafka/pull/17367 背景故事今天這個主題比較複雜一點，但小編我會盡量用廢文的方式來呈現。大家...

chia7712 ‧ 2024-10-08 ‧團隊os4y00

1 Like 0 留言 140 瀏覽

鐵人賽 AI/ ML & Data DAY 23

資料與程式碼的交鋒 - Data Engineer 與合作夥伴的協奏曲系列第 23 篇

技術《資料與程式碼的交鋒》Day 23 - 基礎建設篇總回顧

30 天挑戰已經完成四分之三，是否感受到水越來越深了呢？在第三階段裡，我們更深入地討論了許多資料處理的技術。這些技術都是構建高效率且具備擴展性的衍生資料系統必須...

shutingchien ‧ 2024-10-07 ‧團隊資料工程師甘苦談

0 Like 0 留言 139 瀏覽

鐵人賽 Software Development DAY 23

每天罵爆一隻 Kafka Pull Request 系列第 23 篇

技術 KAFKA-17542 Use actions/labeler for automatic PR labeling

https://github.com/apache/kafka/pull/17260 背景故事今天來聊一點沒那麼技術的東西，各位熟悉GitHub的工程師喜不喜...

chia7712 ‧ 2024-10-07 ‧團隊os4y00

0 Like 0 留言 101 瀏覽

鐵人賽 Software Development DAY 22

每天罵爆一隻 Kafka Pull Request 系列第 22 篇

技術 KAFKA-15859 Fixed the Unsupported version error when new admin connects to old broker 

https://github.com/apache/kafka/pull/17358 背景故事今天來聊聊Kafka序列化裡最重要的一件事情，版本相容性！如果你...

chia7712 ‧ 2024-10-06 ‧團隊os4y00

2 Like 0 留言 155 瀏覽

鐵人賽 AI/ ML & Data DAY 22

資料與程式碼的交鋒 - Data Engineer 與合作夥伴的協奏曲系列第 22 篇

技術《資料與程式碼的交鋒》Day 22 - 資料格式管理

如果沒有接觸過衍生資料系統的團隊成員，可能比較難理解 Day 21 我們談到資料流上下游的耦合性。我們就用下方這張圖一探究竟。圖／資料工程師在整個資料流的運...

shutingchien ‧ 2024-10-06 ‧團隊資料工程師甘苦談

1 Like 0 留言 164 瀏覽

鐵人賽 AI/ ML & Data DAY 21

資料與程式碼的交鋒 - Data Engineer 與合作夥伴的協奏曲系列第 21 篇

技術《資料與程式碼的交鋒》Day 21 - 即時性的迷思

Day 20 我們說明了分散式運算引擎對即時進行資料應用的優勢之處。以 RFM 分析而言，我們把資料源的變化捕捉到 Kafka 之後，就可以接上 Flink 作...

shutingchien ‧ 2024-10-05 ‧團隊資料工程師甘苦談

1 Like 0 留言 165 瀏覽

鐵人賽 DevOps DAY 21

Grafana Zero to Hero 系列第 21 篇

技術 Grafana Zero to Hero - Notification：事件驅動

除了通知外，如果希望 Alert 觸發其他自動化行為，可以使用 Webhook 或 Kafka。兩者的差別在於：Webhook 直接推送訊息至單一個下游服務，而...

Blueswen ‧ 2024-10-05

0 Like 0 留言 91 瀏覽

鐵人賽 Software Development DAY 21

每天罵爆一隻 Kafka Pull Request 系列第 21 篇

技術 KAFKA-15908: Remove deprecated Consumer.poll(long timeout)

背景故事沒錯你沒看錯標題，陪伴我們超過10年的函式要被砍掉了，但這次我們不哀傷不文青，這次我們來好好討論一下原因和如何遷移！原本的poll就是接受一個長整數...

chia7712 ‧ 2024-10-05 ‧團隊os4y00

1 Like 0 留言 227 瀏覽

鐵人賽 AI/ ML & Data DAY 20

資料與程式碼的交鋒 - Data Engineer 與合作夥伴的協奏曲系列第 20 篇

技術《資料與程式碼的交鋒》Day 20 - 分散式處理引擎 Flink

昨天我們透過 Debezium + Kafka Connect 的搭配，我們把分別來自 Postgres 和 Mongo 的訂單 orders 和顧客 use...

shutingchien ‧ 2024-10-04 ‧團隊資料工程師甘苦談

0 Like 0 留言 154 瀏覽

鐵人賽 Software Development DAY 20

每天罵爆一隻 Kafka Pull Request 系列第 20 篇

技術 KAFKA-17674 Fix bug on update positions of newly added partitions

https://github.com/apache/kafka/pull/17342 背景故事昨天的抒情廢文沒有半點技術內涵，我深刻反省。所以今天這篇回歸正題...

chia7712 ‧ 2024-10-04 ‧團隊os4y00

1 Like 0 留言 163 瀏覽

鐵人賽 AI/ ML & Data DAY 19

資料與程式碼的交鋒 - Data Engineer 與合作夥伴的協奏曲系列第 19 篇

技術《資料與程式碼的交鋒》Day 19 - 資料異動即時串接

「資料變化要能即時反映出來，並透過事件的形式進行串接。」基於這樣的概念，我們需要在異動資料抵達系統時，在毫秒或秒級就處理完成。今天就逐步拆解概念，一一掌握技術...

shutingchien ‧ 2024-10-03 ‧團隊資料工程師甘苦談

0 Like 0 留言 484 瀏覽

鐵人賽 Software Development DAY 19

每天罵爆一隻 Kafka Pull Request 系列第 19 篇

技術 KAFKA-17613 Remove ZK migration code

https://github.com/apache/kafka/pull/17293 背景故事今天颱風攜風帶雨而來，但我卻忍不住想起一個關於告別的故事。很久...

chia7712 ‧ 2024-10-03 ‧團隊os4y00

0 Like 0 留言 425 瀏覽

鐵人賽 Software Development DAY 18

每天罵爆一隻 Kafka Pull Request 系列第 18 篇

技術 KAFKA-17589 Move JUnit extensions to test-common module

https://github.com/apache/kafka/pull/17318 背景故事今天來講講Gradle的建置優化，大家手上有沒有肥嫩嫩到睡醒都還...

chia7712 ‧ 2024-10-02 ‧團隊os4y00

0 Like 0 留言 422 瀏覽

鐵人賽 Software Development DAY 17

每天罵爆一隻 Kafka Pull Request 系列第 17 篇

技術 KAFKA-12895 KIP-751: Drop support for Scala 2.12 in Kafka 4.0 (deprecate in 3.0) part 2

https://github.com/apache/kafka/pull/17313#discussion_r1781495806 背景故事今天延續上一篇的文...

chia7712 ‧ 2024-10-01 ‧團隊os4y00

0 Like 0 留言 154 瀏覽

鐵人賽 Software Development DAY 16

每天罵爆一隻 Kafka Pull Request 系列第 16 篇

技術 KAFKA-12895 KIP-751: Drop support for Scala 2.12 in Kafka 4.0 (deprecate in 3.0)

https://issues.apache.org/jira/browse/KAFKA-12895 背景故事今天來講講比較沒那麼技術的東西，但是來引戰一下爲何...

chia7712 ‧ 2024-09-30 ‧團隊os4y00

0 Like 0 留言 119 瀏覽

鐵人賽 Software Development DAY 15

每天罵爆一隻 Kafka Pull Request 系列第 15 篇

技術 KAFKA-16985: Ensure consumer sends leave request on close even if interrupted

https://github.com/apache/kafka/pull/16686 背景故事這將會是一個很長的故事，很久很久以前，Kafka Consume...

chia7712 ‧ 2024-09-29 ‧團隊os4y00

0 Like 0 留言 153 瀏覽

鐵人賽 Software Development DAY 14

每天罵爆一隻 Kafka Pull Request 系列第 14 篇

技術 KAFKA-17619 Remove zk type and instance from ClusterTest

https://issues.apache.org/jira/browse/KAFKA-17619 背景故事今天來聊聊Kafka新的測試框架ClusterTe...

chia7712 ‧ 2024-09-28 ‧團隊os4y00

0 Like 0 留言 171 瀏覽

鐵人賽 Software Development DAY 13

每天罵爆一隻 Kafka Pull Request 系列第 13 篇

技術 KIP-1092: Extend Consumer#close with an option to leave the group or not

https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=321719077 背景故事...

chia7712 ‧ 2024-09-27 ‧團隊os4y00

0 Like 0 留言 898 瀏覽

鐵人賽 Software Development DAY 12

每天罵爆一隻 Kafka Pull Request 系列第 12 篇

技術 KAFKA-17540: Create floating tag on trunk for CI cache

https://github.com/apache/kafka/pull/17204 背景故事今天我們來聊聊 Kafka CI，參與過 Apache 專案的開...

chia7712 ‧ 2024-09-26 ‧團隊os4y00

0 Like 0 留言 136 瀏覽

鐵人賽 Software Development DAY 11

每天罵爆一隻 Kafka Pull Request 系列第 11 篇

技術 KIP-1052: Enable warmup in producer performance test

https://cwiki.apache.org/confluence/display/KAFKA/KIP-1052%3A+Enable+warmup+in+p...

chia7712 ‧ 2024-09-25 ‧團隊os4y00

0 Like 0 留言 125 瀏覽

鐵人賽 Software Development DAY 10

每天罵爆一隻 Kafka Pull Request 系列第 10 篇

技術 KAFKA-16908 Refactor QuorumConfig with AbstractConfig

https://github.com/apache/kafka/pull/17231 故事背景不知道大家在開發專案的時候有沒有遇過一個情況，有一個類別實在太好...

chia7712 ‧ 2024-09-24 ‧團隊os4y00

0 Like 0 留言 524 瀏覽

鐵人賽 Software Development DAY 9

每天罵爆一隻 Kafka Pull Request 系列第 9 篇

技術 KAFKA-17459 Stabalize reassign_partitions_test.py

https://issues.apache.org/jira/browse/KAFKA-17459 故事背景 Kafka為了降低使用者對分散式系統的恐懼，因此以...

chia7712 ‧ 2024-09-23 ‧團隊os4y00

0 Like 0 留言 241 瀏覽

鐵人賽 Software Development DAY 8

每天罵爆一隻 Kafka Pull Request 系列第 8 篇

技術 KAFKA-17520: Align ducktape version in tests/docker/Dockerfile and tests/setup.py

https://github.com/apache/kafka/pull/17240 背景故事今天我們來聊聊工程師最討厭的事情之一，測試。 Kafka作為一個...

chia7712 ‧ 2024-09-22 ‧團隊os4y00

0 Like 0 留言 169 瀏覽

鐵人賽 Software Development DAY 7

每天罵爆一隻 Kafka Pull Request 系列第 7 篇

技術 KAFKA-17552 Handle LIST_OFFSETS request for max_timestamp when remote storage is enabled

https://issues.apache.org/jira/browse/KAFKA-17552 背景故事 LIST_OFFSETS是一個非常好用的請求，在之...

chia7712 ‧ 2024-09-21 ‧團隊os4y00

技術 [ANNOUNCE] New Kafka PMC Member: Chia-Ping Tsai

技術 KAFKA-17778 Add listener to remove client instances on connection disconnect

技術 KIP-714 Client metrics and observability

技術 KAFKA-17686 AsyncKafkaConsumer.offsetsForTimes() fails with NullPointerException

技術 KAFKA-17738 upgrade base image from jdk8 to jdk11

技術 KAFKA-17714 Fix StorageTool.scala to compile under Scala 2.12

技術 KAFKA-17663: Add metadata caching in PartitionLeaderStrategy

技術 《資料與程式碼的交鋒》Day 23 - 基礎建設篇總回顧

技術 KAFKA-17542 Use actions/labeler for automatic PR labeling

技術 KAFKA-15859 Fixed the Unsupported version error when new admin connects to old broker

技術 《資料與程式碼的交鋒》Day 22 - 資料格式管理

技術 《資料與程式碼的交鋒》Day 21 - 即時性的迷思

技術 Grafana Zero to Hero - Notification：事件驅動

技術 KAFKA-15908: Remove deprecated Consumer.poll(long timeout)

技術 《資料與程式碼的交鋒》Day 20 - 分散式處理引擎 Flink

技術 KAFKA-17674 Fix bug on update positions of newly added partitions

技術 《資料與程式碼的交鋒》Day 19 - 資料異動即時串接

技術 KAFKA-17613 Remove ZK migration code

技術 KAFKA-17589 Move JUnit extensions to test-common module

技術 KAFKA-12895 KIP-751: Drop support for Scala 2.12 in Kafka 4.0 (deprecate in 3.0) part 2

技術 KAFKA-12895 KIP-751: Drop support for Scala 2.12 in Kafka 4.0 (deprecate in 3.0)

技術 KAFKA-16985: Ensure consumer sends leave request on close even if interrupted

技術 KAFKA-17619 Remove zk type and instance from ClusterTest

技術 KIP-1092: Extend Consumer#close with an option to leave the group or not

技術 KAFKA-17540: Create floating tag on trunk for CI cache

技術 KIP-1052: Enable warmup in producer performance test

技術 KAFKA-16908 Refactor QuorumConfig with AbstractConfig

技術 KAFKA-17459 Stabalize reassign_partitions_test.py

技術 KAFKA-17520: Align ducktape version in tests/docker/Dockerfile and tests/setup.py

技術 KAFKA-17552 Handle LIST_OFFSETS request for max_timestamp when remote storage is enabled

標記使用者

技術《資料與程式碼的交鋒》Day 23 - 基礎建設篇總回顧

技術 KAFKA-15859 Fixed the Unsupported version error when new admin connects to old broker 

技術《資料與程式碼的交鋒》Day 22 - 資料格式管理

技術《資料與程式碼的交鋒》Day 21 - 即時性的迷思

技術《資料與程式碼的交鋒》Day 20 - 分散式處理引擎 Flink

技術《資料與程式碼的交鋒》Day 19 - 資料異動即時串接