關於Apache KafKa log WARN的問題

kafka 時間管理

踏雪尋梅 2020-06-16 19:52:44 ‧ 1791 瀏覽

分享至

是這樣的，最近小弟注意到KafKa的log裡面，跑了超級多的警告訊息，平均每秒跑了12筆

內容就不籠述貼上了，僅一條代表

WARN The last checkpoint dirty offset for partition __consumer_offsets-42 is 6, which is larger than the log end offset 0. Resetting to the log start offset 0. (kafka.log.LogCleanerManager$)

我的Kafka 版本是2.11
http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz

目前上網搜了一下相關資料，僅僅只有兩條比較相似的，而且官方也沒太多類似的資訊有跡可循

https://stackoverflow.com/questions/54761838/no-kafka-consumer-group-listed-by-kafka-consumer-groups-sh

https://stackoverflow.com/questions/54670927/how-to-solve-a-problem-with-checkpointed-invalid-consumer-offsets-and-producer

因此想上來諮詢版上大大，是否有發現一樣的問題，討論討論相關經驗，還請大家指導小弟一二，:D

fillano iT邦超人 1 級 ‧ 2020-06-17 09:16:16 檢舉

https://www.cnblogs.com/felixzh/p/11926528.html 沒用過Kafka，不過找了一下資料，似乎有線索

踏雪尋梅 iT邦研究生 5 級 ‧ 2020-06-17 10:08:14 檢舉

其實我也有看到這篇，不過看到最後原作者似乎也是選擇暫時不管它，雖然就我而言不影響服務倒是無所謂，指是因為我對Kafka還並未非常熟悉，加上一直報這樣的訊息也並非好事，因此多少有些顧忌而已@@

我好弱 iT邦新手 4 級 ‧ 2020-07-01 15:10:01 檢舉

我的 kafka 版本: 2.5.0

剛好我有也遇到這個問題，你出現這個問題，你的 broker 是好的嗎？
我後來解決方法是直接把 kafka 停掉，然後把 cleaner-offset-checkpoint 直接 rename ，再重新帶起 kafka 就好了。

登入發表討論

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

尚未有邦友回答

立即登入回答

參賽組數

1064 組

團體組數

40 組

累計文章數

22053 篇

完賽人數

594 人

15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js

IT邦幫忙

關於Apache KafKa log WARN的問題

尚未有邦友回答

標記使用者