Apache Kafka 資料如何定時儲存至檔案

#kafka 分散式系統

gameboxer 2022-02-23 15:21:12 ‧ 681 瀏覽

已經安裝好kafka server(3.1.0)並新增topic可以接收數據

現在需求是kafka要把收到的數據定時生成檔案(.txt)並儲存在硬碟內

1.檔案名稱用自定義名稱+時間戳
2.需要自訂時間(1min)生成一個檔案，內容只包含新資料

有一些原因所以要這樣生產log檔案，不知道有沒辦法做~

謝謝各位先進

gameboxer iT邦新手 4 級 ‧ 2022-02-28 14:16:28 檢舉

自己來回答，可以用kafka conector to file去做，不過嘗試後最終處理方式還是用API去處理，我這裡是用nodejs的kafkajs去處理~ 選這個只是因為我對js語法比較熟悉..

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

pseudo

iT邦新手 5 級 ‧ 2022-03-18 16:50:36

也可以用Nifi去消費kafka的topic，再匯出成檔案

立即登入回答

參賽組數

1064 組

團體組數

40 組

累計文章數

22081 篇

完賽人數

594 人

IT邦幫忙