Kappa架構其實是Lambda架構的簡化版,這個架構只使用了加速處理層和服務層而已,所有的運算都是以串流的方式進行,只有在發生變更或有心需求的時候才會進行重新整理,和Lambda架構先以批次的方式對整個資料叢集重新處理有所不同。
這類的即時類型串流資料都會直接在記憶體中進行處理,然後再存放到資料庫或HDFS中用於查詢。
使用者可以使用向Apache Kafka或Kinesis之類的佇列式方法來實現Kappa架構。若只需要維持幾天的資料存取的話,也可以考慮對這些資料採用Kafka架構。
Kappa架構的主要優勢在於簡化了數據處理的流程,透過使用統一的處理流程,減少了架構的複雜性。它特別適用於需要實時處理大量數據流的應用,例如實時監控、即時分析和事件驅動的應用程序。而Kappa架構可能需要考慮數據一致性、容錯恢復和性能等方面的挑戰,特別是在高吞吐量和低延遲的情況下。
雲端入門新手,在這裡記錄學習雲端的筆記,願30天後可以如願上雲端。
我們明天見~