心理

當前位置 /首頁/完美生活/心理/列表

kafka單分區吞吐量多少

kafka單分區吞吐量多少

在kafka中,單個partition的吞吐量通常是在 10MB/s 左右。

但patition是kafka並行操作的最小單元。在producer和broker端,向每一個分區寫入數據是可以完全並行化的,此時,可以通過加大硬件資源的利用率來提升系統的吞吐量,例如對數據進行壓縮。

在consumer端,kafka只允許單個partition的數據同時被一個consumer線程消費。因此,在consumer端,每一個Consumer Group內部的consumer並行度完全依賴於被消費的分區數量。

因此,通常情況下,在一個 Kafka 集羣中,partition的數量越多,意味着可以到達的吞吐量越大。

TAG標籤:kafka 吞吐量 分區 #