kafka單分區吞吐量多少
在kafka中,單個partition的吞吐量通常是在 10MB/s 左右。
但patition是kafka並行操作的最小單元。在producer和broker端,向每一個分區寫入數據是可以完全並行化的,此時,可以通過加大硬件資源的利用率來提升系統的吞吐量,例如對數據進行壓縮。
在consumer端,kafka只允許單個partition的數據同時被一個consumer線程消費。因此,在consumer端,每一個Consumer Group內部的consumer並行度完全依賴於被消費的分區數量。
因此,通常情況下,在一個 Kafka 集羣中,partition的數量越多,意味着可以到達的吞吐量越大。