Для чего нужны партиции в Kafka?

Партиции Kafka распределяют данные топика между брокерами и позволяют читать их параллельно. Порядок гарантируется внутри партиции, а не для всего топика целиком.

Записи имеют смещения внутри своей партиции. Ключ сообщения обычно помогает отправлять связанные события в одну партицию, если стратегия распределения остаётся совместимой. В обычной consumer group одна партиция одновременно назначается одному потребителю; лишние потребители не увеличивают параллелизм чтения. Репликация партиций решает отдельную задачу отказоустойчивости. Увеличение их числа требует оценки нагрузки, порядка обработки и распределения ключей.