Что такое партиция в Kafka?

Партиция Kafka — упорядоченный журнал записей внутри топика. Каждая запись получает offset в своей партиции; топик с несколькими партициями распределяет хранение и обработку между узлами.

Продюсер выбирает партицию по ключу или стратегии распределения. Для каждой партиции есть лидер и, при настроенной репликации, копии. В одной consumer group партиция назначается одному потребителю в конкретный момент, хотя его внутренняя обработка может быть организована по-разному. Порядок между разными партициями не гарантируется. Выбор ключа влияет на локальность связанных событий и риск перекоса нагрузки.