Какую роль играет ключ сообщения в Kafka?

Ключ Kafka обычно влияет на выбор partition и помогает сохранять порядок событий одной сущности внутри неё. Он не гарантирует уникальность сообщений.

При стандартном распределении одинаковый ключ обычно попадает в одну partition при неизменной конфигурации; изменение числа partitions может поменять соответствие. В compacted topic ключ определяет, какие версии записи подлежат уплотнению. Глобального порядка по topic нет, а повторные сообщения потребитель всё равно должен учитывать. Custom partitioner может задать другую логику.