Как обеспечивали обратную совместимость сообщений и схем в Kafka?

Совместимость обеспечивают версионированием схем, проверками изменений и поэтапным обновлением producer/consumer. Kafka сама не проверяет смысл payload без дополнительных механизмов.

Добавляйте поля так, чтобы старые потребители могли их игнорировать, а новые — обрабатывать старые сообщения с отсутствующими значениями. Для Avro/Protobuf/JSON правила различаются, поэтому проверяйте выбранный формат и режим совместимости. Не меняйте смысл существующего поля незаметно. Учитывайте replay архивных сообщений и независимые сроки обновления сервисов.