Каким образом происходит хранение данных в Kafka?

В Kafka данные хранятся в виде последовательностей сообщений (записей) в топиках, которые разбиты на партиции. Каждая партиция — это упорядоченный, неизменяемый лог сообщений, где каждое сообщение имеет уникальный смещённый индекс (offset).

Данные физически хранятся на диске брокеров Kafka в виде сегментов файлов. Сообщения добавляются в конец партиции, что обеспечивает высокую производительность записи.

Основные особенности хранения:

• Сообщения не удаляются сразу, а хранятся в течение заданного времени (retention period) или пока не достигнут лимит размера.
• Потребители читают сообщения по offset, что позволяет им контролировать, какие данные уже обработаны.

Таким образом, Kafka реализует хранение данных как распределённый журнал событий с возможностью масштабирования и высокой доступностью.