Подготовка к интервью
Разбирайте реальные вопросы, сверяйтесь с подробными ответами и готовьтесь по технологиям и компаниям.
Проверьте, насколько резюме подходит выбранной позиции, и получите рекомендации по улучшению.
Каталог
В обычной consumer group одна партиция в момент назначения закреплена за одним участником группы.
Читать ответЕсли старые данные действительно не нужны этой группе, можно перенести её смещения на нужную позицию, например конец каждой партиции.
Читать ответПродюсер публикует записи в топик Kafka, а потребитель читает их и отслеживает свою позицию через смещения.
Читать ответЧисло партиций выбирают по требуемой пропускной способности, параллелизму потребителей и распределению ключей.
Читать ответKafka имеет смысл, когда нужен сохраняемый поток событий, повторное чтение истории и независимые группы потребителей.
Читать ответДля чтения, обработки и записи внутри Kafka результат и смещения потребителя можно фиксировать в одной транзакции.
Читать ответРазделите запуск Kafka для разработки и самостоятельную настройку production-кластера.
Читать ответConsumer group распределяет партиции между участниками: в стабильном назначении одну партицию читает один consumer группы. Один consumer может обслуживать несколько партиций.
Читать ответОбычно различают at-most-once, at-least-once и exactly-once. При at-least-once сообщение обрабатывают до подтверждения, поэтому сбой между обработкой и подтверждением может вызвать повтор.
Читать ответAt-most-once означает обработку сообщения не более одного раза: повторов избегают ценой возможной потери. Например, сообщение отмечают обработанным до выполнения полезной работы.
Читать ответКлюч бизнес-сущности, порядок внутри partition и управление незавершённой обработкой. Почему timestamp в ключе может разрушить нужную группировку.
Читать ответКак честно описать опыт с Kibana и Kafka, различая просмотр логов, проверку событий, написание клиентов и администрирование инфраструктуры.
Читать ответ