Подготовка к интервью
22 вопроса с ответами по теме «Kafka: партиции и consumer groups»
Что проверяют на интервью
Проверьте понимание назначения партиций, порядка событий и управления смещениями. Практические вопросы охватывают отставание потребителей, частые ребалансировки и изменение числа партиций.
Каталог
Обработка сообщений с управлением offset вручную обычно относится к работе с системами очередей или потоков сообщений, например, Kafka.
Читать ответsegmentio/kafka-go — это одна библиотека на Go для работы с Apache Kafka, разработанная компанией Segment. Она предоставляет удобный и эффективный API для продюсеров и консьюмеров Kafka.
Читать ответВ Apache Kafka топик — это логическая категория или поток сообщений, куда продюсеры публикуют данные, а консьюмеры их читают.
Читать ответБесконечный rebalance в Kafka может происходить по нескольким причинам:
Читать ответЕсли один консюмер в consumer-группе Kafka постоянно подключается и отключается, это может влиять на работу всей группы.
Читать ответВ обычной consumer group одна партиция в момент назначения закреплена за одним участником группы.
Читать ответЧисло партиций выбирают по требуемой пропускной способности, параллелизму потребителей и распределению ключей.
Читать ответКлюч бизнес-сущности, порядок внутри partition и управление незавершённой обработкой. Почему timestamp в ключе может разрушить нужную группировку.
Читать ответЗачем нужна consumer group в Kafka? Kafka представляет собой распределённую систему обмена сообщениями. Consumer group — объединение потребителей, совместно считывающих данные из топика. Внутри группы каждый partition…
Читать ответРепликация и восстановление в Kafka Kafka представляет собой распределённую систему, в которой топики используют репликацию У каждой части топика (partition) есть один лидер и несколько фолловеров Записи принимает…
Читать ответ