Как масштабируется Kafka?
Kafka масштабируется горизонтально за счёт разделения данных на партиции внутри топиков.
Читать ответПодготовка к интервью
715 вопросов по Kafka с технических собеседований
Что проверяют на интервью
На странице собраны вопросы по Kafka — от проверки базовых принципов до практического применения и архитектурных решений. В подборке чаще встречаются темы: kafka, backend, api.
Каталог
Kafka масштабируется горизонтально за счёт разделения данных на партиции внутри топиков.
Читать ответLag в Kafka — это отставание потребителя от последнего оффсета в партиции. Накопление lag означает, что потребитель не успевает обрабатывать сообщения с той же скоростью, с которой они поступают.
Читать ответВ Kafka данные передаются в виде событий (сообщений), которые публикуются в топики.
Читать ответКоличество партиций в топиках обычно выбирается исходя из требований к производительности, масштабируемости и параллелизму обработки сообщений.
Читать ответPostgreSQL выбран для хранения постов из-за его надежности, поддержки сложных запросов, транзакций и расширяемости. Он хорошо подходит для структурированных данных с отношениями и обеспечивает консистентность.
Читать ответОбработка сообщений с управлением offset вручную обычно относится к работе с системами очередей или потоков сообщений, например, Kafka.
Читать ответДля обеспечения обработки Kafka до 100 тысяч сообщений в секунду можно использовать следующие подходы:
Читать ответДа, работал с RabbitMQ.
Читать ответDead Letter Queue (DLQ) в Kafka реализуется как отдельная тема (topic), куда отправляются сообщения, которые не удалось обработать после нескольких попыток.
Читать ответApache Kafka реализует ведение журналов и логирование данных через концепцию распределённого commit log.
Читать ответВ Kafka порядок обработки сообщений гарантируется внутри одного партициона. Чтобы обеспечить порядок обработки:
Читать ответЕсли топик Kafka имеет 5 партиций, оптимально создать ровно 5 консюмеров в одной группе, чтобы каждый консюмер обрабатывал свою партицию без конкуренции.
Читать ответ