Зачем топик в Kafka делится на партиции?
В Apache Kafka партиции — это логические разделы топика, которые позволяют масштабировать обработку и хранение данных.
Читать ответПодготовка к интервью
715 вопросов по Kafka с технических собеседований
Что проверяют на интервью
На странице собраны вопросы по Kafka — от проверки базовых принципов до практического применения и архитектурных решений. В подборке чаще встречаются темы: kafka, backend, api.
Каталог
В Apache Kafka партиции — это логические разделы топика, которые позволяют масштабировать обработку и хранение данных.
Читать ответKafka и RabbitMQ — это популярные системы обмена сообщениями, но они имеют разные подходы и архитектуру.
Читать ответWorker с Kafka-консюмером обычно организуют отдельно от FastAPI-приложения.
Читать ответВ системах обмена сообщениями (например, RabbitMQ, Kafka) топик (topic) и очередь (queue) служат для разных моделей доставки сообщений.
Читать ответВ Kafka транзакционность используется для обеспечения атомарной записи сообщений в несколько топиков или партиций, а также для гарантии, что потребители увидят либо все сообщения транзакции, либо ни одного.
Читать ответKafka и Redis — это системы обмена сообщениями, но с разной архитектурой и назначением.
Читать ответДля решения проблемы дублирования событий и несогласованности между базой данных и Kafka часто применяют паттерн "Идемпотентности" и транзакционную обработку.
Читать ответИспользование Kafka нецелесообразно в следующих случаях:
Читать ответConsumer Group в Apache Kafka — это группа потребителей, которые совместно читают сообщения из топиков.
Читать ответИдемпотентность при работе с Kafka обычно обеспечивается за счёт хранения смещений (offsets) и обработки сообщений так, чтобы повторная обработка не приводила к дублированию эффектов.
Читать ответДля обработки дублей сообщений в Kafka я использовал несколько подходов:
Читать ответДля взаимодействия с RabbitMQ в Python часто используются следующие библиотеки:
Читать ответ