Как обеспечить гарантию доставки сообщения в Kafka продюсером, даже если отвалит лидер?
Чтобы гарантировать доставку сообщения в Kafka продюсером даже при отказе лидера партиции, нужно использовать следующие подходы:
Читать ответПодготовка к интервью
715 вопросов по Kafka с технических собеседований
Что проверяют на интервью
На странице собраны вопросы по Kafka — от проверки базовых принципов до практического применения и архитектурных решений. В подборке чаще встречаются темы: kafka, backend, api.
Каталог
Чтобы гарантировать доставку сообщения в Kafka продюсером даже при отказе лидера партиции, нужно использовать следующие подходы:
Читать ответВ Kafka для настройки хранения данных (retention) используются следующие основные параметры:
Читать ответДля гарантированной отправки события в Kafka при регистрации пользователя в микросервисной архитектуре с сервисом пользователей и сервисом нотификаций можно использовать паттерн "Outbox".
Читать ответДля дедупликации списка адресов в Go удобно использовать map, где ключом будет адрес, а значением — булево значение или пустая структура для экономии памяти.
Читать ответСравнивать RabbitMQ и Kafka напрямую по скорости не совсем корректно, так как они решают разные задачи и имеют разные архитектуры.
Читать ответВ системе асинхронной генерации отчётов с использованием Kafka асинхронность достигается за счёт разделения процесса запроса отчёта и его генерации на разные компоненты, которые взаимодействуют через очередь сообщений.
Читать ответВ Kafka предотвращение повторного чтения одних и тех же сообщений обеспечивается за счёт механизма смещений (offsets) и управления ими на стороне потребителя (consumer).
Читать ответЯ работал с такими брокерами сообщений, как Apache Kafka и RabbitMQ.
Читать ответОптимальное количество потребителей в Kafka зависит от числа партиций в топике, так как каждый партиция может быть обработана только одним потребителем из группы одновременно.
Читать ответRedis часто используется вместе с Kafka для решения нескольких задач:
Читать ответВ моём проекте Kafka использовалась как распределённая система обмена сообщениями для обеспечения надёжной и масштабируемой передачи данных между микросервисами.
Читать ответПри работе с изменяющимися контрактами в процессе разработки нового сервиса полезно использовать следующие подходы:
Читать ответ