Как загрузить данные из Kafka в Greenplum или PostgreSQL?
Потребитель Kafka или подходящий connector читает события и записывает их в БД порциями. Offset фиксируют после устойчивой записи, а повторы обрабатывают идемпотентно.
Читать ответПодготовка к интервью
715 вопросов по Kafka с технических собеседований
Что проверяют на интервью
На странице собраны вопросы по Kafka — от проверки базовых принципов до практического применения и архитектурных решений. В подборке чаще встречаются темы: kafka, backend, api.
Каталог
Потребитель Kafka или подходящий connector читает события и записывает их в БД порциями. Offset фиксируют после устойчивой записи, а повторы обрабатывают идемпотентно.
Читать ответОпишите реальный сценарий Kafka: какие события передавались, кто их читал и какие гарантии требовались. Упомяните партиции, группы потребителей и обработку повторов.
Читать ответТри брокера могут решать разные задачи: журнал событий, очереди работ и обмен сообщениями. Такое разделение должно оправдывать сложность сопровождения.
Читать ответКлюч Kafka обычно влияет на выбор partition и помогает сохранять порядок событий одной сущности внутри неё. Он не гарантирует уникальность сообщений.
Читать ответРазбейте поток по этапам и точкам восстановления, а не создавайте задачу на каждую строку: загрузка в staging, проверка и построение зависимых объектов Data Vault.
Читать ответTopic — логический поток, partition — упорядоченный журнал внутри него, consumer group — группа потребителей, совместно читающих поток.
Читать ответFlink нужен для вычислений над потоком: состояния, окон, объединений и event time. Для простой доставки событий в Iceberg может хватить Kafka Connect.
Читать ответПартицию выбирает producer: явно указанная partition, настроенный partitioner либо стандартная логика по ключу/балансировке. Брокер не распределяет каждую запись произвольно заново.
Читать ответTopic — логическое имя потока Kafka, partition — отдельный упорядоченный журнал внутри него. Topic может иметь несколько партиций для параллельной записи и чтения.
Читать ответСоздайте для каждого независимого обработчика отдельную consumer group. Каждая группа читает topic со своими offsets, поэтому одно событие может обработать несколько разных сервисов.
Читать ответОпишите фактическую роль Kafka в вашем проекте: что читали или публиковали, какой ключ выбирали, как подтверждали обработку и восстанавливали сбои. Отделите эксплуатацию от разработки клиента.
Читать ответTopic — именованный поток сообщений Kafka, partition — упорядоченная часть этого потока, offset — позиция записи внутри конкретной партиции. Глобального offset у всего topic нет.
Читать ответ