Пересчитывайте согласованное окно из трёх дней и идемпотентно заменяйте только его результат. Append без дедупликации создаст повторы при ежедневном запуске.
Как построить ежедневную загрузку данных о продажах за последние три дня и какие настройки записи выбрать?
Пересчитывайте согласованное окно из трёх дней и идемпотентно заменяйте только его результат. Append без дедупликации создаст повторы при ежедневном запуске.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Пересчитывайте согласованное окно из трёх дней и идемпотентно заменяйте только его результат. Append без дедупликации создаст повторы при ежедневном запуске.
Сначала определите границы по часовому поясу: три завершённых дня или включая текущий. Читайте полный набор этого окна и публикуйте через staging и атомарную замену либо поддерживаемый MERGE.
Для файловой записи проверьте семантику overwrite конкретного формата. Если день стал пустым, он тоже должен очиститься: динамическая замена только присутствующих партиций может оставить старые строки. Более поздние исправления требуют отдельного backfill.