Сначала определите источники, целевой объект, момент прогнозирования и требования к свежести. Затем постройте воспроизводимую цепочку ingestion, проверки, очистки, признаков и выдачи данных модели.
Как бы вы построили data- и feature-pipeline для обсуждаемого решения?
Сначала определите источники, целевой объект, момент прогнозирования и требования к свежести. Затем постройте воспроизводимую цепочку ingestion, проверки, очистки, признаков и выдачи данных модели.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Сначала определите источники, целевой объект, момент прогнозирования и требования к свежести. Затем постройте воспроизводимую цепочку ingestion, проверки, очистки, признаков и выдачи данных модели.
Храните версии схем и преобразований, проверяйте пропуски, дубли и допустимые диапазоны. Для временных признаков нужен point-in-time join без будущих данных. Offline и online расчёт должны совпадать по смыслу; настройте мониторинг задержек и возможность безопасного пересчёта.