Как бы вы в одиночку с нуля организовали защищённый on-premise data pipeline: регулярный приём файлов по SFTP от внешней организации, staging, очистку и нормализацию данных, загрузку в хранилище и выдачу данных админке?

Разделите pipeline на защищённый приём, неизменяемый staging, валидацию, преобразование, загрузку и отдельный слой доступа для админки.

SFTP-учётной записи выдайте минимальные права; проверяйте завершённость файла и идентификатор загрузки. Обрабатывайте порциями с checkpoints и идемпотентной записью, ошибки — в карантин. Добавьте аудит, мониторинг, backup и восстановление. Админка не должна получать прямой доступ к входящим файлам и техническим секретам.