def extract_from_s3(**kwargs):
Пайплайн не воспроизводим из-за now() и может удваивать raw и агрегаты при retry. Кроме того, дубли userMetadata способны размножить транзакции при JOIN и завысить выручку.
Читать ответПодготовка к интервью
20 вопросов по CSV с технических собеседований
Что проверяют на интервью
На странице собраны вопросы по CSV — от проверки базовых принципов до практического применения и архитектурных решений. В подборке чаще встречаются темы: csv, pandas, matplotlib.
Каталог
Пайплайн не воспроизводим из-за now() и может удваивать raw и агрегаты при retry. Кроме того, дубли userMetadata способны размножить транзакции при JOIN и завысить выручку.
Читать ответВ DAG видны проблемы с импортом S3KeySensor, вычислением даты через now(), глобальным клиентом БД и передачей всего DataFrame через XCom. Их нужно устранить до запуска.
Читать ответВ FastAPI для валидации входящего CSV или Parquet файла можно:
Читать ответТекстовый формат для представления табличных данных, где столбцы разделены определенным символом (обычно запятой), а строки — символами новой строки. Используется для обмена данными между различными приложениями.
Читать ответДля чтения большого CSV-файла (1GB+) в Java и корректного парсинга строк, которые могут быть разорваны на границах чанков, можно использовать следующий подход:
Читать ответДля обработки очень большого CSV файла в Go без загрузки всего файла в память, нужно читать и обрабатывать его построчно, используя потоковое чтение.
Читать ответCSV и похожие форматы (например, TSV) удобны для обмена табличными данными между системами благодаря простоте и широкому распространению. Их стоит использовать, когда:
Читать ответКак работают алгоритмы агрегации данных: внутреннее устройство GROUP BY при обработке CSV без БД построчная обработка с чтением CSV целиком в память либо последовательным потоком формируется структура группировки, как…
Читать ответ