Параллельная обработка файла может нарушить порядок, увеличить память, создать гонки записи и усложнить отмену. Число работников и буферов нужно ограничивать.
Какие могут быть побочные эффекты при использовании горутин для обработки файла, к чему нужно быть готовым?
Параллельная обработка файла может нарушить порядок, увеличить память, создать гонки записи и усложнить отмену. Число работников и буферов нужно ограничивать.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Параллельная обработка файла может нарушить порядок, увеличить память, создать гонки записи и усложнить отмену. Число работников и буферов нужно ограничивать.
Один этап читает порции, ограниченный пул обрабатывает, а контролируемый writer сохраняет результат в нужном порядке. Ошибка должна прекращать выдачу новой работы и корректно завершать уже запущенную. Учитывайте долгие строки, частично записанный результат и закрытие файлов. Для дешёвого преобразования накладные расходы горутин могут превысить выигрыш.