Если нужно прочитать или записать огромное количество файлов, как это распараллелить и почему?

Используйте ограниченный пул исполнителей и очередь работы, а не отдельную задачу на каждый файл сразу. Для блокирующего файлового I/O часто подходят потоки; для тяжёлой обработки содержимого — процессы.

Количество исполнителей подбирают по носителю, размеру файлов, лимиту дескрипторов и измеренной пропускной способности. На одном диске слишком много параллельных операций может замедлить работу. Разделите чтение, CPU-обработку и запись, ограничив промежуточные буферы. Записи в один и тот же файл требуют согласования, а частично записанные результаты — безопасного завершения. Async-синтаксис сам по себе не превращает обычное файловое чтение в неблокирующее.