Какие задачи в Python параллелятся хорошо, какие плохо? Какие инструменты использовать для IO-bound и CPU-bound задач?

Для эффективного использования многопоточности в Python при операциях ввода-вывода (I/O) важно понимать, что такие операции обычно блокируют поток, ожидая завершения (например, чтение из файла, сетевые запросы). В таких случаях многопоточность помогает, так как пока один поток ждёт, другие могут выполнять работу.

Основные рекомендации:

• Используйте модуль threading для создания потоков, которые выполняют I/O операции параллельно.
• Поскольку GIL (Global Interpreter Lock) ограничивает выполнение байткода Python одним потоком, многопоточность неэффективна для CPU-bound задач, но отлично подходит для I/O-bound.
• Для более современного подхода можно использовать concurrent.futures.ThreadPoolExecutor для удобного управления пулом потоков.
• Альтернативой является асинхронное программирование с asyncio, которое часто эффективнее для большого количества I/O операций.

Пример с ThreadPoolExecutor:

from concurrent.futures import ThreadPoolExecutor
import requests

def fetch_url(url):
    response = requests.get(url)
    return response.text[:100]  # первые 100 символов

urls = [
    'https://example.com',
    'https://python.org',
    'https://github.com'
]

with ThreadPoolExecutor(max_workers=5) as executor:
    results = list(executor.map(fetch_url, urls))

for content in results:
    print(content)

Такой подход позволяет запускать несколько сетевых запросов параллельно, не блокируя основной поток.