Что такое differential privacy и DP-SGD?

Differential Privacy (DP) — это математическая концепция, обеспечивающая формальную гарантию приватности данных. Она гарантирует, что выход модели или алгоритма не сильно зависит от присутствия или отсутствия одного отдельного элемента в обучающем наборе, что защищает личные данные пользователей.

DP-SGD (Differentially Private Stochastic Gradient Descent) — это модификация алгоритма стохастического градиентного спуска, которая обеспечивает дифференциальную приватность при обучении нейросетей. Основные шаги:

1. Градиенты для каждого примера в батче вычисляются отдельно.
2. Градиенты обрезаются по норме (clipping), чтобы ограничить влияние каждого примера.
3. К сумме градиентов добавляется шум (обычно гауссовский), чтобы скрыть вклад отдельных данных.

Таким образом, DP-SGD позволяет обучать модели, которые не раскрывают чувствительную информацию из обучающего набора, сохраняя при этом приемлемую точность.