Что такое black-box и white-box атаки?

Black-box и white-box атаки — это два подхода к атаке на модели машинного обучения, различающиеся уровнем доступа к внутренней структуре модели.

• Black-box атака: атакующий не имеет доступа к архитектуре, параметрам или внутренним данным модели. Он может только подавать входные данные и наблюдать выходы (предсказания). Цель — найти такие входы, которые заставят модель ошибиться, используя только внешнее поведение. Например, подбор искажающих примеров, вызывающих неправильный ответ.
• White-box атака: атакующий имеет полный доступ к модели — её архитектуре, весам, градиентам и другим внутренним параметрам. Это позволяет создавать более точные и эффективные атаки, используя информацию о том, как модель принимает решения. Например, вычислять градиенты для генерации adversarial примеров.

В контексте безопасности и приватности машинного обучения понимание разницы важно для оценки уязвимостей и разработки методов защиты от атак.