Что такое concept activation vectors (TCAV)?

TCAV (Testing with Concept Activation Vectors) — это метод интерпретируемости моделей глубокого обучения, который позволяет понять, насколько определённые высокоуровневые понятия (концепты) влияют на предсказания модели.

Идея в том, что вместо анализа отдельных нейронов или весов, TCAV использует вектор активации, соответствующий определённому концепту (например, «полосы», «круги» или «определённый объект»), и измеряет, насколько изменение активации вдоль этого вектора влияет на выход модели. Это помогает понять, насколько модель опирается на заданные понятия при принятии решений.

Пример применения: если у вас есть модель, классифицирующая изображения, и вы хотите проверить, насколько она использует концепт "полосы" для распознавания зебры, TCAV поможет количественно оценить этот вклад.

Таким образом, TCAV — это инструмент для объяснения и проверки моделей, повышающий доверие и прозрачность ИИ.