Bias-Variance tradeoff для метода k ближайших соседей (kNN) при k=1 и при большом k.

В методе k ближайших соседей (kNN) параметр k сильно влияет на баланс между смещением (bias) и разбросом (variance).

• При k=1 модель очень гибкая, она просто запоминает ближайший пример. Это приводит к низкому смещению, так как модель точно повторяет обучающие данные, но высокому разбросу — модель чувствительна к шуму и выбросам, что ухудшает обобщающую способность.
• При большом k модель усредняет по большому числу соседей, что повышает смещение (модель становится более гладкой, менее точно подстраивается под данные), но снижает разброс, так как влияние случайных выбросов уменьшается.

Таким образом, выбор k — это компромисс между bias и variance: маленькое k — низкое смещение, высокий разброс; большое k — высокое смещение, низкий разброс.