Bag-of-Words (BoW) — это простой метод представления текста в виде набора слов без учета порядка и грамматической структуры. Текст разбивается на слова (токены), и создается вектор, где каждый элемент отражает количество или наличие конкретного слова в документе.
Расскажите про bag-of-words и его ограничения.
Bag-of-Words (BoW) — это простой метод представления текста в виде набора слов без учета порядка и грамматической структуры.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Bag-of-Words (BoW) — это простой метод представления текста в виде набора слов без учета порядка и грамматической структуры. Текст разбивается на слова (токены), и создается вектор, где каждый элемент отражает количество или наличие конкретного слова в документе.
Ограничения BoW:
- Потеря порядка слов. Контекст и смысл, зависящий от порядка слов, не учитываются.
- Игнорирование семантики. Слова с разным значением, но схожей формой, рассматриваются одинаково.
- Большая размерность. Для больших словарей векторы становятся разреженными и громоздкими.
- Чувствительность к шуму. Часто встречающиеся, но малоинформативные слова (стоп-слова) могут влиять на модель.
Пример BoW для предложения "Кошка сидит на ковре":
| слово | количество |
|---|---|
| Кошка | 1 |
| сидит | 1 |
| на | 1 |
| ковре | 1 |