Одинаковый словарь задаёт одинаковый набор слов, но не одинаковые embeddings. Полный роман и одна глава дают разные частоты, контексты и статистическую устойчивость представлений.
Как будут отличаться embeddings Word2Vec, обученные на всём романе «Война и мир» и только на одной главе, если словарь одинаковый?
Одинаковый словарь задаёт одинаковый набор слов, но не одинаковые embeddings. Полный роман и одна глава дают разные частоты, контексты и статистическую устойчивость представлений.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Одинаковый словарь задаёт одинаковый набор слов, но не одинаковые embeddings. Полный роман и одна глава дают разные частоты, контексты и статистическую устойчивость представлений.
На одной главе редкие слова могут почти не обучиться, а локальная тема сильнее влияет на соседства. Весь роман даёт больше контекстов, но не гарантирует улучшение для любой узкой задачи. Координаты двух независимо обученных пространств нельзя напрямую сравнивать без выравнивания; сравнивают соседей и качество на общей задаче.