В чём разница между on-policy и off-policy алгоритмами?
On-policy и off-policy — это два подхода в обучении с подкреплением, которые отличаются тем, какую стратегию (policy) они используют для обучения и сбора данных.
Читать ответПодготовка к интервью
799 вопросов с собеседований в ВК
Что проверяют на интервью
Подборка объединяет вопросы, отмеченные на этапах интервью в ВК. Здесь можно понять структуру технической проверки и заранее повторить связанные темы. В подборке чаще встречаются темы: frontend, browser, mobile.
Каталог
On-policy и off-policy — это два подхода в обучении с подкреплением, которые отличаются тем, какую стратегию (policy) они используют для обучения и сбора данных.
Читать ответLMSYS Chatbot Arena — это платформа для оценки и сравнения различных моделей чат-ботов, особенно больших языковых моделей (LLM).
Читать ответДистилляция моделей — это метод уменьшения размера и сложности большой, мощной модели (учителя) путём передачи её знаний в более компактную модель (ученика).
Читать ответОсновная идея в том, что мы не можем просто обучать модель на кликах, так как пользователи кликают не на все релевантные документы, а чаще на те, что выше в списке (позиционное смещение).
Читать ответЭто приводит к тому, что при повторном запуске можно получить разные модели и результаты.
Читать ответ[ P[A(D) \\in S] \\leq e^{\\varepsilon} \\cdot P[A(D') \\in S] + \\delta ]
Читать ответДля оптимизации поиска максимума в скользящем окне часто используют структуру данных «двусторонняя очередь» (deque).
Читать ответObservability LLM-приложений — это практика мониторинга и анализа работы больших языковых моделей (Large Language Models) в продуктивной среде.
Читать ответAutoAugment и RandAugment — это методы автоматического увеличения (аугментации) данных, применяемые в задачах компьютерного зрения для улучшения качества обучения моделей.
Читать ответSim-to-real transfer — это задача переноса моделей или политик, обученных в симуляторе (виртуальной среде), в реальный мир, где условия могут отличаться.
Читать ответHNSW (Hierarchical Navigable Small World) — это алгоритм для эффективного поиска ближайших соседей в больших векторных пространствах.
Читать ответОсновная цель — понять, насколько эффективно система находит релевантные документы или элементы по запросу.
Читать ответ