Как тестировать LLM-агента (deterministic tests, replay, mocked tools)?

Тестирование LLM-агентов можно проводить следующими методами:

• Детерминированные тесты: фиксируются входные данные и ожидаемый результат, чтобы проверить, что агент всегда ведет себя предсказуемо при одних и тех же условиях.
• Replay (повторное воспроизведение): сохраняются сессии взаимодействия с агентом, чтобы воспроизвести и проверить поведение на тех же данных.
• Mocked tools (заглушки): внешние сервисы или инструменты, с которыми взаимодействует агент, заменяются на заглушки, чтобы изолировать тестируемый компонент и контролировать ответы.

Пример: при тестировании агента, который вызывает API для получения данных, можно заменить реальный API на мок, возвращающий предсказуемые данные, и проверить, как агент их обрабатывает.