У вас в одном проекте JUnit и TestNG живут вместе, как это организовано?

JUnit и TestNG могут сосуществовать, если сборка явно и корректно запускает оба набора тестов. Нужны согласованные runner/engine, версии, фильтры и единая отчётность.

Практичный подход — разделить наборы по модулям или задачам сборки либо настроить поддерживаемый механизм общего запуска. В Maven поведение Surefire зависит от версии: современные версии используют JUnit Platform, а старые имели отдельные providers. Нельзя считать, что добавление двух зависимостей гарантирует выполнение всех тестов. Проверьте фактически обнаруженное число тестов и lifecycle-аннотации: @BeforeMethod TestNG не управляет JUnit-тестом. См. справку Surefire.

Источник: Документация Apache Kafka.