Что сделать, чтобы избавиться от замыкания или освободить удерживаемые им ресурсы?

Уберите сильные ссылки на замыкающую функцию и освободите внешние ресурсы: таймеры, слушатели и подписки, которые удерживают её.

Когда функция и её окружение становятся недостижимы, сборщик мусора может освободить память. Простое присваивание null одной переменной не поможет, если callback всё ещё зарегистрирован. Соединения и файлы следует закрывать явно, а не ожидать очистки памяти.