Если ты можешь как-то написать код, который сделает реконект в джанге, то можешь попробовать запилить свой базовый класс таски, который будет перехватывать ошибку и пытаться сделать реконект, после чего либо заново запустить таску либо, что наверное лучше, прокинет ошибку и дальше уже будет работать стандартная схема обработки ошибок в тасках.
Так же можно перед запуком таски проверять что есть конект к базе и пытаться его поднять, прежде чем запустить её.