DV
вообще я так понял они эту настройку добавили чтобы зомбарей детектить и отключать автоматически
Size: a a a
2021 August 16
DV
хотели из лучших побуждений, но досталось всем
KK
Вот как у нас добавляется в "таску" время её старта (мы его используем для логирования того, сколько таска просидела в очереди)
@before_task_publish.connect
def add_params_to_task(sender=None, body=None, **kwargs):
if isinstance(body, tuple):
embed = body[2]
extra = {
'task_added': time.time(),
}
embed[MOUNTBIT_EXTRA_NAME] = extra
KK
А потом в самой таске (self) вот так достаём этот словарик
extra = getattr(self.request, MOUNTBIT_EXTRA_NAME, {})DV
ну все эти манипуляции с датами руками - такое себе.
KK
Ну в самом Реббите нет поодержи "отложенных" сообщений. Поэтому то что сделано в Celery - это считай костыль.
DV
ну у меня видишь - нет задачи логировать время, я просто хочу ошибку побороть.
ладно, наверное так и придется просто увеличить `
ладно, наверное так и придется просто увеличить `
consumer_timeout` - самое простое решениеKK
Ещё другой вариант - сохраняешь в базе свою "таску". Делаешь крон-таску на целери. Которая раз в 10 минут выгребает из базы таски, которые надо запустить в ближайшие 15 минут, и кидаешь их в очередь с соответствующим ETA и удаляешь из базы (или помечаешь как отправленные)
DV
кстати да, звучит неплохо
KK
Время добавления таски в очередь можно не использовать, если не нужна сильная точность с временем запуска. Можно просто из "рального" ETA вычитать фиксированное время, на которое ты можешь таску отправить в очередь без разрывов.
SA
То есть хранить время в таске - это так себе, а делать рядом с селери "селери на кроне" - это ок?
DV
Да не, согласен - оба решения не очень. И переделывать много
KK
Задержка в 3 часа - это вообще больше похоже на чистую крон-таску.
Можно даже проще сделать - запускать таску раз в 10 минут, и выполнять все "задачи" из базы данных, которые должны быть выполнены. Если нужна более высокая точность времени выполнения - запускать крон-таску чаще.
Можно даже проще сделать - запускать таску раз в 10 минут, и выполнять все "задачи" из базы данных, которые должны быть выполнены. Если нужна более высокая точность времени выполнения - запускать крон-таску чаще.
AZ
У меня бывали ETA на несколько месяцев вперёд... 🙂
AZ
И оно с редисом нормально работало.
KK
Персистентный редис - это какой-то редкий и не надёжный фрукт. 😊
AZ
Года четыре в продакшене отпахало. Проблем не было.
AZ
Даже пять.
AZ
Потом перелезли на яндексовую очередь, а там было ограничение на время жизни сообщения. Пришлось сделать нормально, кронджобой, которая создаёт таски на час вперёд.
AZ
В общем, хорошее решение, это хорошо, но если бы мы сразу хорошо делали, то проект бы давно помер. 🙂