O
Size: a a a
2020 June 22
GG
Кстати, про "пухнет"
Очередь задач у нас на postgresql реализована. И уже видимо приближаемся к началу возникновения проблем, но пока еще норм. Задумались так же посмотреть на что-то готовое.
Celery (rabbitmq) покрывает не все потребности в очереди. Т.е. как доставка задач до воркеров - ок.
А вот планирование (как описал выше), каждая задача после выполнения, откладывается на некоторое время для повторного выполнения (определяется бизнес-логикой).
В очереди порядка 5-7 млн. задач. В день выполняется 200-300 т. задач.
Может кто-то посоветует что можно попробовать.
Основные требования: распределенная очередь (можно запускать много инстансов воркеров на разных серверах на один тип задач), приоритеты (у каждой задачи 2-3 уровня приоритета). Собственно наверно все, из важных требований.
Пока идея такая, что сделать свою очередь на postgres, с партицированием по типам задач и шардингом при необходимости. (текущая реализация не распределенная, можем запускать на один тип задач, только воркеры с одного инстанса).
Очередь задач у нас на postgresql реализована. И уже видимо приближаемся к началу возникновения проблем, но пока еще норм. Задумались так же посмотреть на что-то готовое.
Celery (rabbitmq) покрывает не все потребности в очереди. Т.е. как доставка задач до воркеров - ок.
А вот планирование (как описал выше), каждая задача после выполнения, откладывается на некоторое время для повторного выполнения (определяется бизнес-логикой).
В очереди порядка 5-7 млн. задач. В день выполняется 200-300 т. задач.
Может кто-то посоветует что можно попробовать.
Основные требования: распределенная очередь (можно запускать много инстансов воркеров на разных серверах на один тип задач), приоритеты (у каждой задачи 2-3 уровня приоритета). Собственно наверно все, из важных требований.
Пока идея такая, что сделать свою очередь на postgres, с партицированием по типам задач и шардингом при необходимости. (текущая реализация не распределенная, можем запускать на один тип задач, только воркеры с одного инстанса).
celery != rabbit
GG
понимаешь в чем дело....
GG
rabbit, kafka, pulsar - это специализированные очереди
ML
понимаешь в чем дело....
это понятно, я про то, что неподоходит именно rabbitmq (celery вроде как чаще с ним используют)
GG
простую очередь из говна можно поверх k/v или бд сделать - redis, pg
GG
celery - это все-таки штука поверх рабита
GG
именно для задач
VS
это понятно, я про то, что неподоходит именно rabbitmq (celery вроде как чаще с ним используют)
Почему?
GG
Т.е. тебе как будто надо взять кафку или пульсар, в них нарезать нужные тебе топики и сущности
GG
а поверх реализовать аналог селери для менеджмента тасок
GG
я себе вижу это примерно так
M
Кстати, про "пухнет"
Очередь задач у нас на postgresql реализована. И уже видимо приближаемся к началу возникновения проблем, но пока еще норм. Задумались так же посмотреть на что-то готовое.
Celery (rabbitmq) покрывает не все потребности в очереди. Т.е. как доставка задач до воркеров - ок.
А вот планирование (как описал выше), каждая задача после выполнения, откладывается на некоторое время для повторного выполнения (определяется бизнес-логикой).
В очереди порядка 5-7 млн. задач. В день выполняется 200-300 т. задач.
Может кто-то посоветует что можно попробовать.
Основные требования: распределенная очередь (можно запускать много инстансов воркеров на разных серверах на один тип задач), приоритеты (у каждой задачи 2-3 уровня приоритета). Собственно наверно все, из важных требований.
Пока идея такая, что сделать свою очередь на postgres, с партицированием по типам задач и шардингом при необходимости. (текущая реализация не распределенная, можем запускать на один тип задач, только воркеры с одного инстанса).
Очередь задач у нас на postgresql реализована. И уже видимо приближаемся к началу возникновения проблем, но пока еще норм. Задумались так же посмотреть на что-то готовое.
Celery (rabbitmq) покрывает не все потребности в очереди. Т.е. как доставка задач до воркеров - ок.
А вот планирование (как описал выше), каждая задача после выполнения, откладывается на некоторое время для повторного выполнения (определяется бизнес-логикой).
В очереди порядка 5-7 млн. задач. В день выполняется 200-300 т. задач.
Может кто-то посоветует что можно попробовать.
Основные требования: распределенная очередь (можно запускать много инстансов воркеров на разных серверах на один тип задач), приоритеты (у каждой задачи 2-3 уровня приоритета). Собственно наверно все, из важных требований.
Пока идея такая, что сделать свою очередь на postgres, с партицированием по типам задач и шардингом при необходимости. (текущая реализация не распределенная, можем запускать на один тип задач, только воркеры с одного инстанса).
GG
и получишь нормальное масштабирование тогда - потому что редис, постгрес и рабит масштабируются весьма плохо
GG
(мы можем зарубиться по этому вопросу, но не думаю, что следует)
ML
а поверх реализовать аналог селери для менеджмента тасок
ну т.е. самому? ничего из готовых решений нет?
SG
я думаю имеется в виду система оркестрации и исполнения задач а не бд
Да я намекаю на то, что даже использование как очереди Постгри, отлично справится с такими масштабами
M
Т.е. тебе как будто надо взять кафку или пульсар, в них нарезать нужные тебе топики и сущности
зачем нужна кафка на 2 сообщения в секунду?